Ludwig-Maximilians-Universität München

Digitale Hochschulschriften der LMU
Not a member yet
    22455 research outputs found

    Improving annotation quality: empirical insights into bias, human-AI collaboration, and workflow design

    Full text link
    High-quality annotated datasets are essential for training machine learning (ML) models. Annotation means assigning a label (such as a category, sentiment score, or classification) to an instance, for example to a piece of text, an image, or a PDF file. Even as training algorithms continue to improve, a model’s real-world performance remains limited by the quality of the training data. While there are many approaches for processing training data, relatively little attention within the ML field has been devoted to annotation quality and the development of best practices for data collection. This thesis contributes to the field through empirical assessments of annotation bias and its implications for training data quality. It further proposes and evaluates strategies to mitigate such biases and enhance annotation outcomes. In addition, it explores the role of large language models (LLMs) in annotation workflows by experimentally assessing their use in fully automated and human-assisted hybrid annotation pipelines. The introductory part outlines the research questions and motivates the overall contributions. As part of this, the background chapter provides a review of the literature on factors influencing annotation quality, organized along two main dimensions: Annotator-related factors encompass individual-level traits and behaviors that may be correlated with annotation behavior. Annotation data collection strategies refer to all design-related decisions made when setting up a task, such as the selection of examples provided in the instructions, task length, or payment. In addition, challenges and opportunities of automating annotation are discussed. Annotation is a structured task that follows standardized procedures for data collection, typically involving a stimulus and fixed response options, much like data collection in fields such as survey methodology and social psychology. In the first and second study, we investigate whether well-known sources of bias identified in these fields also apply to annotation tasks. The first study presents experimental results from a large sample of annotators. We analyze task structure and demographic effects in a hate speech sentiment annotation task, systematically varying the screen design to measure its effect on the resulting labels. In addition, we collect demographic characteristics, task perception metrics, and paradata to assess their relationship with label assignment. Most notably, annotation behavior was significantly influenced by whether classification tasks appeared on a single screen or were split across two, as well as by the annotator’s first language. The second study extends this project by examining whether annotation behavior changes over the course of the task. It estimates how the likelihood of assigning a label evolves with the number of previously completed annotations. As the task progressed, labeling a statement as hateful or offensive became significantly less likely, though the effect was small in magnitude. Together, these studies show that annotations are sensitive to both who performs them and how the task is structured. The third and fourth study explore the potential of real-time, low-cost automated annotations generated by LLMs and their interaction with human annotators. In the third study, we conduct a cost-benefit analysis comparing different types of human and automated annotators in a satellite image annotation task. It includes initial attempts to combine human and LLM-generated annotations. We observe strong potential for cost reduction and quality retention, with less need for expert annotators – especially when leveraging the LLM’s self-reported uncertainty. The fourth study builds on this study by documenting a pipeline for generating and curating a gold-standard validation dataset for CO2 emission values extracted from PDF documents. It demonstrates a feasible approach to integrating automated components to reduce the workload of human domain experts. Even in this highly specialized task, combining LLM annotations with non-expert adjudication can substantially reduce reliance on domain experts. The fifth study investigates the risks and implications of increasing automation in annotation workflows, particularly pre-annotations generated by artificial intelligence (AI). We simulate an AI-assisted scenario by presenting annotators with pre-annotations framed as AI-generated, to examine cognitive bias during adjudication. Notably, those who reported greater skepticism toward AI were more accurate in adjudicating the pre-annotations. Additionally, we observe that annotators are less likely to correct pre-annotations when flagging an error requires providing a corrected value. Across its five contributions, this dissertation advances the field of annotation data collection methods by identifying bias in human, automated, and hybrid annotation setups. It proposes and evaluates multiple solutions and offers guidance for both research and practical annotation tasks. A consistent focus is placed on integrating insights and theories from various academic disciplines to benefit from a broad range of existing findings

    Digital human-centered augmentation technologies

    Full text link
    Our senses, cognition, and physical capabilities have long been bound by biological constraints. Not anymore. Augmentation technologies, from wearable haptics to AI-driven cognitive support are expanding human potential in ways once imagined only in science fiction. But with these new capabilities come new questions: How does augmentation affect decision-making and risk-taking? How do others perceive augmented humans? This thesis addresses these points by not only studying augmented human behavior and perceptions but also developing functional prototypes to explore augmentation in real-world applications. Here I explore the design of human augmentation technologies through the dual lenses of autonomy and heteronomy, investigating the interplay between internal and external influences on the augmented human and its decision-making processes. For autonomy, I examine how augmentation technologies impact individual decision-making and behavior. Specifically, I focus on risk-taking and the sense of agency, demonstrating that the mere presence or even the belief in the presence of augmentation technologies significantly affects human behavior and the attribution of responsibility at both behavioral and physiological levels. For heteronomy, I explore how external societal factors influence the decision-making of augmented individuals. By examining societal attitudes toward augmented humans across different cultural contexts, this work identifies key factors shaping public perceptions of augmentation technologies and presents a standardized methodology for measuring these attitudes over time. This includes the development and validation of the SHAPE scale, a psychometric tool designed to assess societal acceptance of human augmentation. Finally, I investigate how individuals experience human augmentations, examining the boundaries between augmentation and learning. In this context, I further explore the potential of Virtual Reality as a platform to prototype and study augmented human experiences, providing insights into how these technologies can be integrated meaningfully into human life. Beyond these behavioral and societal perspectives, this thesis also contributes to the technical foundations of human augmentation. A central part of this work involves the development of functional augmentation prototypes. These include wearable haptic feedback systems for sensory, cognitive and motor augmentation and interactive VR environments to study augmentation experiences in controlled settings. The contributions of this thesis span from understanding individual behaviors to societal perceptions and technical artifacts in human augmentation. As augmentation technologies become increasingly plausible, this work provides researchers and practitioners with a human-centered framework for designing augmentation systems that harmoniously integrate into human life.Unsere Sinne, unsere Kognition und unsere körperlichen Fähigkeiten waren lange Zeit durch biologische Grenzen definiert. Doch das ändert sich. Augmentierungstechnologien – von tragbarer haptischer Rückkopplung bis hin zu KI-gestützter kognitiver Unterstützung – erweitern menschliche Fähigkeiten auf eine Weise, die einst nur in der Science-Fiction vorstellbar war. Doch mit diesen neuen Möglichkeiten entstehen auch neue Fragen: Wie beeinflusst Augmentierung Entscheidungsprozesse und Risikoverhalten? Wie werden augmentierte Menschen von der Gesellschaft wahrgenommen? Diese Arbeit untersucht diese Aspekte nicht nur durch empirische Studien zum Verhalten und zu den Wahrnehmungen augmentierter Menschen, sondern auch durch die Entwicklung funktionaler Prototypen, die Augmentierung in realen Anwendungsszenarien erfahrbar machen. Diese Dissertation erforscht die Gestaltung von Augmentierungstechnologien aus zwei Perspektiven: Autonomie und Heteronomie. Dabei wird untersucht, wie interne und externe Faktoren die Entscheidungsfindung von augmentierten Individuen beeinflussen. Im Bereich der Autonomie analysiere ich, wie Augmentierungstechnologien individuelle Entscheidungsprozesse und Verhaltensweisen verändern. Besonders im Fokus stehen Risikobereitschaft und das Gefühl der Handlungskontrolle (Agency). Die Ergebnisse zeigen, dass bereits die bloße Anwesenheit – oder sogar nur der Glaube an die Anwesenheit – von Augmentierungstechnologien das Verhalten und die Zuschreibung von Verantwortung sowohl auf kognitiver als auch auf physiologischer Ebene signifikant beeinflusst. Im Bereich der Heteronomie untersuche ich, wie gesellschaftliche Faktoren die Entscheidungsprozesse von augmentierten Individuen formen. Durch die Analyse sozialer Einstellungen gegenüber augmentierten Menschen in verschiedenen kulturellen Kontexten identifiziere ich zentrale Faktoren, die öffentliche Wahrnehmungen von Augmentierungstechnologien prägen. Dies beinhaltet auch die Entwicklung und Validierung der SHAPE-Skala, eines psychometrischen Instruments zur Messung der gesellschaftlichen Akzeptanz von Augmentierungstechnologien über die Zeit. Darüber hinaus untersuchen wir, wie Individuen Augmentierung erleben und wo die Grenzen zwischen Augmentierung und Lernen verlaufen. In diesem Zusammenhang wird insbesondere das Potenzial von Virtual Reality als Plattform zur Prototypisierung und Erforschung augmentierter Erfahrungen erforscht, um zu verstehen, wie diese Technologien sinnvoll in das menschliche Leben integriert werden können. Neben diesen verhaltenswissenschaftlichen und gesellschaftlichen Perspektiven leistet diese Arbeit auch technologische Beiträge zur Augmentierungsforschung. Ein zentraler Bestandteil ist die Entwicklung funktionaler Augmentierungsprototypen. Dazu gehören tragbare haptische Feedback-Systeme für sensorische, kognitive und motorische Augmentierung sowie interaktive Virtual-Reality-Umgebungen (VR), in denen Augmentierungserfahrungen unter kontrollierten Bedingungen untersucht werden. Durch den Einsatz von VR als Forschungsplattform können digitale Simulationen als Testumgebungen für die Entwicklung zukünftiger Augmentierungstechnologien genutzt werden. Die Erkenntnisse dieser Dissertation reichen von der Analyse individuellen Verhaltens über gesellschaftliche Wahrnehmungen bis hin zur Entwicklung technischer Artefakte in der Augmentierungsforschung. Während Augmentierungstechnologien zunehmend realisierbar werden, bietet diese Arbeit Forschenden und Praktiker:innen ein menschenzentriertes Rahmenwerk zur Gestaltung von Augmentierungssystemen, die sich nahtlos in das menschliche Leben integrieren. Indem sie es Individuen ermöglichen, ihre natürlichen Fähigkeiten zu erweitern, während gleichzeitig eine verantwortungsbewusste Innovation sichergestellt wird, ebnet diese Forschung den Weg für eine Zukunft, in der Technologie das Menschsein bereichert, anstatt es zu ersetzen

    In vitro und ex vivo Modelle zur Aufklärung von Pathomechanismen toxischer Verbindungen

    Full text link

    Specification search in structural equation modeling with SEM forests

    Full text link
    Model misspecification is a prevalent challenge in applied SEM, often requiring specification search to improve model fit. Traditional approaches, such as modification indices, are limited to variables already included in the model and are therefore ineffective at detecting omitted influential variables and their interaction effects. To address these limitations, the two studies presented in this dissertation introduce SEM forests as a novel and robust technique for specification search in SEM. The first study evaluates the performance of SEM forests to identify unique, mixed, and interaction covariate paths across different factor loading magnitudes, covariate path magnitudes, and sample sizes. The results indicate that SEM forests consistently do not incorrectly identify noninfluential omitted covariate paths under all examined conditions and accurately identify influential omitted covariate paths in multiple condition combinations explored, particularly when covariate-latent variable regression coefficients are strong and sample sizes are large. The second study provides a step-by-step guide for using SEM forests with the semtree R package, covering data preparation, model specification, forest generation, results interpretation, and model respecification. This practical guide equips researchers with the tools to apply SEM forests for specification search in SEM, addressing the limitations of traditional methods regarding omitted variables. Together, these studies demonstrate SEM forests as a robust alternative for specification search, enabling the identification of omitted influential covariates and interactions that traditional methods may overlook, ultimately enhancing the validity and reliability of SEM models

    Untersuchungen zum perioperativen Management des Urothelkarzinoms

    Full text link

    Implementierung von robotischen Assistenzsystemen zur Bewegungsförderung in das intensivmedizinische Setting

    Full text link
    Die Ergebnisse dieser Arbeit zeigen, dass robotische Assistenzsysteme wie Vemotion© unter spezifischen Rahmenbedingungen eine praktikable Lösung für die Frühmobilisation auf Inten-sivstationen darstellen können. Um diese komplexe Thematik umfassend zu untersuchen, wurde ein mehrdimensionaler Ansatz gewählt, der sowohl qualitative als auch quantitative Forschungsmethoden umfasst. Im Rahmen einer Expertenbefragung wurden Einflussfaktoren auf eine Implementierung von robotischen Assistenzsystemen evaluiert. Hierbei zeigte sich, dass bereits in der Entwick-lungsphase der partizipative Ansatz zwischen Hersteller und Endanwendenden entscheidend ist, um im Praxiseinsatz eine intuitive Bedienbarkeit, Handhabbarkeit und Akzeptanz zu schaf-fen. Gleichzeitig wurden strukturelle Herausforderungen wie kurze Förderzeiträume und feh-lende Freistellungen für Endnutzende deutlich, die eine aktive Mitgestaltung erschweren. Die-se Ergebnisse unterstreichen, dass eine partizipative Entwicklung essenziell ist, um die Robo-tik an die Bedürfnisse der Intensivstation anzupassen. In der initialen Integrationsphase wurde deutlich, dass transparente Entscheidungsprozesse und intensive Schulungsmaßnahmen die Akzeptanz bei den Endanwendenden maßgeblich fördern können. Gleichzeitig stellte sich je-doch heraus, dass nicht angepasste Arbeitsabläufe, lange Herstellerreaktionszeiten und unkla-re Finanzierungsmodelle die Umsetzung erheblich behindern können. Dies verdeutlicht die Notwendigkeit einer sorgfältigen Planung, die sowohl organisatorische als auch finanzielle Aspekte berücksichtigt. Damit die Robotik langfristig erfolgreich in den klinischen Alltag inte-griert werden kann, müssen Prozesse kontinuierlich angepasst und optimiert werden. Eine klare Prozessdefinition, ergänzende Schulungsangebote und ein regelmäßiger Austausch zwi-schen Klinik und Hersteller sind entscheidend, um die Anwendung nachhaltig zu sichern. Feh-lende Strukturen oder unzureichende Kostenübernahmen durch die Krankenkassen stellen hierbei weiterhin wesentliche Hürden dar, die es zu überwinden gilt. Die im Rahmen der Machbarkeitsstudie gewonnenen Daten bestätigen, dass robotische Assis-tenzsysteme wie Vemotion© unter realen Bedingungen eine vielversprechende Lösung dar-stellen können. Die praktische Erprobung umfasste roboter-assistierte Frühmobilisation bei 16 Patienten. Die Ergebnisse zeigen, dass die Therapie durchschnittlich 20 Minuten dauerte, wo-bei Rüstzeiten von 18 Minuten erforderlich waren. Obwohl es zu Unterbrechungen aufgrund von Anwenderfehlern oder Schmerzen kam, konnten hiervon 64 % direkt während der Interven-tion gelöst werden. Schwerwiegende unerwünschte Ereignisse traten nicht auf, was die Si-cherheit des Systems unterstreicht. Zudem bewerteten die Pflegekräfte die körperliche Entlas-tung durch die Robotik positiv und schätzten die generelle Umsetzbarkeit als gut ein. Die Ergebnisse der beiden Studien zeigen, dass Mobilisationsrobotik unter Berücksichtigung spezifischer Voraussetzungen eine vielversprechende Ergänzung für die Intensivpflege dar-stellt. Die partizipative Einbindung der Mitarbeitenden, die Anpassung der klinischen Prozesse sowie eine transparente Kommunikation zwischen allen Beteiligten sind dabei entscheidende Faktoren. Gleichzeitig machen die Erkenntnisse deutlich, dass technische Innovationen nur dann erfolgreich implementiert werden können, wenn die Rahmenbedingungen – von der Fi-nanzierung bis zur praxisnahen Schulung – angepasst werden. Unter Berücksichtigung dieser Faktoren besteht das Potenzial, Pflegekräfte durch die Reduktion körperlicher Belastungen nachhaltig zu entlasten und Patienten eine bedarfsgerechte Frühmobilisation zu ermöglichen. Diese Arbeit legt damit eine fundierte Grundlage für die weitere Erforschung und Optimierung von Mobilisationsrobotik in der Intensivpflege.The results of this study show that, under certain conditions, robotic assistance systems such as Vemotion© can be a viable solution for early mobilisation in intensive care units. In order to comprehensively analyse this complex topic, a multi-dimensional approach was chosen, inclu-ding both qualitative and quantitative research methods. Factors influencing the implementation of robotic assistance systems were evaluated through a survey of experts. The results showed that a participatory approach between the manufactu-rer and the end-user from the development phase onwards is crucial to achieve intuitive usabi-lity, manageability and acceptance in practice. At the same time, it highlighted structural chal-lenges such as short funding periods and lack of release for end users, which make active co-design difficult. These findings emphasise that participatory development is essential to adapt robotics to the needs of the ICU. During the initial integration phase, it became clear that transparent decision-making processes and intensive training measures can significantly promote end-user acceptance. At the same time, however, it was found that unadapted work-flows, long response times from manufacturers and unclear funding models can significantly hinder implementation. This highlights the need for careful planning, taking into account both organisational and financial aspects. In order for robotics to be successfully integrated into everyday clinical practice in the long term, processes need to be continuously adapted and optimized. A clear definition of the process, additional training programmes and a regular exchange between the hospital and the manufacturer are essential to ensure sustainable use. Lack of structures or inadequate reimbursement by health insurance companies remain major hurdles to be overcome. Robotic assistance systems such as Vemotion© can be a promising solution under real-life conditions, as confirmed by the data obtained during the feasibility study. The practical study involved robotic-assisted early mobilisation in 16 patients. The results show that therapy lasted an average of 20 minutes, with set-up times of 18 minutes. Although there were inter-ruptions due to user error or pain, 64% of these were resolved directly during the procedure. There were no serious adverse events, demonstrating the safety of the system. In addition, nurses rated the physical relief provided by the robotics as positive and the overall feasibility as good. The results of the two studies show that mobilisation robotics is a promising addition to inten-sive care, provided that specific requirements are taken into account. The participative invol-vement of staff, adaptation of clinical processes and transparent communication between all parties involved are key factors. At the same time, the results show that technical innovations can only be successfully implemented if the framework conditions - from funding to practical training - are adapted. If these factors are taken into account, there is the potential to reduce the physical burden on nursing staff in the long term and to enable patients to be mobilised earlier, in line with their needs. This work therefore provides a solid foundation for further re-search and optimisation of robotic mobilisation in intensive care

    On the investigation of measurement invariance

    Full text link

    22,444

    full texts

    22,455

    metadata records
    Updated in last 30 days.
    Digitale Hochschulschriften der LMU
    Access Repository Dashboard
    Do you manage Open Research Online? Become a CORE Member to access insider analytics, issue reports and manage access to outputs from your repository in the CORE Repository Dashboard! 👇