22455 research outputs found
Sort by
Addressing data heterogeneity, scarcity, and training efficiency in privacy-preserving federated learning
Get PDFOver the past decade, deep learning has achieved significant breakthroughs in various domains, including computer vision and natural language processing, with applications spanning industries such as healthcare and manufacturing. However, the success of deep neural networks (DNNs) relies heavily on access to large-scale datasets, which can be difficult for individual organizations to acquire. The reasons behind are the complexities and costs for data collection and annotation at large scale. A straightforward solution is to centralize data from multiple organizations for training. However, this approach raises significant privacy concerns, as such data often contains sensitive or confidential information. Furthermore, regulations like the General Data Protection Regulation (GDPR) emphasize the importance of protecting user privacy in inter-organizational data exchanges. Moreover, transmitting large volumes of data introduces substantial computational overhead, further complicating the process. These challenges highlight the urgent need for methods that facilitate collaborative data use while ensuring privacy preservation.
Federated learning (FL), which enables multiple parties to collaboratively train a DNN with the assistance of a central server, offers an effective solution to the aforementioned problem. Unlike traditional centralized learning, which requires collecting data from each party, FL eliminates the need to upload data for joint training. Instead, locally trained models are exchanged with a central server, which aggregates the knowledge from all of the uploaded models and then distributes a refined global model to each party. This approach allows each party to benefit from the collective contributions, ultimately enhancing the model performance. This thesis makes four key contributions to addressing challenges in federated learning, including data heterogeneity, data scarcity, and system convergence rate, while preserving client data privacy. For each contribution, we propose a novel method and empirically demonstrate its effectiveness within the relevant problem context.
In this thesis, we address key challenges in federated learning (FL) related to data heterogeneity, foundation model adaptation, hyperparameter tuning, and communication efficiency. First, we tackle feature space heterogeneity by introducing a generative augmentation method that aligns diverse client distributions, validated on both public and real-world datasets. We then adapt parameter-efficient fine-tuning techniques for vision-language models in FL by designing a dual-stream adapter that captures both client-specific and client-agnostic knowledge. To optimize performance under limited resources and non-IID conditions, we propose an evolutionary hyperparameter tuning framework that enables efficient online optimization. Lastly, we address data scarcity and heterogeneity in One-Shot FL by personalizing pretrained latent diffusion models, enabling privacy-preserving synthetic data generation that improves performance across challenging domains such as medical and satellite imaging.In den letzten zehn Jahren hat das Deep Learning bedeutende Durchbrüche in verschiedenen Bereichen erzielt, darunter Computer Vision und die Verarbeitung natürlicher Sprache, mit Anwendungen in Branchen wie dem Gesundheitswesen und der Fertigung. Der Erfolg tief neuronaler Netzwerke (DNNs) beruht jedoch maßgeblich auf dem Zugang zu groß angelegten Datensätzen, die für einzelne Organisationen oft schwer zu beschaffen sind. Gründe dafür sind die Komplexität und die hohen Kosten der Datenerhebung und -annotation im großen Maßstab. Eine naheliegende Lösung besteht darin, Daten mehrerer Organisationen zentral zu sammeln und gemeinsam zu nutzen. Dieses Vorgehen wirft jedoch erhebliche Datenschutzbedenken auf, da solche Daten häufig sensible oder vertrauliche Informationen enthalten. Darüber hinaus betonen gesetzliche Regelungen wie die Datenschutz-Grundverordnung (DSGVO) die Bedeutung des Schutzes der Privatsphäre bei unternehmensübergreifendem Datenaustausch. Zusätzlich verursacht die Übertragung großer Datenmengen einen erheblichen rechnerischen Mehraufwand, was den Prozess weiter erschwert. Diese Herausforderungen verdeutlichen den dringenden Bedarf an Methoden, die eine kollaborative Datennutzung ermöglichen und gleichzeitig den Datenschutz gewährleisten.
Föderiertes Lernen (Federated Learning, FL) bietet hierfür eine effektive Lösung. Es ermöglicht mehreren Parteien, mit Unterstützung eines zentralen Servers gemeinsam ein DNN zu trainieren. Im Gegensatz zum traditionellen zentralisierten Lernen, bei dem alle Daten zusammengeführt werden müssen, entfällt beim FL die Notwendigkeit, Daten zur gemeinsamen Modellbildung hochzuladen. Stattdessen werden lokal trainierte Modelle mit dem zentralen Server ausgetauscht. Dieser aggregiert das Wissen aus allen hochgeladenen Modellen und verteilt anschließend ein verfeinertes globales Modell an alle Teilnehmer. Auf diese Weise profitieren alle Beteiligten von den kollektiven Beiträgen, was letztlich die Modellleistung verbessert. Diese Arbeit leistet vier wesentliche Beiträge zur Lösung zentraler Herausforderungen im Bereich des föderierten Lernens, darunter Datenheterogenität, Datenknappheit und Konvergenzgeschwindigkeit, bei gleichzeitiger Wahrung der Datenprivatsphäre der einzelnen Teilnehmer. Für jeden dieser Beiträge schlagen wir eine neuartige Methode vor und belegen deren Wirksamkeit empirisch im jeweiligen Problemkontext.
In dieser Arbeit befassen wir uns mit zentralen Herausforderungen des föderierten Lernens (FL), insbesondere im Hinblick auf Datenheterogenität, die Anpassung von Foundation Models, Hyperparameteroptimierung und Kommunikationseffizienz. Zunächst adressieren wir die Heterogenität im Merkmalsraum durch eine generative Augmentierungsmethode, die unterschiedliche Verteilungen der Clients ausgleicht und sowohl auf öffentlichen als auch auf realen Datensätzen validiert wurde. Anschließend passen wir parameter-effiziente Fine-Tuning-Techniken für Vision-Language-Modelle im FL-Kontext an, indem wir eine Dual-Stream-Adapter-Architektur entwerfen, die sowohl client-spezifisches als auch client-unabhängiges Wissen erfasst. Zur Optimierung der Modellleistung unter beschränkten Ressourcen und nicht-i.i.d. Bedingungen schlagen wir ein evolutionäres Hyperparameter-Tuning-Verfahren vor, das eine effiziente Online-Optimierung ermöglicht. Abschließend gehen wir das Problem der Datenknappheit und -heterogenität im One-Shot Federated Learning (OSFL) an, indem wir vortrainierte Latent Diffusion Models personalisieren. Dies erlaubt die datenschutzfreundliche Generierung synthetischer Daten, was die Leistung in anspruchsvollen Domänen wie der medizinischen und satellitengestützten Bildgebung deutlich verbessert
Human-centered privacy in intelligent environments
Get PDFAdvancements in technology have transformed our everyday environments into intelligent, sensor-rich spaces. While technologies such as smart home devices, augmented reality, and radio frequency sensing bring various benefits and make life more convenient and enjoyable, they also expose users to significant privacy risks. However, users often lack awareness and understanding of how their data is collected, processed, stored, and shared. At the same time, they lack mechanisms that help manage privacy effectively. Technology designers and researchers have the opportunity to support users by creating privacy-friendly devices and mechanisms. However, they must carefully balance privacy considerations with maintaining rich features and ensuring engagement in users' primary tasks. Overly strict privacy measures can deter adoption, especially since many users consider privacy management a low priority. It is rarely a primary goal but rather a secondary concern that arises alongside the main use case.
This thesis outlines a vision of privacy mechanisms that seamlessly integrate into users' daily routines and effectively empower them to claim autonomy and exercise agency over their privacy. To realize this vision, we require (1) a thorough understanding of users' privacy concerns and the factors shaping their perceptions of privacy risks to (2) design effective interventions to mitigate these concerns. Consequently, this thesis outlines a vision of a privacy-preserving future among advanced, sensor-rich technologies. In this thesis, we first investigate how users perceive and interact with privacy risks in intelligent environments. Second, we design and evaluate innovative, human-centered solutions to address these concerns.
The first part of this dissertation examines privacy concerns in intelligent environments. We conducted surveys, interviews, and focus groups to understand how users perceive privacy risks and navigate data practices. In detail, we explored concerns in smart homes, focusing on bystanders' perspectives on mobile and smart home technologies and users' understanding of interconnected interactions involving mobile phones and smart devices. We further examined people's experiences with privacy violations in the physical world and investigated people's understanding and concerns about emerging technologies, such as advanced domestic robots and radio frequency sensing. These systematic investigations offer new insights into people's privacy concerns and establish a foundation for designing effective, user-centered solutions.
The second part of this thesis develops and evaluates innovative privacy solutions and interventions, focusing on empowering users to claim autonomy and exercise agency over their privacy. We proposed two conceptual frameworks: one for designing effective consent mechanisms for spontaneous interactions in augmented reality and one for addressing privacy violations in the physical world. We further proposed communication patterns enabling domestic robots to convey their privacy-relevant states to users effectively. We then created interactive privacy labels that inform users about the privacy implications of smart home devices and support control and use-case-based interactions. Finally, through three studies, we explored tangible privacy interfaces for smart homes, resulting in a cross-ecosystem privacy hub. We evaluated this hub in an in-the-wild study, delivering unique insights into lived experiences with a tangible privacy control system.
Based on our findings from the first part of this dissertation, I propose a conceptual model for privacy concerns in intelligent environments, outlining how personal, technological, and situational factors impact privacy concerns. Next, condensing the insights from the dissertation's second half, I present a research playbook for human-centered privacy mechanisms in intelligent environments. The framework integrates theoretical insights and practical findings to guide the design of future privacy-preserving technologies. I designed the framework as a resource for researchers and designers aiming to create systems that align privacy practices with user needs.
Overall, this thesis contributes (1) a comprehensive understanding of people's privacy concerns and mental models in intelligent environments, (2) innovative systems, tools, and comprehensive concepts to enhance privacy awareness and control, (3) a conceptual model for privacy concerns in intelligent environments, (4) a research playbook to elicit effective human-centered privacy mechanisms for intelligent environments, and (5) reflections on methods in privacy research and the future of privacy in intelligent environments. I envision human-centered privacy solutions that reduce the burden on individuals while making privacy management seamless and engaging. By developing a deep understanding of people's privacy concerns and creating several privacy mechanisms and frameworks, this thesis lays the groundwork for a future where privacy and innovation coexist.Unser Alltag hat sich durch technologischen Fortschritt zunehmend in intelligente, sensorreiche Umgebungen verwandelt. Smart-Home-Geräte und Technologien wie Augmented Reality und radiofrequenzbasierte Sensoren haben zahlreiche Anwendungen und versprechen, das Leben komfortabler und angenehmer zu machen. Gleichzeitig setzen diese Technologien Nutzerinnen und Nutzer erheblichen Datenschutzrisiken aus. Häufig fehlt es jedoch an Bewusstsein und Verständnis dafür, wie persönliche Daten erfasst, verarbeitet, gespeichert und weitergegeben werden. Zudem mangelt es an wirksamen Mechanismen zur Kontrolle über die eigenen Daten und die eigene Privatsphäre. Hier liegt eine zentrale Herausforderung für die Gestaltung datenschutzfreundlicher Technologien, die Funktionalität, einfache Benutzbarkeit und Datenschutz in Einklang bringen. Zu strenge Datenschutzmaßnahmen können die Akzeptanz mindern – insbesondere, da viele Menschen den Schutz ihrer Privatsphäre nicht als vorrangiges Ziel, sondern eher als eine begleitende Aufgabe erachten.
Diese Dissertation verfolgt das Ziel, Datenschutzmechanismen menschenzentriert zu entwickeln, die sich nahtlos in den Alltag integrieren und es Nutzenden ermöglichen, Selbstbestimmung und Autonomie über ihre Privatsphäre zu gewinnen, ohne dadurch das Benutzererlebnis zu schmälern. Grundlage dafür sind (1) ein vertieftes Verständnis der zugrunde liegenden Datenschutzbedenken sowie der Faktoren, die die Risikowahrnehmung beeinflussen, und (2) darauf aufbauende, gezielte Interventionen, um diese Bedenken auszuräumen. Die Arbeit eröffnet damit eine fundierte und empirisch abgesicherte Perspektive auf eine datenschutzfreundliche Zukunft im Zeitalter ubiquitärer digitaler Technologien.
Im ersten Teil der Dissertation werden Datenschutzbedenken in intelligenten Umgebungen untersucht. Anhand von Umfragen, Interviews und Fokusgruppen analysiere ich, wie Menschen Risiken wahrnehmen und wie sie mit der Erhebung, Verarbeitung und Weitergabe ihrer Daten umgehen. Im Fokus stehen dabei unter anderem Bedenken im Kontext von Smart Homes aus der Perspektive sekundärer Nutzender. Insbesondere untersuchen wir das Verständnis für vernetzte Interaktionen zwischen Smartphones und smarten Geräten. Darüber hinaus betrachten wir auch Erfahrungen mit Datenschutzverletzungen im analogen Alltag sowie Wahrnehmungen gegenüber neuartigen Technologien wie innovativen Haushaltsrobotern und radiofrequenzbasierten Sensoren. Diese Analysen liefern wertvolle Einblicke in die Bedenken und Bedürfnisse von Nutzenden und bilden die Grundlage für die Entwicklung wirksamer datenschutzfreundlicher Lösungen.
Im zweiten Teil der Arbeit werden neuartige Datenschutzmechanismen entwickelt und empirisch evaluiert, die Menschen zu mehr Kontrolle über ihre Daten befähigen. Dabei stelle ich zwei konzeptuelle Rahmenwerke vor: Das erste befasst sich mit der Gestaltung wirksamer Einwilligungsmechanismen für spontane Interaktionen in Augmented Reality. Das zweite befasst sich mit dem Umgang mit Datenschutzverletzungen im physischen Raum. Darüber hinaus entwickeln wir Kommunikationsmuster, mit denen Haushaltsroboter ihre datenschutzrelevanten Zustände transparent vermitteln können. Darauf aufbauend entstehen interaktive Privacy Labels, die über die Datenschutzimplikationen von Smart-Home-Geräten informieren und eine fallbezogene und feingranulare Kontrolle ermöglichen. Ergänzend werden in drei Studien greifbare Interaktionsmechanismen für die Einstellung von Datenschutzparametern untersucht. Diese wurden anschließend zu einem plattformübergreifenden System, dem PrivacyHub, weiterentwickelt.
Auf Basis der Erkenntnisse aus dem ersten Teil entwickle ich ein konzeptuelles Modell, das zeigt, wie persönliche, technologische und situative Faktoren die Risikowahrnehmung in intelligenten Umgebungen beeinflussen. Im zweiten Teil fasse ich die gewonnenen Erkenntnisse in einem praxisorientierten Leitfaden für nutzerzentrierte Datenschutzmechanismen in intelligenten Umgebungen zusammen. Dieser richtet sich an Forschende sowie an Entwicklerinnen und Designer, die datenschutzfreundliche Systeme entwickeln möchten, die sich konsequent an den Bedürfnissen der Nutzenden orientieren.
Insgesamt leistet die Dissertation einen Beitrag, indem sie (1) ein umfassendes Verständnis von Datenschutzbedenken und mentalen Modellen in intelligenten Umgebungen vermittelt, (2) innovative Konzepte und Werkzeuge zur Förderung von Datenschutzbewusstsein und Kontrolle entwickelt, (3) ein konzeptuelles Modell zur Erklärung von Risikowahrnehmung vorstellt, (4) ein Rahmenwerk für effektive, nutzerzentrierte Schutzmechanismen bereitstellt und (5) methodische Reflexionen zur Datenschutzforschung sowie Ausblicke auf künftige Herausforderungen bietet. Die Arbeit zeigt auf, wie benutzerfreundliche Datenschutzlösungen gestaltet sein können, die sich nahtlos in den Alltag integrieren lassen und das Management von Privatsphäre intuitiv und wirkungsvoll machen. So legt diese Dissertation den Grundstein für einen Ansatz, der Datenschutz, technologische Innovation und Benutzbarkeit in Einklang bringt
Effekte und Nutzen der Anwendung von hochfrequentem Prozessmonitoring und Verlaufsfeedback in der Psychotherapie
Get PDF
Sonographische Untersuchung zur Beschaffenheit des Lungenparenchyms nach Lungentransplantation
Get PDF
Enhanced area laws for entanglement entropies corresponding to half-filled lowest Landau levels
Get PDFPhänomenologische und bildgebende Charakterisierung von FTD-Spektrum-Erkrankungen
Get PDFAngesichts des demographischen Wandels und einer alternden Gesellschaft stellen neurodegenerative Erkrankungen eine zunehmende Herausforderung dar. FTD-Spektrum-Erkrankungen repräsentieren eine heterogene Gruppe von Erkrankungen, die mit Veränderungen der Persönlichkeit und des Sozialverhaltens, linguistischer Fähigkeiten sowie motorischen und neuropsychiatrischen Symptomen einhergehen. Im Vergleich zu anderen neurodegenerativen Erkrankungen führen FTD-Spektrum-Erkrankungen häufig zu einem schnelleren Verlust der Alltagskompetenz und somit zu einer ausgeprägten psychischen Belastung der Betroffenen und betreuenden Angehörigen. Aufgrund des häufig vergleichsweise jungen Erkrankungsalters der Patienten sind die langfristigen medizinischen, psychosozialen und sozioökonomischen Folgen von FTD-Spektrum-Erkrankungen besonders schwerwiegend.
Eine besondere Herausforderung in der Diagnostik und Behandlung von FTD-Spektrum-Erkrankungen stellt die große Heterogenität der Symptomatik dar. Insbesondere im Frühstadium der Erkrankungen sind Fehldiagnosen ein häufiges Problem, was zu unangemessenen und potenziell schädlichen Therapien sowie einem erhöhten Leidensdruck bei Patienten und Angehörigen führen kann. Eine hohe diagnostische Präzision ist daher von großer Bedeutung und ermöglicht unter anderem eine realistische Prognoseabschätzung, eine Optimierung der Patientenversorgung und die Aufnahme in Beobachtungs- und Therapiestudien. Bislang beschränkt sich die Therapie von FTD-Spektrum-Erkrankungen auf symptomatische Therapieansätze sowie Aspekte der Patientenversorgung. Verlaufsmodifizierende Therapien stehen bislang noch nicht zur Verfügung, allerdings wurden bereits erste gezielte molekulare Therapiestudien begonnen. Im Hinblick auf diese Therapiestudien gewinnen klinische Charakteristika sowie Biomarker der Erkrankungen zunehmend an Bedeutung.
In unseren Studien konnten wir natürliche Cluster motorischer sowie behavioraler und neuropsychiatrischer Symptome bei genetischer FTD nachweisen, die bereits früh im Krankheitsverlauf, in der sogenannten präsymptomatischen Phase, auftreten. Das Wissen über diese klinisch-genetischen Assoziationen könnte eine wichtige Unterstützung bei der diagnostischen Aufarbeitung und der Entscheidungsfindung bezüglich einer genetischen Testung bieten und somit zur Identifikation von Mutationsträgern für Primär- und Sekundärpräventionsstudien beitragen. Auch eine Bestimmung der Atrophie thalamischer Regionen, insbesondere der präfrontalen Region und des Lateralitätsindex der okzipitalen Region des Thalamus beziehungsweise des gesamten Thalamusvolumens, kann zur Identifikation von c9orf72-Mutationsträgern beitragen.
Der Nachweis der zugrundeliegenden pathologischen Proteinaggregate ermöglicht die definitive Diagnose einer jeweiligen neurodegenerativen Erkrankung, die in der Regel erst post mortem gestellt werden kann. In den letzten Jahren wurde jedoch die in-vivo Darstellung pathologischer Tau-Ablagerungen mittels Tau-Radiotracer möglich. In unseren Studien konnten wir zeigen, dass die [18F]-THK-5351-Traceraufnahme bei PSP-RS Patienten gut mit der bekannten Topologie der Tau-Ablagerungen in histologischen Untersuchungen übereinstimmt. Wenngleich der Tau-Tracer der ersten Generation [18F]-THK-5351 aufgrund einer signifikanten Off-Target Bindung an MAO-B nur einen begrenzten Nutzen als Tau-spezifischer Biomarker hat, kann die kombinierte Tau- und MAO-B-Bindung des Tracers, die Diagnostik von Tauopathien erleichtern. Im Gegensatz zu den Tau-Tracern der ersten Generation, zeigte sich für den Tau-Tracer [18F]-PI-2620 der nächsten Generation bislang keine signifikante Off-Target Bindung. Wir konnten zeigen, dass bei Patienten mit einer 4-Repeat-Tauopathie die [18F]-PI-2620-Topologie gut mit der klinischen Symptomatik korreliert und [18F]-PI-2620-PET einen Biomarker darstellt, der sowohl mit pathologischen Veränderungen, als auch dem klinischen Phänotyp korreliert und somit einen möglichen Biomarker repräsentiert, der für die Evaluation des Therapieansprechens in künftigen Therapiestudien herangezogen werden könnte.
Zusammenfassend konnten wir mittels der hier vorgestellten Arbeiten klinische Charakteristika sowie bildgebende Biomarker identifizieren, die die Diagnostik von FTD-Spektrum-Erkrankungen erleichtern, somit die Patientenversorgung verbessern und die für den Selektionsprozess für die Rekrutierung für klinische Studien sowie für die Optimierung des Studiendesigns von Bedeutung sein können
Advanced near-field microscopic studies of nanophotonic and complex biological samples
Get PDFInfrared microscopy is commonly referred to as chemical microscopy, as it enables the deciphering of the chemical structure of examined materials based on their intrinsic, materialspecific infrared absorption. The detected infrared absorption serves as a spectroscopic fingerprint that is unique to the chemical nature of the material. Scattering scanning near-field optical microscopy (s-SNOM) is a technique that extends infrared microscopy and spectroscopy to the nanometer level, far below the diffraction limit of light, making the nanoworld accessible to chemical microscopy, previously restricted to several micrometers due to the diffraction limit. This work serves as a milestone in expanding the application range of s-SNOM across multiple fields, in combination with classical diffraction-limited far-field infrared microscopy methods.
In the first section of this work, s-SNOM is applied to optical all-dielectric metasurfaces whose ultra-sharp resonances are based on the physics of bound-states in the continuum (BIC). It is shown that s-SNOM can resolve the optical near-fields of the individual metasurface resonators. Furthermore, using a newly introduced image-processing method for s-SNOM images, it is demonstrated that the finite array size effect, directional coupling of the resonators, defects, and edge effects in optical metasurfaces can be decoded within the near field. The insights gained trough this method can be used, among other things, to reduce the geometric footprint of metasurfaces for applications in catalysis or biosensor technology.
In the second part of this work, a study oriented towards a biomedical application is presented in which a dental filling is characterized using various infrared microscopy techniques. It is shown that the infrared images and spectra can distinguish the chemical nature of the composite filling and the dental resin. In addition, the infrared images can be used to determine the porosity of dental fillings. Finally, s-SNOM is employed to examine the composite material of the dental filling at the nanoscale, revealing its chemical heterogeneities. The demonstrated infrared microscopy-driven characterization of the dental filling has great potential to optimize the increasingly complex composite materials through a better understanding of their chemical composition down to the nanoscale.
In the final part of this work, the functional range of s-SNOM, which has so far been almost exclusively applied to dry samples, is extended to aqueous solutions. For this purpose, a method is presented that uses ultra-thin silicon nitride membranes to protect the delicate sSNOM tip from the aqueous solution. As a highly relevant model system, the method is applied to investigate photoswitchable lipid vesicles in aqueous solution, which are potential lightdriven drug delivery systems. The study demonstrates that lipid vesicles can be characterized by near-field microscopy and spectroscopy far below the diffraction limit of infrared light. In addition, a transient infrared spectroscopic method based on s-SNOM is introduced that resolves the millisecond switching dynamics of single lipid vesicles. The presented concept of s-SNOM measurements in liquids holds great potential for future studies on e.g. the degradation of catalysts or the assembly of neurotoxic protein fibrils.
The studies presented in this thesis demonstrate the versatility of s-SNOM with investigations ranging from photonic metasurfaces and dental fillings to photoswitchable lipids in aqueous solution. The findings and concepts will allow further optimization of different material systems based on the attained near-field microscopic and spectroscopic results