1,720,971 research outputs found
AI for e-health : robust Artificial Intelligence for the analysis of wearable medical devices data
No full textAcquiring, curating and releasing a multi-modal dataset for stress detection: Ambitions, achievements, mistakes, and lessons learned
No full textApproche pour l’apprentissage multimodal supervisé sans reconstruction de modalités manquantes
No full text
Preictal dysfunctions of inhibitory interneurons paradoxically lead to low-voltage-fast onset seizures in Dravet syndrome
No full textTelemedicine and Digital Health Applications in Vascular Surgery
No full textBackground: Telemedicine has the potential to revolutionize healthcare. While the development of digital health technologies for the management of patients with cardiovascular diseases has been increasingly reported, applications in vascular surgery have been far less specifically investigated. The aim of this review is to summarize applications related to telemedicine in vascular surgery, highlighting expected benefits, current limits and future directions. Methods: The MEDLINE database was searched using a combination of keywords to identify studies related to telehealth/telemedicine in three main pathologies, including aortic, peripheral artery and carotid disease. A comprehensive literature review was performed to identify the type of digital application, intended use, expected benefits, strengths and limitations. Results: Telemedicine can improve the management of patients through digital platforms allowing teleconsultation, telemonitoring or telecoaching. Intended use involved remote consultation with a vascular surgeon, applications to enhance education, self-management, follow-up or adherence to treatment or lifestyle changes. Conclusion: Telemedicine offers innovative perspectives to improve access to care in distant locations and optimize care through patients’ empowerment and personalized follow-up, contributing to the development of precision medicine. Huge efforts remain necessary for its implementation in daily clinical practice and involve ethical, legal, technical, economic and cultural considerations
L'IA pour la e-santé : conception d'outils d'Intelligence Artificielle robustes pour l'analyse de données de dispositif médicaux portables
No full textL'analyse basée sur l'intelligence artificielle (IA) des données multimodales collectées à l'aide de capteurs portables, peu coûteux et accessibles, apparaît comme une opportunité prometteuse pour démocratiser l'accès aux soins de santé. Elle faciliterait la prévention de divers problèmes de santé et réduirait la nécessité d'examens cliniques coûteux, difficilement accessibles à une grande partie de la population. Toutefois, la fiabilité et la robustesse des algorithmes d'IA, souvent négligées dans la recherche sur les soins de santé, suscitent encore des inquiétudes. D'une part, les algorithmes existants sont entraînés sur des données peu représentatives du monde réel, et d'autre part, leurs architectures les rendent vulnérables aux diverses perturbations couramment rencontrées une fois déployés. L'objectif de ce doctorat est de développer des méthodes innovantes, robustes et fiables pour l'analyse des données de capteurs portables - avec un accent particulier sur la robustesse aux données manquantes. Nous voulons proposer des méthodes multimodales évaluées sur données réelles et conçues pour être adaptées à diverses applications médicales - allant de l'analyse des signaux physiologiques à l'analyse d'imagerie multimodale. Nous proposons 5 contributions pour atteindre cet objectif. (1) Nous présentons StressID, un jeu de données conçu pour l'identification du stress à partir de données unimodales et multimodales, que nous avons rendu public. Il contient des vidéos, des enregistrements audio et des signaux physiologiques collectés à l'aide de capteurs portables. Il comprend les données de 65 participants, et donc un large éventail de réponses. Il s'agit d'un support précieux pour la création d'applications fiables et robustes pour l'identification du stress. (2) Nous proposons une suite de modèles pour l'analyse de StressID, qui est représentative de l'état de l'art actuel dans le domaine, et a pour but de faciliter les contributions futures en fournissant un point de départ pour les chercheurs. Nous analysons les limitations des modèles existants, et identifions la robustesse aux données manquantes comme un aspect essentiel pour exploiter les avantages des données multimodales. (3) Nous examinons si la riche littérature existante sur les valeurs manquantes peut être exploitée pour remédier à ce problème. Nous étudions les méthodes existantes pour traiter les données manquantes, et évaluons leur fiabilité dans les applications de soins de santé. Cela nous permet d'identifier les forces et les limites des approches existantes, pour finalement dériver un ensemble de recommandations pour traiter correctement et de manière responsable les valeurs manquantes dans les applications de santé. (4) Sur la base des considérations ainsi identifiées, nous proposons PicMi, un modèle sans imputation pour l'apprentissage supervisé avec des valeurs manquantes dans des données tabulaires. Il utilise une architecture invariante par permutation pour traiter des entrées de dimensions variables ; intègre les motifs de valeurs manquantes comme condition dans son apprentissage pour assurer la robustesse à divers scénarios de valeurs manquantes ; et est localement interprétable. (5) Nous étendons notre approche à l'apprentissage multimodal avec des modalités manquantes et présentons HyperMM, une méthode conçue pour traiter les modalités manquantes sans utiliser de reconstruction - contrairement aux solutions existantes. Nous proposons une stratégie pour l'entraînement d'un extracteur de caractéristiques universel en utilisant un hypernetwork conditionnel, et proposons un réseau neuronal invariant par permutation qui peut gérer des entrées de dimensions variables pour traiter les caractéristiques extraites. Notre méthode est intégrée de bout-en-bout et peut être utilisée dans diverses applications, contribuant ainsi au développement de systèmes d'intelligence artificielle plus fiables et plus robustes dans le domaine des soins de santé.Artificial Intelligence (AI) based analysis of multimodal data collected using inexpensive and accessible wearable sensors is emerging as a promising opportunity to democratise access to healthcare. It would facilitate the prevention of various health problems and reduce the need for expensive clinical examinations that are difficult to access for a large portion of the population. However, concerns remain about the reliability and robustness of AI algorithms that are frequently overlooked in healthcare research. Yet, these aspects are crucial to the deployment of AI in medical applications. On one hand, most existing algorithms are trained on data that is hardly representative of the real world, and on the other, their architectures make them vulnerable to various perturbations commonly encountered in real data, once deployed. The aim of this PhD project is to develop innovative, robust and reliable methodologies for the analysis of wearable sensor data - with a particular focus on robustness to missing data. Our aim is to design novel multimodal methodologies that are evaluated on real sensor data and designed to be transposed and adapted to various medical applications - ranging from physiological signals analysis to the analysis of multimodal imaging data. We propose 5 contributions to achieve this goal.(1) We introduce StressID, a new dataset specifically designed for stress identification from unimodal and multimodal data, that we made publicly available for researchers. It contains videos, audio recordings, and physiological signals collected in ambulatory settings using wearable sensors. As it is collected from 65 participants, it includes a wide range of participant's responses. As such, it is a valuable support for building reliable and robust applications for stress identification. (2) We propose an open-source suite of baseline models for the analysis of StressID, that is representative of the current state-of-the-art in the domain, and facilitates future contributions to this domain by providing a starting point for researchers who wish to use the dataset. We investigate the next steps needed to ensure reliability and robustness of existing models, and identify robustness to missing data as an essential aspect to exploiting the benefits of real-life multimodal datasets. (3) We explore whether the rich existing literature on missing values in tabular data can be leveraged to address this limitation. We conduct a comprehensive evaluation of existing methods for dealing with missing data, and assess their reliability within healthcare applications. This enables us to identify the strengths and limitations of existing approaches, to ultimately derive a set of guidelines to properly and responsibly handle missing values in healthcare applications. (4) Based on the considerations thus identified, we propose PicMi, an end-to-end imputation-free model designed for supervised learning with missing values in tabular data, that uses a permutation-invariant architecture to handle inputs of varying dimensions; integrates missing value patterns as a condition in its objective function to ensure robustness to various missing values scenarios; and is locally interpretable. (5) We extend our approach to multimodal learning with missing modalities, and introduce HyperMM, a framework designed for handling missing modalities without using reconstruction before training - as opposed to existing solutions. We introduce a novel strategy for training a universal feature extractor using a conditional hypernetwork, and propose a permutation invariant neural network that can handle inputs of varying dimensions to process the extracted features, in a two-phase task-agnostic framework. Our method is end-to-end and can be used in various applications, and thus contributes to the development of more reliable and robust AI systems in healthcare
L'IA pour la e-santé : conception d'outils d'Intelligence Artificielle robustes pour l'analyse de données de dispositif médicaux portables
No full textArtificial Intelligence (AI) based analysis of multimodal data collected using inexpensive and accessible wearable sensors is emerging as a promising opportunity to democratise access to healthcare. It would facilitate the prevention of various health problems and reduce the need for expensive clinical examinations that are difficult to access for a large portion of the population. However, concerns remain about the reliability and robustness of AI algorithms that are frequently overlooked in healthcare research. Yet, these aspects are crucial to the deployment of AI in medical applications. On one hand, most existing algorithms are trained on data that is hardly representative of the real world, and on the other, their architectures make them vulnerable to various perturbations commonly encountered in real data, once deployed. The aim of this PhD project is to develop innovative, robust and reliable methodologies for the analysis of wearable sensor data - with a particular focus on robustness to missing data. Our aim is to design novel multimodal methodologies that are evaluated on real sensor data and designed to be transposed and adapted to various medical applications - ranging from physiological signals analysis to the analysis of multimodal imaging data. We propose 5 contributions to achieve this goal.(1) We introduce StressID, a new dataset specifically designed for stress identification from unimodal and multimodal data, that we made publicly available for researchers. It contains videos, audio recordings, and physiological signals collected in ambulatory settings using wearable sensors. As it is collected from 65 participants, it includes a wide range of participant's responses. As such, it is a valuable support for building reliable and robust applications for stress identification. (2) We propose an open-source suite of baseline models for the analysis of StressID, that is representative of the current state-of-the-art in the domain, and facilitates future contributions to this domain by providing a starting point for researchers who wish to use the dataset. We investigate the next steps needed to ensure reliability and robustness of existing models, and identify robustness to missing data as an essential aspect to exploiting the benefits of real-life multimodal datasets. (3) We explore whether the rich existing literature on missing values in tabular data can be leveraged to address this limitation. We conduct a comprehensive evaluation of existing methods for dealing with missing data, and assess their reliability within healthcare applications. This enables us to identify the strengths and limitations of existing approaches, to ultimately derive a set of guidelines to properly and responsibly handle missing values in healthcare applications. (4) Based on the considerations thus identified, we propose PicMi, an end-to-end imputation-free model designed for supervised learning with missing values in tabular data, that uses a permutation-invariant architecture to handle inputs of varying dimensions; integrates missing value patterns as a condition in its objective function to ensure robustness to various missing values scenarios; and is locally interpretable. (5) We extend our approach to multimodal learning with missing modalities, and introduce HyperMM, a framework designed for handling missing modalities without using reconstruction before training - as opposed to existing solutions. We introduce a novel strategy for training a universal feature extractor using a conditional hypernetwork, and propose a permutation invariant neural network that can handle inputs of varying dimensions to process the extracted features, in a two-phase task-agnostic framework. Our method is end-to-end and can be used in various applications, and thus contributes to the development of more reliable and robust AI systems in healthcare.L'analyse basée sur l'intelligence artificielle (IA) des données multimodales collectées à l'aide de capteurs portables, peu coûteux et accessibles, apparaît comme une opportunité prometteuse pour démocratiser l'accès aux soins de santé. Elle faciliterait la prévention de divers problèmes de santé et réduirait la nécessité d'examens cliniques coûteux, difficilement accessibles à une grande partie de la population. Toutefois, la fiabilité et la robustesse des algorithmes d'IA, souvent négligées dans la recherche sur les soins de santé, suscitent encore des inquiétudes. D'une part, les algorithmes existants sont entraînés sur des données peu représentatives du monde réel, et d'autre part, leurs architectures les rendent vulnérables aux diverses perturbations couramment rencontrées une fois déployés. L'objectif de ce doctorat est de développer des méthodes innovantes, robustes et fiables pour l'analyse des données de capteurs portables - avec un accent particulier sur la robustesse aux données manquantes. Nous voulons proposer des méthodes multimodales évaluées sur données réelles et conçues pour être adaptées à diverses applications médicales - allant de l'analyse des signaux physiologiques à l'analyse d'imagerie multimodale. Nous proposons 5 contributions pour atteindre cet objectif. (1) Nous présentons StressID, un jeu de données conçu pour l'identification du stress à partir de données unimodales et multimodales, que nous avons rendu public. Il contient des vidéos, des enregistrements audio et des signaux physiologiques collectés à l'aide de capteurs portables. Il comprend les données de 65 participants, et donc un large éventail de réponses. Il s'agit d'un support précieux pour la création d'applications fiables et robustes pour l'identification du stress. (2) Nous proposons une suite de modèles pour l'analyse de StressID, qui est représentative de l'état de l'art actuel dans le domaine, et a pour but de faciliter les contributions futures en fournissant un point de départ pour les chercheurs. Nous analysons les limitations des modèles existants, et identifions la robustesse aux données manquantes comme un aspect essentiel pour exploiter les avantages des données multimodales. (3) Nous examinons si la riche littérature existante sur les valeurs manquantes peut être exploitée pour remédier à ce problème. Nous étudions les méthodes existantes pour traiter les données manquantes, et évaluons leur fiabilité dans les applications de soins de santé. Cela nous permet d'identifier les forces et les limites des approches existantes, pour finalement dériver un ensemble de recommandations pour traiter correctement et de manière responsable les valeurs manquantes dans les applications de santé. (4) Sur la base des considérations ainsi identifiées, nous proposons PicMi, un modèle sans imputation pour l'apprentissage supervisé avec des valeurs manquantes dans des données tabulaires. Il utilise une architecture invariante par permutation pour traiter des entrées de dimensions variables ; intègre les motifs de valeurs manquantes comme condition dans son apprentissage pour assurer la robustesse à divers scénarios de valeurs manquantes ; et est localement interprétable. (5) Nous étendons notre approche à l'apprentissage multimodal avec des modalités manquantes et présentons HyperMM, une méthode conçue pour traiter les modalités manquantes sans utiliser de reconstruction - contrairement aux solutions existantes. Nous proposons une stratégie pour l'entraînement d'un extracteur de caractéristiques universel en utilisant un hypernetwork conditionnel, et proposons un réseau neuronal invariant par permutation qui peut gérer des entrées de dimensions variables pour traiter les caractéristiques extraites. Notre méthode est intégrée de bout-en-bout et peut être utilisée dans diverses applications, contribuant ainsi au développement de systèmes d'intelligence artificielle plus fiables et plus robustes dans le domaine des soins de santé
MVP: Multimodal Emotion Recognition Based on Video and Physiological Signals
No full textHuman emotions entail a complex set of behavioral, physiological and cognitive changes. Current state-of-the-art models fuse the behavioral and physiological components using classic machine learning, rather than recent deep learning techniques. We propose to fill this gap, designing the Multimodal for Video and Physio (MVP) architecture, streamlined to fuse video and physiological signals. Differently then others approaches, MVP exploits the benefits of attention to enable the use of long input sequences (1–2 min). We have studied video and physiological backbones for inputting long sequences and evaluated our method with respect to the state-of-the-art. Our results show that MVP outperforms former methods for emotion recognition based on facial videos, EDA, and ECG/PPG. The code is available on GitHub (https://github.com/EmotionLab/EmotionVMAE)
- …
