1,721,205 research outputs found
A multimodal approach to initialisation for top-down speaker diarization of television shows
No full textAudiovisual Analysis of Music Performances: Overview of an Emerging Field
No full textIn the physical sciences and engineering domains, music has traditionally been considered an acoustic phenomenon. From a perceptual viewpoint, music is naturally associated with hearing, i.e., the audio modality. Moreover, for a long time, the majority of music recordings were distributed through audio-only media, such as vinyl records, cassettes, compact discs, and mp3 files. As a consequence, existing automated music analysis approaches predominantly focus on audio signals that represent information from the acoustic rendering of music.Green Open Access added to TU Delft Institutional Repository ‘You share, we take care!’ – Taverne project https://www.openaccess.nl/en/you-share-we-take-care Otherwise as indicated in the copyright section: the publisher is the copyright holder of this work and the author uses the Dutch legislation to make this work public.Multimedia Computin
Automatic recognition of emotion from EEG signals
No full textAlors que l’utilisation de l’électro-encéphalographie (EEG) a longtemps été confinée au domaine médical, l’intérêt dansles interfaces cerveau-machine basées sur ces signaux s’est développé au cours de ces dernières années pour les applications grand public. Les enregistrements EEG ont tout particulièrement retenu l’attention des chercheurs dans le domaine de l’informatique affective, affective computing, dans le but de réaliser des travaux sur l’analyse du comportement humain, et ce plus particulièrement sur la reconnaissance automatique des émotions. Comparé à d’autres modalités utilisées dans de précédents travaux sur la reconnaissance des émotions, telles que la parole, les expressions du visage, les mouvements et d’autres signaux physiologiques, l’EEG a l’avantage de pouvoir capturer des informations liées à l’état émotionnel interne qui n’est pas forcément traduit par des manifestations extérieures observables. La reconnaissance des émotions est habituellement envisagée sous l’angle d’un problème de classification où le choix de caractéristiques appropriées est essentiel dans le but de s’assurer une précision de reconnaissance satisfaisante. Une de nos problématiques repose sur le fait que, dans le cadre des caractéristiques EEG, un consensus n’a toujours pas été réalisé sur un ensemble standard de caractéristiques qui permettrait de garantir une distinction performante des émotions d’un sujet humain. Nous explorons une grande variété de caractéristiques temporelles, spectrales et spatiales pouvant être potentiellement utiles dans le cadre de la reconnaissance des émotions et nous les comparons à d’autres, exposées dans de précédents travaux, en utilisant un protocole expérimental rigoureux. Nous évaluons plus particulièrement l’efficacité de plusieurs caractéristiques spectrales, n’ayant pas été précédemment proposées pour le problème de la classification. Nos résultats montrent que les nouvelles caractéristiques spectrales que nous proposons sont compétitives comparées à celles précédemment utilisées. Elles nous amènent de plus vers une configuration mono-canal performante de la reconnaissance des émotions, ce qui implique un fort potentiel pour les applications destinées au grand public. Au sein des corpus existants et accessibles destinés à la reconnaissance des émotions en informatique affective, l’aspect de la dynamique de l’émotion n’est pas pris en considération. Ces corpus présentent également un manque de variabilité dans les données et ne possèdent les enregistrements que d’un nombre limité de participants. Ces raisons nous ont menées à proposer un corpus multi-modal destiné à l’analyse de l’état émotionnel qui s’attache à répondre au mieux à certaines faiblesses des corpus existants. Nous employons différentes stratégies d’élicitation de l’émotion, par le biais de l’utilisation de stimuli visuels et audio-visuels, et nous proposons également une approche novatrice dans la stratégie d’annotation de l’émotion ressentie, en intégrant en plus de la retranscription de l’émotion ressentie de manière globale, la retranscription de ses variations. Ce nouveau corpus permettra dans un premier temps de renforcer la validation de l’approche proposée dans nos travaux. D’autre part, en accord avec les résultats encourageants obtenus, il sera possible d’envisager à plus long terme la caractérisation de la dynamique de l’état émotionnel de l’utilisateur qui ouvre la voie à de nouveaux modèles qui pourraient prédire, par exemple, l’augmentation de l’anxiété de l’utilisateur en fonction de la situation dans laquelle il est placé.While the usage of electroencephalographic (EEG) recording has been for long confined in the medical field, the recent years have seen a growing interest in EEG-based brain-computer interfaces (BCI) for general public applications. In particular EEG-recording has attracted the attention of researchers in the field of affective computing as part of the effort to perform human-behaviour analysis tasks, especially automatic emotion recognition Compared to other modalities which have been considered in previous work on emotion recognition, such as speech, facial expressions, gestures or other physiological signals, EEG has the advantage of capturing information related to internal emotional states not necessarily resulting in any observable externalmanifestations. Emotion recognition is usually approached as a classification problem where the choice of appropriate features is critical to ensure satisfactory recognition accuracy. As far as EEG-features are concerned, a consensus has not yet been reached as to a standard set of attributes that could guarantee a successful characterization of a human-subject’s emotions. We explore a wide range of temporal, spectral and spatial features potentially useful for emotion recognition, comparing them to previous proposals through a rigorous experimental evaluation. In particular we assess the effectiveness of various spectral features that were not previously envisaged for the problem of classifying emotions. Our results show that the new spectral shape features that we propose are very competitive compared to previously used ones. They are additionally amenable to successful emotion recognition in single-channel setups, which holds a great potential for general public applications. Within the existing and accessible datasets for emotion recognition in affective computing, the aspect of the dynamics of emotion is not being considered. Those datasets also showa lack of variability in the data and contain the records of a limited number of participants. These reasons have led us to propose a new multimodal dataset for the analysis of the emotional state that attaches to respond better to certain weaknesses of the existing datasets. We use different strategies for the emotion elicitation, through the use of both visual and audio-visual stimuli. We also provide an innovative approach to the strategy on the annotation of the emotion experienced by the user by integrating more than the transcript of the emotion globally felt, but also the transcript of its variations. This new dataset will, in a first stage, enhance the validation of the approach we propose in our work. Secondly, in agreement with the encouraging results, it will be possible to consider a longer-term characterization of the dynamics of the emotional state of the user, which opens the way for new models that could predict, for example, the increase in the user’s anxiety according to the situation in which he is placed
Opinion analysis in speech interactions
No full textLa reconnaissance des opinions d'un locuteur dans une interaction orale est une étape cruciale pour améliorer la communication entre un humain et un agent virtuel. Dans cette thèse, nous nous situons dans une problématique de traitement automatique de la parole (TAP) sur les phénomènes d'opinions dans des interactions orales spontanées naturelles. L'analyse d'opinion est une tâche peu souvent abordée en TAP qui se concentrait jusqu'à peu sur les émotions à l'aide du contenu vocal et non verbal. De plus, la plupart des systèmes récents existants n'utilisent pas le contexte interactionnel afin d'analyser les opinions du locuteur. Dans cette thèse, nous nous penchons sur ces sujet. Nous nous situons dans le cadre de la détection automatique en utilisant des modèles d’apprentissage statistiques. Après une étude sur la modélisation de la dynamique de l'opinion par un modèle à états latents à l’intérieur d'un monologue, nous étudions la manière d’intégrer le contexte interactionnel dialogique, et enfin d'intégrer l'audio au texte avec différents types de fusion. Nous avons travaillé sur une base de données de Vlogs au niveau d'un sentiment global, puis sur une base de données d'interactions dyadiques multimodales composée de conversations ouvertes, au niveau du tour de parole et de la paire de tours de parole. Pour finir, nous avons fait annoté une base de données en opinion car les base de données existantes n'étaient pas satisfaisantes vis-à-vis de la tâche abordée, et ne permettaient pas une comparaison claire avec d'autres systèmes à l'état de l'art.A l'aube du changement important porté par l’avènement des méthodes neuronales, nous étudions différents types de représentations: les anciennes représentations construites à la main, rigides mais précises, et les nouvelles représentations apprises de manière statistique, générales et sémantiques. Nous étudions différentes segmentations permettant de prendre en compte le caractère asynchrone de la multi-modalité. Dernièrement, nous utilisons un modèle d'apprentissage à états latents qui peut s'adapter à une base de données de taille restreinte, pour la tâche atypique qu'est l'analyse d'opinion, et nous montrons qu'il permet à la fois une adaptation des descripteurs du domaine écrit au domaine oral, et servir de couche d'attention via son pouvoir de clusterisation. La fusion multimodale complexe n'étant pas bien gérée par le classifieur utilisé, et l'audio étant moins impactant sur l'opinion que le texte, nous étudions différentes méthodes de sélection de paramètres pour résoudre ces problèmes.2588/5000Recognizing a speaker's opinions in an oral interaction is a crucial step in improving communication between a human and a virtual agent. In this thesis, we find ourselves in a problematic of automatic speech processing (APT) on opinion phenomena in natural spontaneous oral interactions. Opinion analysis is a task that is not often addressed in TAP that focused until recently on emotions using voice and non-verbal content. In addition, most existing legacy systems do not use the interactional context to analyze the speaker's opinions. In this thesis, we focus on these topics.We are in the context of automatic detection using statistical learning models. A study on modeling the dynamics of opinion by a model with latent states within a monologue, we study how to integrate the context interactional dialogical, and finally to integrate audio to text with different types of fusion. We worked on a basic Vlogs data at a global sense, and on the basis of multimodal data dyadic interactions composed of open conversations, at the turn of speech and word pair of towers. Finally, we annotated database in opinion because existing database were not satisfactory vis-à-vis the task addressed, and did not allow a clear comparison with other systems in the state art.At the dawn of significant change brought by the advent of neural methods, we study different types of representations: the ancient representations built by hand, rigid, but precise, and new representations learned statistically, and general semantics. We study different segmentations to take into account the asynchronous nature of multi-modality. Recently, we are using a latent state learning model that can adapt to a small database, for the atypical task of opinion analysis, and we show that it allows both an adaptation of the descriptors of the written domain to the oral domain, and serve as an attention layer via its clustering power. Complex multimodal fusion is not well managed by the classifier used, and audio being less impacting on opinion than text, we study different methods of parameter selection to solve these problems
Multi-level fusion by boosting for automatic tagging
No full textLes tags constituent un outil très utile pour indexer des documents multimédias. Cette thèse de doctorat s’intéresse au tagging automatique, c’est à dire l’association automatique par un algorithme d’un ensemble de tags à chaque morceau. Nous utilisons des techniques de boosting pour réaliser un apprentissage prenant mieux en compte la richesse de l’information exprimée par la musique. Un algorithme de boosting est proposé, afin d’utiliser conjointement des descriptions de morceaux associées à des extraits de différentes durées. Nous utilisons cet algorithme pour fusionner de nouvelles descriptions, appartenant à différents niveaux d’abstraction. Enfin, un nouveau cadre d’apprentissage est proposé pour le tagging automatique, qui prend mieux en compte les subtilités des associations entre les tags et les morceaux.Tags constitute a very useful tool for multimedia document indexing. This PhD thesis deals with automatic tagging, which consists in associating a set of tags to each song automatically, using an algorithm. We use boosting techniques to design a learning which better considers the complexity of the information expressed by music. A boosting algorithm is proposed, which can jointly use song descriptions associated to excerpts of different durations. This algorithm is used to fuse new descriptions, which belong to different abstraction levels. Finally, a new learning framework is proposed for automatic tagging, which better leverages the subtlety ofthe information expressed by music
Méthodes d'Apprentissage Profond pour l'Analyse de Structures Musicales : Adresser le Manque et l'Ambiguïté des Données
No full textL’analyse de la structure à partir du signal audio consiste à identifier automatiquement les différentes sections musicales d’un morceau. Parce que plusieurs facteurs peuvent influencer la perception humaine de l’organisation d’un morceau, la structure musicale est par nature assujettie aux problèmes d’ambiguïté et de subjectivité. Au cours de cette thèse, ces caractéristiques de la structure musicale sont mises au premier plan de nos travaux. Nous explorons différents axes de recherche dont le but est de les intégrer explicitement dans le processus d’analyse. Les méthodes proposées dans cette thèse reposent sur différents niveaux de supervision, à la fois sur des heuristiques liées à la continuité temporelle de la musique, sur des informations extraites du signal audio ou sur des données dont la structure a été annotée. D’abord, nous nous concentrons sur la première étape de l’analyse de structure qui est l’extraction de descripteurs audios à partir du signal en entrée. Nous privilégions des approches d’apprentissage dites auto-supervisées qui peuvent utiliser de larges quantités de données non annotées. D’une part, nous proposons une méthode directement inspirée de l’organisation hiérarchique de la structure musicale. D’autre part, nous étendons cette approche en nous basant directement sur la notion de répétition, où cette dernière est utilisée comme biais inductif pour informer l’échantillonnage d’exemples lors de l’entraînement. Nous considérons ensuite le scenario dans lequel un ensemble de morceaux a été annoté. Nous étudions comment les représentations pré-entrainées peuvent être adaptées à ce jeu de données et les cas dans lesquels l’utilisation d’annotations peut en fait réduire la qualité des prédictions de segmentation. Enfin, nous proposons une approche complètement supervisée pour l’analyse de structure, basée sur les réseaux de neurones par graphes. Cette méthode repose principalement sur la classification des liens entre chaque pair d’instants à l’intérieur d’un morceau. Cette dernière permet l’extraction d’information structurelle qui est bénéfique à la prédiction de frontières entre segments musicaux et le type de sections auxquelles ils appartiennent. Nos méthodes sont évaluées sur des jeux de données standards pour l’analyse de structure musicale et comparées à des méthodes récentes. Nos résultats démontrent que prendre en compte explicitement les problèmes de biais liés aux annotations de structure peuvent aider à formuler des systèmes plus robustes, dont la performance est comparable aux travaux précédents, tout en utilisant peu de données annotées d’entraînement.Audio-based music structure analysis involves automatically identifying the different sections of an audio recording. Because various factors can influence human listeners’ perception of a music piece’s inner organization, musical structure is, by nature, subject to some ambiguity and subjectivity.In this dissertation, we focus on these characteristics of musical structure. We explore different research directions that explicitly incorporate them in the analysis process. The methods proposed in this thesis leverage different levels of supervision, either from a simple heuristic linked to the implicit timeline of music, from information contained in the input signal, or from data provided with structural annotations.First, we focus on the preliminary stage of music structure analysis, extracting audio features from the input signal. We opt for self-supervised representation learning approaches that can leverage large quantities of unlabelled music audio data. On the one hand, we propose a method directly inspired by the hierarchical aspect of music structure. On the other hand, we investigate another self-supervised strategy that uses the notion of repetition as an inductive bias to inform the frame sampling process.We then consider the scenario where we are given a set of music tracks for which human listeners have annotated the structure. In such a setting, we investigate how pre-trained audio representations may be adapted to such limited data corpora and highlight cases where the use of annotations can hurt segmentation performance.We finally introduce a fully-supervised approach to music structure analysis based on graph neural networks. The core of the method lies in extracting link features between time instants within the input track, which provide useful structural cues to predict segment boundaries and section labels.Our methods are evaluated on standard datasets for music structure analysis and systematically compared with recent state-of-the-art systems. Overall, the results suggest that explicitly targeting the issue of bias in structural annotations can help design more robust music structure analysis systems, which perform competitively against previous work even in limited training data situations
- …
