50 research outputs found
Impact of Expressive Wrinkles on Perception of a Virtual Character’s Facial Expressions of Emotions
No full textFacial animation has reached a high level of photorealism. Skin is rendered with grain and translucency, wrinkles are accurate and dynamic. These recent visual improvements are not fully tested for their contribution to the perceived expressiveness of virtual characters. This paper presents a perceptual study assessing the impact of different rendering modes of expressive wrinkles on users’ perception of facial expressions of basic and complex emotions. Our results suggest that realistic wrinkles increase agent’s expressivity and user’s preference, but not the recognition of emotion categories. This study was conducted using our real time facial animation platform that is designed for perceptive evaluations of affective interaction
Marc : computational models of emotions and their facial expressions for real-time affective human-computer interaction
No full textLes émotions et leurs expressions par des agents virtuels sont deux enjeux importants pour les interfaces homme-machine affectives à venir. En effet, les évolutions récentes des travaux en psychologie des émotions, ainsi que la progression des techniques de l’informatique graphique, permettent aujourd’hui d’animer des personnages virtuels réalistes et capables d’exprimer leurs émotions via de nombreuses modalités. Si plusieurs systèmes d’agents virtuels existent, ils restent encore limités par la diversité des modèles d’émotions utilisés, par leur niveau de réalisme, et par leurs capacités d’interaction temps réel. Dans nos recherches, nous nous intéressons aux agents virtuels capables d’exprimer des émotions via leurs expressions faciales en situation d’interaction avec l’utilisateur. Nos travaux posent de nombreuses questions scientifiques et ouvrent sur les problématiques suivantes : Comment modéliser les émotions en informatique en se basant sur les différentes approches des émotions en psychologie ? Quel niveau de réalisme visuel de l’agent est nécessaire pour permettre une bonne expressivité émotionnelle ? Comment permettre l’interaction temps réel avec un agent virtuel ? Comment évaluer l’impact des émotions exprimées par l’agent virtuel sur l’utilisateur ? A partir de ces problématiques, nous avons axé nos travaux sur la modélisation informatique des émotions et sur leurs expressions faciales par un personnage virtuel réaliste. En effet, les expressions faciales sont une modalité privilégiée de la communication émotionnelle. Notre objectif principal est de contribuer l’amélioration de l’interaction entre l’utilisateur et un agent virtuel expressif. Nos études ont donc pour objectif de mettre en lumière les avantages et les inconvénients des différentes approches des émotions ainsi que des méthodes graphiques étudiées. Nous avons travaillé selon deux axes de recherches complémentaires. D’une part, nous avons exploré différentes approches des émotions (catégorielle, dimensionnelle, cognitive, et sociale). Pour chacune de ces approches, nous proposons un modèle informatique et une méthode d’animation faciale temps réel associée. Notre second axe de recherche porte sur l’apport du réalisme visuel et du niveau de détail graphique à l’expressivité de l’agent. Cet axe est complémentaire au premier, car un plus grand niveau de détail visuel pourrait permettre de mieux refléter la complexité du modèle émotionnel informatique utilisé. Les travaux que nous avons effectués selon ces deux axes ont été évalués par des études perceptives menées sur des utilisateurs.La combinaison de ces deux axes de recherche est rare dans les systèmes d’agents virtuels expressifs existants. Ainsi, nos travaux ouvrent des perspectives pour l’amélioration de la conception d’agents virtuels expressifs et de la qualité de l’interaction homme machine basée sur les agents virtuels expressifs interactifs. L’ensemble des logiciels que nous avons conçus forme notre plateforme d’agents virtuels MARC (Multimodal Affective and Reactive Characters). MARC a été utilisée dans des applications de natures diverses : jeu, intelligence ambiante, réalité virtuelle, applications thérapeutiques, performances artistiques, etc.Emotions and their expressions by virtual characters are two important issues for future affective human-machine interfaces. Recent advances in psychology of emotions as well as recent progress in computer graphics allow us to animate virtual characters that are capable of expressing emotions in a realistic way through various modalities. Existing virtual agent systems are often limited in terms of underlying emotional models, visual realism, and real-time interaction capabilities. In our research, we focus on virtual agents capable of expressing emotions through facial expressions while interacting with the user. Our work raises several issues: How can we design computational models of emotions inspired by the different approaches to emotion in Psychology? What is the level of visual realism required for the agent to express emotions? How can we enable real-time interaction with a virtual agent? How can we evaluate the impact on the user of the emotions expressed by the virtual agent? Our work focuses on computational modeling of emotions inspired by psychological theories of emotion and emotional facial expressions by a realistic virtual character. Facial expressions are known to be a privileged emotional communication modality. Our main goal is to contribute to the improvement of the interaction between a user and an expressive virtual agent. For this purpose, our research highlights the pros and cons of different approaches to emotions and different computer graphics techniques. We worked in two complementary directions. First, we explored different approaches to emotions (categorical, dimensional, cognitive, and social). For each of these approaches, a computational model has been designed together with a method for real-time facial animation. Our second line of research focuses on the contribution of visual realism and the level of graphic detail of the expressiveness of the agent. This axis is complementary to the first one, because a greater level of visual detail could contribute to a better expression of the complexity of the underlying computational model of emotion. Our work along these two lines was evaluated by several user-based perceptual studies. The combination of these two lines of research is seldom in existing expressive virtual agents systems. Our work opens future directions for improving human-computer interaction based on expressive and interactive virtual agents. The software modules that we have designed are integrated into our platform MARC (Multimodal Affective and Reactive Characters). MARC has been used in various kinds of applications: games, ubiquitous intelligence, virtual reality, therapeutic applications, performance art, etc
Marc : modèles informatiques des émotions et de leurs expressions faciales pour l’interaction Homme-machine affective temps réel
No full textEmotions and their expressions by virtual characters are two important issues for future affective human-machine interfaces. Recent advances in psychology of emotions as well as recent progress in computer graphics allow us to animate virtual characters that are capable of expressing emotions in a realistic way through various modalities. Existing virtual agent systems are often limited in terms of underlying emotional models, visual realism, and real-time interaction capabilities. In our research, we focus on virtual agents capable of expressing emotions through facial expressions while interacting with the user. Our work raises several issues: How can we design computational models of emotions inspired by the different approaches to emotion in Psychology? What is the level of visual realism required for the agent to express emotions? How can we enable real-time interaction with a virtual agent? How can we evaluate the impact on the user of the emotions expressed by the virtual agent? Our work focuses on computational modeling of emotions inspired by psychological theories of emotion and emotional facial expressions by a realistic virtual character. Facial expressions are known to be a privileged emotional communication modality. Our main goal is to contribute to the improvement of the interaction between a user and an expressive virtual agent. For this purpose, our research highlights the pros and cons of different approaches to emotions and different computer graphics techniques. We worked in two complementary directions. First, we explored different approaches to emotions (categorical, dimensional, cognitive, and social). For each of these approaches, a computational model has been designed together with a method for real-time facial animation. Our second line of research focuses on the contribution of visual realism and the level of graphic detail of the expressiveness of the agent. This axis is complementary to the first one, because a greater level of visual detail could contribute to a better expression of the complexity of the underlying computational model of emotion. Our work along these two lines was evaluated by several user-based perceptual studies. The combination of these two lines of research is seldom in existing expressive virtual agents systems. Our work opens future directions for improving human-computer interaction based on expressive and interactive virtual agents. The software modules that we have designed are integrated into our platform MARC (Multimodal Affective and Reactive Characters). MARC has been used in various kinds of applications: games, ubiquitous intelligence, virtual reality, therapeutic applications, performance art, etc.Les émotions et leurs expressions par des agents virtuels sont deux enjeux importants pour les interfaces homme-machine affectives à venir. En effet, les évolutions récentes des travaux en psychologie des émotions, ainsi que la progression des techniques de l’informatique graphique, permettent aujourd’hui d’animer des personnages virtuels réalistes et capables d’exprimer leurs émotions via de nombreuses modalités. Si plusieurs systèmes d’agents virtuels existent, ils restent encore limités par la diversité des modèles d’émotions utilisés, par leur niveau de réalisme, et par leurs capacités d’interaction temps réel. Dans nos recherches, nous nous intéressons aux agents virtuels capables d’exprimer des émotions via leurs expressions faciales en situation d’interaction avec l’utilisateur. Nos travaux posent de nombreuses questions scientifiques et ouvrent sur les problématiques suivantes : Comment modéliser les émotions en informatique en se basant sur les différentes approches des émotions en psychologie ? Quel niveau de réalisme visuel de l’agent est nécessaire pour permettre une bonne expressivité émotionnelle ? Comment permettre l’interaction temps réel avec un agent virtuel ? Comment évaluer l’impact des émotions exprimées par l’agent virtuel sur l’utilisateur ? A partir de ces problématiques, nous avons axé nos travaux sur la modélisation informatique des émotions et sur leurs expressions faciales par un personnage virtuel réaliste. En effet, les expressions faciales sont une modalité privilégiée de la communication émotionnelle. Notre objectif principal est de contribuer l’amélioration de l’interaction entre l’utilisateur et un agent virtuel expressif. Nos études ont donc pour objectif de mettre en lumière les avantages et les inconvénients des différentes approches des émotions ainsi que des méthodes graphiques étudiées. Nous avons travaillé selon deux axes de recherches complémentaires. D’une part, nous avons exploré différentes approches des émotions (catégorielle, dimensionnelle, cognitive, et sociale). Pour chacune de ces approches, nous proposons un modèle informatique et une méthode d’animation faciale temps réel associée. Notre second axe de recherche porte sur l’apport du réalisme visuel et du niveau de détail graphique à l’expressivité de l’agent. Cet axe est complémentaire au premier, car un plus grand niveau de détail visuel pourrait permettre de mieux refléter la complexité du modèle émotionnel informatique utilisé. Les travaux que nous avons effectués selon ces deux axes ont été évalués par des études perceptives menées sur des utilisateurs.La combinaison de ces deux axes de recherche est rare dans les systèmes d’agents virtuels expressifs existants. Ainsi, nos travaux ouvrent des perspectives pour l’amélioration de la conception d’agents virtuels expressifs et de la qualité de l’interaction homme machine basée sur les agents virtuels expressifs interactifs. L’ensemble des logiciels que nous avons conçus forme notre plateforme d’agents virtuels MARC (Multimodal Affective and Reactive Characters). MARC a été utilisée dans des applications de natures diverses : jeu, intelligence ambiante, réalité virtuelle, applications thérapeutiques, performances artistiques, etc
Artificial companions as personal coach for children: The Interactive Drums Teacher
No full textInternational audienceThe MOCA Project that aims at designing and studying the interaction and relationship between artificial companions and children in everyday life at home activities. Artificial companions are digital embodied entities that can be either robotic or virtual. In this paper, we focus on a single activity, subpart of the whole project: a coaching application that uses two artificial companions to teach the basics of drums to children. One device is a Nao robot, the other is a virtual agent. This application offers a wide variety of interaction situation that will enable us to conduct several experiments. Future directions are discussed, in terms of user-computer interaction and in terms of coaching and e-learning applications
Interaction with Artificial Companions: Presentation of an Exploratory Study
No full textInternational audienceThe MoCA project aims to design and study children-companion relationship through virtual agents, personal robots and communicating devices. In this article, we present an exploratory study of the free 30min long interactions between children and a set of artificial, robot-like and virtual companions. We present a preliminary overview of the results obtained pending further analyses
Modeling Facial Signs of Appraisal During Interaction; Impact on Users' Perception and Behavior
No full textInternational audienceInteractive virtual characters are expected to lead to an intuitive interaction via multiple communicative modalities such as the expression of emotions. Generating facial expressions that are consistent with the interaction context is a challenge. This paper presents our interactive facial animation system based on the Component Process Model, generating facial signs of appraisal during a real-time interactive game. We describe a study comparing our model to the categorical approach of facial animation of emotion. Participants interacted with a virtual character in three conditions: no expression of emotion, an expression of a categorical emotion, and expressions of sequential signs of appraisal. The character in the appraisal condition was reported as being more expressive than in the other two conditions and was reported as experiencing more mental states. In addition, using appraisal signs modified the way participants interacted with the character (participants played slower after some emotions were expressed by the agent, i.e. pride and sadness)
Marc (modèles informatiques des émotions et de leurs expressions faciales pour l'interaction Homme-machine affective temps réel)
No full textLes émotions et leurs expressions par des agents virtuels sont deux enjeux importants pour les interfaces homme-machine affectives à venir. En effet, les évolutions récentes des travaux en psychologie des émotions, ainsi que la progression des techniques de l informatique graphique, permettent aujourd hui d animer des personnages virtuels réalistes et capables d exprimer leurs émotions via de nombreuses modalités. Si plusieurs systèmes d agents virtuels existent, ils restent encore limités par la diversité des modèles d émotions utilisés, par leur niveau de réalisme, et par leurs capacités d interaction temps réel. Dans nos recherches, nous nous intéressons aux agents virtuels capables d exprimer des émotions via leurs expressions faciales en situation d interaction avec l utilisateur. Nos travaux posent de nombreuses questions scientifiques et ouvrent sur les problématiques suivantes : Comment modéliser les émotions en informatique en se basant sur les différentes approches des émotions en psychologie ? Quel niveau de réalisme visuel de l agent est nécessaire pour permettre une bonne expressivité émotionnelle ? Comment permettre l interaction temps réel avec un agent virtuel ? Comment évaluer l impact des émotions exprimées par l agent virtuel sur l utilisateur ? A partir de ces problématiques, nous avons axé nos travaux sur la modélisation informatique des émotions et sur leurs expressions faciales par un personnage virtuel réaliste. En effet, les expressions faciales sont une modalité privilégiée de la communication émotionnelle. Notre objectif principal est de contribuer l amélioration de l interaction entre l utilisateur et un agent virtuel expressif. Nos études ont donc pour objectif de mettre en lumière les avantages et les inconvénients des différentes approches des émotions ainsi que des méthodes graphiques étudiées. Nous avons travaillé selon deux axes de recherches complémentaires. D une part, nous avons exploré différentes approches des émotions (catégorielle, dimensionnelle, cognitive, et sociale). Pour chacune de ces approches, nous proposons un modèle informatique et une méthode d animation faciale temps réel associée. Notre second axe de recherche porte sur l apport du réalisme visuel et du niveau de détail graphique à l expressivité de l agent. Cet axe est complémentaire au premier, car un plus grand niveau de détail visuel pourrait permettre de mieux refléter la complexité du modèle émotionnel informatique utilisé. Les travaux que nous avons effectués selon ces deux axes ont été évalués par des études perceptives menées sur des utilisateurs.La combinaison de ces deux axes de recherche est rare dans les systèmes d agents virtuels expressifs existants. Ainsi, nos travaux ouvrent des perspectives pour l amélioration de la conception d agents virtuels expressifs et de la qualité de l interaction homme machine basée sur les agents virtuels expressifs interactifs. L ensemble des logiciels que nous avons conçus forme notre plateforme d agents virtuels MARC (Multimodal Affective and Reactive Characters). MARC a été utilisée dans des applications de natures diverses : jeu, intelligence ambiante, réalité virtuelle, applications thérapeutiques, performances artistiques, etc.Emotions and their expressions by virtual characters are two important issues for future affective human-machine interfaces. Recent advances in psychology of emotions as well as recent progress in computer graphics allow us to animate virtual characters that are capable of expressing emotions in a realistic way through various modalities. Existing virtual agent systems are often limited in terms of underlying emotional models, visual realism, and real-time interaction capabilities. In our research, we focus on virtual agents capable of expressing emotions through facial expressions while interacting with the user. Our work raises several issues: How can we design computational models of emotions inspired by the different approaches to emotion in Psychology? What is the level of visual realism required for the agent to express emotions? How can we enable real-time interaction with a virtual agent? How can we evaluate the impact on the user of the emotions expressed by the virtual agent? Our work focuses on computational modeling of emotions inspired by psychological theories of emotion and emotional facial expressions by a realistic virtual character. Facial expressions are known to be a privileged emotional communication modality. Our main goal is to contribute to the improvement of the interaction between a user and an expressive virtual agent. For this purpose, our research highlights the pros and cons of different approaches to emotions and different computer graphics techniques. We worked in two complementary directions. First, we explored different approaches to emotions (categorical, dimensional, cognitive, and social). For each of these approaches, a computational model has been designed together with a method for real-time facial animation. Our second line of research focuses on the contribution of visual realism and the level of graphic detail of the expressiveness of the agent. This axis is complementary to the first one, because a greater level of visual detail could contribute to a better expression of the complexity of the underlying computational model of emotion. Our work along these two lines was evaluated by several user-based perceptual studies. The combination of these two lines of research is seldom in existing expressive virtual agents systems. Our work opens future directions for improving human-computer interaction based on expressive and interactive virtual agents. The software modules that we have designed are integrated into our platform MARC (Multimodal Affective and Reactive Characters). MARC has been used in various kinds of applications: games, ubiquitous intelligence, virtual reality, therapeutic applications, performance art, etc.PARIS11-SCD-Bib. électronique (914719901) / SudocSudocFranceF
Inline Co-Evolution between Users and Information Presentation for Data Exploration
No full textInternational audienceThis paper presents an intelligent user interface model dedicated to the exploration of complex databases. This model is implemented on a 3D metaphor : a virtual museum. In this metaphor, the database elements are embodied as museum objects. The objects are grouped in rooms according to their semantic properties and relationships and the rooms organization forms the museum. Rooms organization is not predefi-ned but defined incrementally by taking into account not only the relationships between objects, but also the users centers of interest. The latter are evaluated in real-time through user interactions within the virtual museum. This interface allows for a personal reading and favors the discovery of unsuspec-ted links between data. In this paper, we present our model's formalization as well as its application to the context of cultural heritage
