200 research outputs found
Detecting small group activities from multimodal observations
No full textA short version of this article [6] obtained the Best Paper Award of the 3rd IFIP Conference on Artificial Intelligence Applications and Innovations (AIAI) 2006.International audienceThis article addresses the problem of detecting configurations and activities of small groups of people in an augmented environment. The proposed approach takes a continuous stream of observations coming from differ- ent sensors in the environment as input. The goal is to separate distinct distributions of these observations corre- sponding to distinct group configurations and activities. This article describes an unsupervised method based on the cal- culation of the Jeffrey divergence between histograms over observations. These histograms are generated from adjacent windows of variable size slid from the beginning to the end of a meeting recording. The peaks of the resulting Jeffrey di- vergence curves are detected using successive robust mean estimation. After a merging and filtering process, the re- tained peaks are used to select the best model, i.e. the best allocation of observation distributions for a meeting record- ing. These distinct distributions can be interpreted as distinct segments of group configuration and activity. To evaluate this approach, 5 small group meetings, one seminar and one cocktail party meeting have been recorded. The observations A short version of this article [6] obtained the Best Paper Award of the 3rd IFIP Conference on Artificial Intelligence Applications and Innovations (AIAI) 2006. O. Brdiczka (ﰌ) * J. Maisonnasse * P. Reignier * J.L. Crowley INRIA Rhône-Alpes, 655 avenue de l'Europe, 38334 Saint Ismier Cedex, France e-mail: [email protected] J. Maisonnasse e-mail: [email protected] P. Reignier e-mail: [email protected] J.L. Crowley e-mail: [email protected] of the small groups meetings and the seminar were gener- ated by a speech activity detector, while the observations of the cocktail party meeting were generated by both the speech activity detector and a visual tracking system. The authors measured the correspondence between detected seg- ments and labeled group configurations and activities. The obtained results are promising, in particular as the method is completely unsupervised
sOcEUSAI conference Grenoble, october 2005
No full textContext Model fo r an Intelligent Environment Oliver Brdic zka, Patric k Reignier & James L. Crowley GRAVIR/IMAG, 655 Av. de l'Europe38330 MontbonnotSt. Martin, France {brdiczka, reignier, crowley}@inrialpes.fr Abstract This paper addresses the problem of supervised learning in intelligent environments. An intelligent environment perceives user activity and offers a number of services according to the perceived information about the user. An abstract context model in the form of a situation network is used to represent the intelligent environment, its occupants and their activities. The context model consists of situations, roles played by entities and relations between these entities. The objective i s to adapt the system services, which are associated to the situations of the model, to the changing needs of the user. For this, a supervisor gives feedback by correcting system servic es that are found to be inappropriate to user needs. The situation network can be developed by exchanging the system servicesituation association, by splitting the situation, or by learning new roles. The situation split is interpreted as a replacem ent of the former situation by subsituations whose number and characteristics are determined using conceptual or decision tree algorithms. Different algorithms have been tested on a context model within the SmartOffice environment of the PRIMA research group. The decision tree algorithm (ID3) has been found to give the best results. 1
Interactive and Engaging Recommendation Systems Based on the Revised Case-Based Reasoning Paradigm : Application to Energy Efficiency in Buildings
No full textLa thèse aborde la conception des systèmes d'aide à la décision interactifs engageants, une sous-classe de systèmes d'aide à la décision visant à induire et à accompagner un changement de comportement vers des pratiques plus soutenables, en impliquant les utilisateurs dans une approche constructive plutôt que prescriptive, au travers d'un processus de prise de décision sans coercition ni tromperie. Cette conception se situe à l'intersection de trois domaines : la gestion des connaissances pour élaborer le moteur de raisonnement qui génères les recommandations; les technologies engageantes pour concevoir des fonctionnalités qui encouragent la tentative de modification d'un comportement; et l'interaction humain-machine pour intégrer les recommandations et les fonctionnalités engageantes de manière efficace. Cependant, même si ces systèmes sont utilisées dans des domaines aussi variés que la santé, l'éducation, etc., concevoir un système de recommandation engageant générique n'est pas faisable, car le domaine d'application peut avoir un impact significatif sur l'efficacité des fonctionnalités engageantes. Ainsi, nous nous concentrons spécifiquement sur la conception de systèmes de recommandation engageants visant à promouvoir le changement de comportement dans l'utilisation de l'énergie dans les espaces habités.Ces systèmes ont pour fondement le comportement humain, étudié depuis plusieurs années dans les domaines de l'informatique, de la philosophie, de la psychologie, de la sociologie et même de la rhétorique. Ces disciplines proposent des théories et des modèles pour rendre compte et comprendre les processus à l'œuvre dans le changement de comportement. Elles montrent en particulier que les situations de changement de comportement sont complexes et variées, impliquant de nombreux facteurs d'influence. C'est pourquoi l'état de l'art actuel sur la conception de ces systèmes n'aborde que partiellement leur conception, notamment en considérant de manière isolée les trois aspects de raisonnement, d'engagement et d’interaction. Même avec cette perspective de conception restreinte, les approches actuelles pour mettre en œuvre ces trois aspects demeurent encore perfectibles. Le défi donc est de concevoir des approches intégrées et synergiques qui prennent en compte l'interconnexion complexe entre ces différents aspects pour créer des systèmes d'aide à la décision interactifs et engageants efficaces.Pour adresser ces défis, nous proposons une approche holistique qui comprend : a) un moteur de raisonnement basé sur le paradigme du raisonnement à partir de cas, enrichi pour améliorer les processus de remémoration, d'adaptation et la qualité des données; b) diverses fonctionnalités engageantes telles que l’inclusion de l’utilisateur dans le processus décisionnel, les explications, le feedback, et l'indice de confiance; et c) une approche d'interaction spécialement conçue pour soutenir le processus de changement de comportement, intégrant les contributions du moteur de raisonnement et des fonctionnalités engageantes, tout en considérant le domaine d'application particulier de la gestion de l'énergie.The thesis addresses the design of engaging interactive decision support systems, a subclass of decision support systems aimed at inducing and supporting behavior change towards more sustainable practices. These systems involve users in a constructive rather than prescriptive approach to decision-making, through a process devoid of coercion or deception. This design intersects three domains: knowledge management to develop the reasoning engine generating recommendations; engaging technologies to design features encouraging behavior modification attempts; and human-machine interaction to effectively integrate recommendations and engaging features. However, while these systems are used in diverse fields such as healthcare and education, designing a generic engaging recommendation system is not feasible, as the application domain can significantly impact the effectiveness of engaging features. Therefore, we specifically focus on designing engaging recommendation systems to promote behavior change in energy usage within residential spaces.These systems are grounded in human behavior, studied for years in computer science, philosophy, psychology, sociology, and even rhetoric. These disciplines offer theories and models to account for and understand the processes involved in behavior change, showing that behavior change situations are complex and varied, involving numerous influencing factors. Thus, the current state-of-the-art in designing these systems only partially addresses their design, particularly by considering reasoning, engagement, and interaction aspects in isolation. Even with this restricted design perspective, current approaches to implementing these three aspects remain improvable. The challenge, therefore, lies in designing integrated and synergistic approaches that consider the complex interconnection between these different aspects to create effective interactive and engaging decision support systems.To address these challenges, we propose a holistic approach comprising: a) a reasoning engine based on the case-based reasoning paradigm, enhanced to improve retrieval, adaptation processes, and data quality; b) various engaging features such as user involvement in the decision-making process, explanations, feedback, and a confidence index; and c) a specially designed interaction approach to support the behavior change process, integrating contributions from the reasoning engine and engaging features while considering the specific application domain of energy management
Scaling Deep Reinforcement Learning for the Optimization of Building Control and Management
No full textLes systèmes de chauffage, de ventilation et de climatisation (CVC) consomment une quantité important d'énergie dans les bâtiments. Les approches conventionnelles utilisées pour contrôler les systèmes CVC reposent sur un contrôle basé sur des règles (RBC) qui consiste en des règles prédéfinies établies par un expert. Le contrôle prédictif par modèle (MPC), largement exploré dans la littérature, n'est pas adopté par l'industrie car il s'agit d'une approche basée sur un modèle qui nécessite de construire au préalable des modèles du bâtiment qui sont utilisés dans la phase d'optimisation. Cette construction initiale de modèle est coûteuse et il est difficile de maintenir ces modèles au cours de la vie du bâtiment. Au cours de la thèse, nous étudions l'apprentissage par renforcement (RL) pour optimiser la consommation d'énergie des systèmes CVC tout en maintenant un bon confort thermique et une bonne qualité de l'air. Plus précisément, nous nous concentrons sur les algorithmes d'apprentissage par renforcement sans modèle qui apprennent en interagissant avec l'environnement (le bâtiment, y compris le système CVC) et qui ne nécessitent donc pas de modèles précis de celui-ci. En outre, les approches en ligne sont prises en compte. Le principal défi d'un RL sans modèle en ligne est le nombre de jours nécessaires à l'algorithme pour acquérir suffisamment de données et de retours d'actions pour commencer à agir correctement. L'objectif de cette thèse est d'accélérer l'apprentissage les algorithmes RL sans modèle pour converger plus rapidement afin de les rendre applicables dans les applications du monde réel, le contrôle du chauffage, de la ventilation et de la climatisation. Deux approches ont été explorées au cours de la thèse pour atteindre notre objectif : la première approche combine la RBC avec la RL basé sur la valeur, et la seconde approche combine les règles floues avec le RL basé sur la politique. La première approche exploite les règles RBC pendant l'apprentissage, tandis que dans la seconde, les règles floues sont injectées directement dans la politique. Les tests sont effectués sur un bureau simulé, réplique d'un bureau réeel dans le bâtiment de Grenoble INP pendant la période hivernale.Heating, ventilation, and air-conditioning (HVAC) systems account for high energy consumption in buildings. Conventional approaches used to control HVAC systems rely on rule-based control (RBC) that consists of predefined rules set by an expert. Model-predictive control (MPC), widely explored in literature, is not adopted in the industry since it is a model-based approach that requires to build models of the building at the first stage to be used in the optimization phase and thus is time-consuming and expensive. During the PhD, we investigate reinforcement learning (RL) to optimize the energy consumption of HVAC systems while maintaining good thermal comfort and good air quality. Specifically, we focus on model-free RL algorithms that learn through interaction with the environment (building including the HVAC) and thus not requiring to have accurate models of the environment. In addition, online approaches are considered. The main challenge of an online model-free RL is the number of days that are necessary for the algorithm to acquire enough data and actions feedback to start acting properly. Hence, the research subject of the PhD is boosting model-free RL algorithms to converge faster to make them applicable in real-world applications, HVAC control. Two approaches have been explored during the PhD to achieve our objective: the first approach combines RBC with value-based RL, and the second approach combines fuzzy rules with policy-based RL. Both approaches aim to boost the convergence of RL by guiding the RL policy but they are completely different. The first approach exploits RBC rules during training while in the second approach, the fuzzy rules are injected directly into the policy. Tests areperformed on a simulated office during winter. This simulated office is a replica of a real office at Grenoble INP
Pilotage reactif d'un robot mobile : etude du lien entre la perception et l'action
No full textThe objective of this work is to compare the main existing techniques to synthesize perception to action mappings for reactive control of a mobile robot towards a goal in an unknown environment. This work is motivated by the limitations of the navigation system created for the European Research Project Mithra Eureka EU:110 which is based on the execution of a planned path from a parametric model of the observed environment. The first mapping we consider is based on force fields derived from potential fields. We propose an heuristic approach generating continuously translation movement to try to reduce the number of local minima. As all the problems are not solved, we have then considered a second family of transformation generators~: fuzzy logic. The experiments we have made leads to the conclusion that problems are of the same nature as force fields problems. The second part of the manuscript deals with learning control techniques in mobile robotics. We have more precisely considered two main families of approaches : supervised and reinforcement learning. We first remind the robotic particular constraints that a selected learning algorithm must be able to deal with. We then propose for supervised learning a (\em Grow and Learn) type network coupled with a principal components analysis of sensory data. We then propose a new learning algorithm for fuzzy rules which can be used in an Adaptive Heuristic Critic approach on reinforcement learning.L'objectif de ce memoire est de presenter une etude des principales approches existantes pour la synthese de transformations perception-action permettant le pilotage reactif d'un robot mobile vers un but situe dans un univers inconnu. Cette etude est motivee par les limitations du systeme de navigation mis en place dans le cadre du projet Europeen Mithra Eureka EU:110 et qui est base sur l'execution d'un chemin extrait d'un modele parametrique de l'environnement percu. La premiere transformation consideree est basee sur les methodes dites de champs de forces, derivees des methodes a base de potentiels. Nous proposons en particulier une approche heuristique favorisant les mouvements de translation afin de limiter les phenomenes de blocage du robot. La totalite des problemes n'etant pas resolus, nous nous sommes alors interesses a une deuxieme categorie d'outils de synthese de transformations: la logique floue. Les experiences realisees nous ont permis de constater que les problemes rencontres sont similaires a ceux des champs de forces. La seconde partie du manuscrit est dediee a l'utilisation en robotique de techniques issues de l'apprentissage automatique en controle. Nous nous sommes plus particulierement interesses a deux grandes categories d'approches : le supervise et le renforce. Apre`s avoir rappele les contraintes propres a la robotique qu'un algorithme d'apprentissage choisi doit etre en mesure de gerer, nous avons propose dans le cadre de l'apprentissage supervise l'utilisation d'un reseau de neurones de type Grow and Learn couple a une analyse en composantes principales des donnees capteurs. Nous avons ensuite propose un nouvel algorithme d'apprentissage de regles floues pouvant etre utilise dans le cadre d'une approche de type Adaptive Heuristic Critic en apprentissage renforce
Intelligence Ambiante Pro-Active : de la Spécification à l'Implémentation
No full textL'objectif de l'informatique ubiquitaire ou ambiante, telle que définit par Weiser dans son article de référence, est de faire disparaître l'informatique traditionnelle au profit d'un espace informatisé. L'ordinateur ambiant doit également offrir des capacités d'interaction plus naturelles, être transparent et utilisable sans effort. L'intelligence ambiante est la rencontre de l'intelligence artificielle et de l'informatique ambiante. Il s'agit de déterminer, grâce à l'ensemble des dispositifs de perception présents, l'activité des utilisateurs (le contexte) afin de mieux comprendre et anticiper leurs besoins et leur proposer automatiquement des services appropriés (assistants virtuels). On parle d'applications sensibles au contexte. La conception et la réalisation d'une application sensible au contexte est une tâche complexe, aussi bien du point de vue du développeur que de l'utilisateur final. Il est important de proposer une approche adaptée à ces deux catégories d'acteurs. Nous avons tout d'abord proposé un modèle formel de spécification de contexte permettant d'établir le dialogue entre l'utilisateur et le développeur de l'application. Notre objectif est ensuite de proposer des approches permettant d'automatiser une partie de la production du code de manière à raccourcir le chemin entre cette spécification du modèle de contexte et sa mise en oeuvre au sein d'une application. Dans le cadre de l'aide au développeur, nous avons proposé une approche basée sur l'apprentissage supervisé pour l'interprétation des données capteurs sous forme d'entités et de rôles. Cette interprétation des données capteurs sert d'entrée à la reconnaissance de contexte (scénarios). En nous appuyant sur une approche de type Ingénierie Dirigée par les Modèles, nous avons projeté la spécification du contexte vers deux méta-modèles pour la reconnaissance de scénarios : les réseaux de Petri synchronisés, et les réseaux de Petri Flous. Nous nous sommes également intéressés à l'apprentissage automatique d'un modèle de situations basé sur un ensemble d'observations annotées. Dans le cadre de l'aide à l'utilisateur final, nous avons proposé deux approches permettant à l'usager d'adapter précisément l'application à ses besoins réels. La première approche est basée sur une analyse hors ligne du comportement de l'application (apprentissage supervisé). La seconde approche propose une modification en situation (punition – récompense) en s'appuyant sur une approche de type apprentissage renforcé indirect
Towards animated robots : Tools and methods for the integration of animation artists into the design process of expressive social robots
No full textAutrefois seulement objets de laboratoire, les robots sociaux commencent à arriver dans les foyers, les écoles, les hôpitaux et les maisons de retraite, et deviennent les compagnons de notre éducation, de notre santé et de notre bien-être. Ces premières commercialisations de robots sociaux confirment l'importance de l'interaction homme-robot anticipée par les chercheurs. En effet, la communication non verbale formant une part majeure de la communication chez l'Homme, celui-ci ne peut s’empêcher d'interpréter les mouvements et les comportements des robots comme l'expression d'états mentaux. Cet impact de l'expressivité des robots sociaux implique que leur conception se doit d’être soignée pour ne pas perturber l’interaction.Les domaines du jeu vidéo et des films d'animation se sont intéressés depuis longtemps à la création de tels mouvements expressifs. De nombreux outils et méthodes ont ainsi été développées afin de faciliter la création de mouvements de personnages virtuels. Ces outils ont permis de combiner les avancées technologiques aux talents d'artistes animateurs passés maîtres dans l'art de donner vie à des personnages. Partant de ce constat, l'objet de cette thèse est la conception d'outils et de méthodes permettant d'intégrer des artistes animateurs dans le processus de conception des robots sociaux. Nous explorons en particulier les adaptations minimales du processus créatif des artistes animateurs rendues nécessaires par les spécificités du medium robotique.Les contributions de cette thèse sont les suivantes :- Un framework pour le prototypage de robots sociaux animés, fondé sur la mise en correspondance et la synchronisation du robot physique avec un robot virtuel animé dans un outil d'animation de personnage 3D.- Un second outil d'animation robotique intégrant la manipulation directe dans le processus d'animation par poses clés.- Une méthodologie pour la création d'animation paramétrique au travers de la collaboration d'un artiste animateur et d'un développeur, ainsi que les outils et interface logiciel facilitant cette collaboration.- L'évaluation par des artistes animateurs de l'outil d'animation de robot par manipulation directe et de la méthode de généralisation d'une animation à des nouvelles contraintes géométriques.Once only experimental devices, social robots are beginning to arrive in homes, schools, hospitals and nursing homes. They are becoming companions of our education, health and well-being. These first commercial launches of social robots confirm the importance of the human-robot interaction anticipated by researchers. Indeed, since non-verbal communication forms a major part of communication in humans, we cannot help but interpret the movements and behaviours of robots as the expression of mental states. This effect of the expressiveness of social robots implies that they must be carefully designed to avoid disrupting the interaction.The fields of video games and animated movies have long been interested in the design of such expressive movements. Many tools and methods have been developed to support the creation of virtual character movements. They have made possible the combination of the latest technological advances with the talents of animation artists who are masters in the art of bringing life into characters. From this observation, the focus of this thesis is the design of tools and methods to integrate animation artists into the design process of social robots. In particular, we investigate the minimal adaptations of the creative process of animation artists made necessary by the specific characteristics of the robotic medium.The contributions of this thesis are as follows:- A framework for prototyping animated social robots, based on mapping and synchronizing the physical robot with an animated virtual robot in a 3D character animation tool.- A second robotic animation tool integrating direct manipulation into the keyframing animation process.- A methodology for designing parametric animation through the collaboration of an animation artist and a developer, as well as the tools and software interface to support this collaboration.- The evaluation by animation artists of the robotic animation tool by direct manipulation and of the method of generalization of an animation to new geometric constraints
Generation of explanations for energy management in buildings
No full textL'énergie est fondamentale pour maintenir le confort et façonne notre vie moderne. Avec la demande excédentaire en énergie, les systèmes de gestion de l’énergie résidentielle apparaissent avec le temps. Ils visent à réduire ou moduler la consommation d’énergie tout en maintenant un niveau de confort acceptable. Des systèmes efficaces de gestion de l'énergie domestique devraient intégrer une représentation comportementale d'un système domestique, y compris les habitants. Il établit des relations entre différentes variables environnementales et des phénomènes hétérogènes présents dans une maison. Par conséquent, ces systèmes sont complexes à construire et à comprendre pour les habitants. Pour cette raison, les concepteurs ont essayé d'automatiser autant que possible les systèmes de CVC, les éclairages ... afin de promouvoir le concept de "faire à la place". Cela était justifié car il était presque impossible d'impliquer les occupants et de créer une relation entre les occupants et les systèmes énergétiques. Ce concept crée différents problèmes car les occupants sont détachés du système énergétique et ne comprennent pas ses fonctionnalités ni son fonctionnement.Pour surmonter cette difficulté, ce travail met en avant le concept de "faire avec" en essayant d'impliquer l'occupant dans la boucle avec son système de gestion de l'énergie. C'est là que l'explication est nécessaire pour permettre aux occupants de découvrir les connaissances du système énergétique et de développer leur capacité à comprendre comment le système fonctionne et pourquoi il recommande différentes actions. L'explication est le moyen de découvrir de nouvelles connaissances et, par conséquent, d'impliquer les occupants. Pour les humains, l'explication joue un rôle important dans la vie. C'est l'un des principaux outils d'apprentissage et de compréhension. Il est même utilisé dans la communication et les aspects sociaux. Les gens ont tendance à l'utiliser en plus d'apprendre à montrer leurs connaissances sur un sujet pour gagner la confiance des autres ou pour clarifier une situation. Mais générer des explications n’est pas une tâche facile. C'est l'un des problèmes scientifiques récurrents de plusieurs décennies. Les explications ont de nombreuses formes, types et niveaux de clarté. Cette étude se concentre sur les explications causales. Comme il s’agit de la forme d’explication la plus intuitive à comprendre par les occupants, elle est conçue pour transférer les connaissances issues de systèmes complexes tels que les modèles énergétiques. Le défi scientifique est de savoir comment construire des explications de causalité pour les habitants à partir d’un flux de données de capteurs observées.Energy is fundamental to maintain comfort and it shapes our modern life. With the excess demand for energy, home energy management systems are appearing with time. They aim at reducing or modulating energy consumption while keeping an acceptable level of comfort. Efficient home energy management systems should embed a behavioral representation of a home system, including inhabitants. It establishes relationships between different environmental variables and heterogeneous phenomena present in a home. Therefore, those systems are complex to build and to understand for inhabitants. For this reason, the designers did try to automatize as much as possible the HVAC systems, the lightings ... so they promoted the concept of “doing instead”. This was justified as it was nearly impossible to implicate occupants and to create a relation between occupants and energy systems. This concept does create different problems as occupants are detached from the energy system and they don’t understand its functionality nor how it is working.To overcome this difficulty this work promotes the concept of “doing with” as it tries to implicate the occupant in the loop with their energy management system. This is where the explanation is needed to allow occupants to discover the knowledge in the energy system and to develop their capacity of understanding how the system is working and why it is recommending different actions. The explanation is the way to discover new knowledge and consequently, to involve occupants. For humans, explanation plays an important role in life. It is one of the main tools for learning and understanding. It is even used in communication and social aspects. People tend to use it besides learning to show their knowledge about a subject to gain the confidence of others or to clarify a situation. But generating explanations is not an easy task. It is one of the ongoing scientific problems from several decades. Explanations have numerous forms, types, and level of clearness. This study is focusing on the causal explanations. As it is the most intuitive form of explanation to be understood by occupants and is adapted to transfer the knowledge from complex systems like energy models. The scientific challenge is how to construct causal explanations for the inhabitants from a flow of observed sensor data
Reinforcement Learning of User Preferences for a Ubiquitous Personal Assistant
Get PDFOpen access book: http://www.intechopen.com/books/advances-in-reinforcement-learningInternational audienceNew technologies bring a multiplicity of new possibilities for users to work with computers. Not only are spaces more and more equipped with stationary computers or notebooks, but more and more users carry mobile devices with them (smart-phones, personal digital assistants, etc.). Ubiquitous computing aims at creating smart environments where devices are dynamically linked in order to provide new services to users and new human-machine interaction possibilities. The most profound technologies are those that disappear. They weave themselves into the fabric of everyday life until they are indistinguishable from it (Weiser, 1991). This network of devices must perceive the context in order to understand and anticipate the user's needs. Devices should be able to execute actions that help the user to fulfill his goal or that simply accommodate him. Actions depend on the user's context and, in particular, on the situation within the context. The objective of this work is to construct automatically a context model by applying reinforcement learning techniques. Rewards are given by the user when expressing his degree of satisfaction towards actions proposed by the system. A default context model is used from the beginning in order to have a consistent initial behavior. This model is then adapted to each particular user in a way that maximizes the user's satisfaction towards the system's actions
- …
