1,721,007 research outputs found
Planning for Multi-Robot Task Sequencing Problem with Automatic Collision Avoidance and Cycle Time Optimization : Application to Car Production line
No full textDans l’industrie automobile, plusieurs robots sont nécessaires pour réaliser simultanément des séquences de soudage sur un même véhicule. L’attribution et la coordination des tâches de soudage entre les robots est une phase manuelle et exigeante qui doit être optimisée à l’aide d’outils automatiques. Le temps de cycle de la cellule dépend fortement de différents facteurs robotiques tels que la répartition des tâches entre les robots, les solutions de configuration et l’évitement d’obstacles. De plus, un aspect clé, souvent négligé dans l’état de l’art, est de définir une stratégie pour résoudre le séquencement des tâches robotiques avec une intégration efficace de l’évitement de collisions robot-robot. Cette thèse est motivée par la résolution de ce problème industriel et cherche à relever différents défis de recherche. Elle commence par présenter les solutions de pointe actuelles en matière de planification robotique. Une enquête approfondie est menée sur les solutions académiques/industrielles existantes pour résoudre le problème de répartition des tâches robotiques, en particulier pour les systèmes multi-robot. Cette enquête permet d’identifier les défis lors de l’intégration de plusieurs facteurs robotiques dans le processus d’optimisation. Cette thèse présente un algorithme itératif efficace qui génère une solution de haute qualité pour le problème de répartition de tâches multi-robot. Ce dernier gère non seulement les facteurs robotiques mentionnés, mais également les aspects liés aux contraintes d’accessibilité et à l’évitement de collisions mutuelles. De plus, un planificateur fait maison (RoboTSPlanner) gérant des robots à six axes a été validé dans un scénario de cas réel. Afin d’assurer l’exhaustivité de la méthodologie proposée, nous effectuons une optimisation dans l’espace des tâches, de configuration et de coordination de manière synergique. Par rapport aux approches existantes, la simulation comme les expérimentations réelles révèlent des résultats positifs en termes de temps de cycle et montrent la capacité de cette méthode à s’interfacer à la fois avec les logiciels de simulation industrielle et les outils ROS-I.In the automotive industry, several robots are required to simultaneously carry out welding sequences on the same vehicle. Assigning and coordinating welding tasks between robots is a manual and challenging phase that must be optimized using automatic tools. The cycle time of the cell strongly depends on different robotic factors such as the task allocation among the robots, the configuration solutions, and obstacle avoidance. Moreover, a key aspect, often neglected in the state-ofthe- art, is to define a strategy to solve the robotic task sequencing with an effective robot-robot collision avoidance integration. This thesis is motivated by solving this industrial problem and seeks to raise different research challenges. It begins by presenting the current state-of-the-art solutions regarding robotic planning. An in-depth investigation is carried out on the related existing academic/industrial solutions to solve the robotic task sequencing problem, particularly for multi-robot systems. This investigation helps identify the challenges when integrating several robotic factors into the optimization process. An efficient iterative algorithm that generates a high-quality solution for the Multi-Robotic Task Sequencing Problem is presented. This algorithm manages not only the mentioned robotic factors but also aspects related to accessibility constraints and mutual collision avoidance. In addition, a home-developed planner (RoboTSPlanner) handling six-axis robots has been validated in a real case scenario. In order to ensure the completeness of the proposed methodology, we perform optimization in the task, configuration, and coordination space in a synergistic way. Compared to the existing approaches, both simulation and real experiments reveal positive results in terms of cycle time and show the ability of this method to be interfaced with both industrial simulation software and ROS-I tools
Décision cumulative de vote pour la mise en correspondance des primitives de lignes de niveaux
No full textNous proposons dans cette thèse une nouvelle approche cumulative de recalage d'images basée sur des primitives construites à partir des lignes de niveaux. Les lignes de niveaux sont invariantes par rapport aux diverses perturbations affectant l'image tels que les changements de contraste. Par ailleurs, leur abondance dans une image suggère naturellement un processus de décision cumulatif. Nous proposons alors un algorithme récursif d'extraction des lignes de niveaux simple et efficace qui extrait les lignes par groupes rectiligne appelés ``segments''. Les segments sont ensuite groupés -- sous contrainte de proximité -- en fonction du modèle de transformation recherchée et afin de faciliter le calcul des invariants. Les primitives construites ont alors la forme de Z, Y ou W et sont classées en fonction de leur fiabilité, ce qui participe au paramétrage du processus de décision cumulatif. Le vote est multi-tours et constitué d'une phase préliminaire de construction de listes de préférences inspiré de la technique des mariages stables. Les primitives votent à une itération donnée en fonction de leur fiabilité. Chaque itération fournit ainsi un estimé de la transformation recherchée que le tour suivant peut raffiner. Ce procédé multi-tours permet, de ce fait, d'éliminer les ambiguïtés d'appariement générées par les motifs répétitifs présents dans les images. Notre approche a été validée pour recaler des images sous différents modèles de transformations allant de la plus simple (similarité) à la plus complexe (projective). Nous montrons dans cette thèse comment le choix pertinent de primitives basées sur les lignes de niveaux en conjonction avec un processus de décision cumulatif permet d'obtenir une méthode de recalage d'images robuste, générique et complète, fournissant alors différents niveaux de précision et pouvant ainsi s'appliquer à différents contextes.In this thesis, we propose a new image registration method that relies on level-line primitives. Level-lines are robust towards contrast changes and proposed primitives inherit their robustness. Moreover, their abundance in the image is well adapted to a cumulative matching process based on a multi-stage primitive election procedure. We propose a simple recursive tracking algorithm to extract level lines by straight sets called "segments". Segments are then grouped under proximity constraints to construct primitives (Z, Y and W shapes) that are classified into categories according to their reliability. Primitive shapes are defined according to the transformation model. The cumulative process is based on a preliminary step of preference lists construction that is inspired from the stable marriage matching algorithm. Primitives vote in a given voting stage according to their reliability. Each stage provides a coarse estimate of the transformation that the next stage gets to refine. This process, in turn, eliminate gradually the ambiguity happened by incorrect correspondences. Our additional contribution is to validate further geometric transformations, from simple to complex ones, completing the path "similarity, affine, projective". We show in this thesis how the choice of level lines in conjunction with a cumulative decision process allows defining a complete robust registration approach that is tested and evaluated on several real image sequences including different type of transformations
Towards an opportunistic artificial vision system for analysing complex scenes from onboard cameras
No full textL'objectif de ces travaux de thèse consiste à proposer un système de vision pour l’analyse de scènes dynamiques dit « opportuniste » En ce sens, il est orienté vers une tâche applicative précise et profite des connaissances à priori fournies par l’application ainsi que des indices disponibles provenant de la scène perçue (couleur, texture, géométrie) selon leur pertinence.Cette thèse propose de pousser jusqu’au bout la vision monoculaire basée sur l’analyse d’images issues d’une caméra embarquée sur un véhicule mobile. Dans un premier temps est proposée une nouvelle méthode d’estimation du flot optique, information directement estimable à partir d’une séquence d’images. L’approche se base sur la génération d’une carte de fiabilité pour raffiner le flot optique à travers un processus itératif profitant d’informations disponibles telles que la couleur. La carte de mouvement ainsi obtenue est ensuite exploitée pour une détection rapide des plans 3D principaux. Pour cela, une approche cumulative, appelée uv-velocité, exploitant les propriétés géométriques du champ des vecteurs de mouvement, est développée. Elle permet de détecter les surfaces planaires en partant d’hypothèses concernant la nature de l’egomouvement. Contrairement à l’approche déjà existante c-velocité, la méthode proposée permet une stratégie de vote plus progressive qui prend en compte plus de modèles d‘ego-mouvement et plus de modèles de surfaces planaires.Le modèle de mouvement de chaque surface détectée est réintégré à la méthode d’estimation du flot optique qui devient une méthode d’optimisation sous contrainte de validité du modèle planaire afin d’améliorer la précision de l’estimation du flot optique. Par ailleurs, nous montrons dans cette thèse comment un processus d’odométrie visuelle peut tirer profit de la méthode de détection de surfaces planaires. L’approche d’estimation du flot optique est évaluée en termes de précision et de temps d’exécution sur la base de données Middlebury. En ce qui concerne la uv-velocité, la validation est faite aussi bien sur des flots simulés que sur des images de la base de données de KITTI.The thesis intends to develop the bricks of an opportunistic vision system for dynamic scene analysis, an opportunistic system that would be guided by the applicative task, that would benefit from any knowledge and prioris made available by the application, and take profit of all available cues (color, texture, geometry) depending on their quality and relevance. The context of color monocular vision is considered, with a camera embedded on a mobile platform. A dense optical flow technique is first proposed. After a rough estimation, a reliability map is computed and is used for refining the motion map, through an iterative propagation process constrained by local information, starting by the color cues.This motion map is then analyzed for rough and fast plane segmentation. A cumulative approach called UV velocity has been developed. It allows the fast exhibition of prominent planar surfaces under certain assumption related the ego-motion. Contrary to its predecessor, the so-called C-velocity, it allows a more progressive voting strategy, it avoids using sampling, it is not limited to translations of the camera and can detect a wider range of surfaces..The motion models related to each surface can then be re-injected as a constraint in the estimation of the next optical flow. The raw and fast planar segmentation produced by UV velocity can be used to fasten the estimation visual odometry.The results of optical flow estimation remain acceptable in terms of precision and execution time (tested on Middleburry dataset) which can be the input for creating the voting space to detect the planes on image. After the simulations and real experiments on KITTI dataset, UV-velocity shows its potential to be the polyvalent image registration on plane detection and opportunistic alert for the system
Estimation de la pose avec une caméra évènementielle
No full textLa pose de la caméra est utilisée pour décrire la position et l'orientation d'une caméra dans un système de coordonnées absolu, en référence à six degrés de liberté. L'estimation de la pose de la caméra est essentielle dans divers domaines d'application, tels que la réalité augmentée, la navigationrobotique et les véhicules autonomes.Ces domaines exploitent la pose de la caméra pour des calculs ultérieurs, comme la localisation des objets et la perception de la scène.Estimer la pose d'une caméra présente des défis dans différents scénarios ; les conditions d'éclairage médiocres, y compris une obscurité ou une luminosité extrêmes, limitent l'efficacité de la plupart des méthodes basées sur des caractéristiques. Ces conditions d'éclairage défavorablesentravent la détection et la correspondance précises des caractéristiques, affectant ainsi la précision de l'estimation de la pose de la caméra.Les scènes manquant de textures distinctes compliquent l'extraction de points clés significatifs, tandis que le mouvement rapide entraîne un flou cinétique, nuisant à la qualité de l'image et à la précision de l'estimation de la pose.La plupart de ces défis rencontrés dans l'estimation de la pose de la caméra sont largement liés à la nature des caméras traditionnelles, qui capturent le monde sous forme d'une série d'images fixes, prises successivement à un rythme rapide. Dans les cas où ces difficultés sont particulièrement prononcées, les caméras événementielles offrent des avantages potentiels.Les caméras événementielles sont des capteurs bio-inspirés qui imitent le fonctionnement de la rétine humaine, en capturant les changements d'intensité des pixels plutôt que d'enregistrer des images complètes à un taux fixe, comme le font les caméras traditionnelles basées sur des trames.Cette thèse se concentre sur l'estimation de la pose des caméras événementielles et vise à explorer l'application de méthodes d'apprentissage en profondeur pour la pose et la relocalisation basées sur ces caméras, en tirant parti de leurs propriétés uniques telles que la haute résolution temporelle, la faible latence et la large plage dynamique.La thèse apporte plusieurs contributions au domaine de l'estimation de la pose de caméra événementielle en utilisant des techniques d'apprentissage profond. Ces contributions peuvent être résumées comme suit :• La thèse fournit un aperçu complet des informations de base et des travaux connexes, établissant ainsi une base solide et une compréhension contextuelle de l'estimation de la pose de caméra événementielle.• La thèse explore et développe des approches spécialisées d'apprentissage profond adaptées à l'estimation de la pose de caméra événementielle. Ces techniques exploitent la puissance de l'apprentissage profond pour estimer avec précision la pose de la caméra à l'aide dedonnées événementielles.• La thèse introduit des méthodes pour projeter les données événementielles en données semblables à des images, facilitant l'application d'approches dédiées d'apprentissage profond. Ce processus de projection permet une utilisation efficace des informations événementielles dans la tâche d'estimation de la pose de la caméra.• La thèse propose une nouvelle approche qui applique directement des techniques d'apprentissage profond aux données événementielles brutes, les traitant comme un nuage de points plutôt que de les convertir en images. Cette approche exploite l'ensemble des informations capturées par la caméra événementielle et permet un processus d'apprentissage de bout en bout.Camera pose is used to describe the position and orientation of a camera in an absolute coordinate system, with reference to six degrees of freedom. Estimating the camera pose is essential in various application domains, such as augmented reality, robotic navigation, and autonomous vehicles.These fields rely on camera pose for subsequent calculations, such as object localization and scene perception.Estimating the pose of a camera presents challenges in different scenarios; poor lighting conditions, including extreme darkness or brightness, limit the effectiveness of most feature-based methods. These unfavorable lighting conditions hinder precise feature detection and matching, thereby affecting the accuracy of camera pose estimation. Scenes lacking distinct textures complicate the extraction of meaningful keypoints, while rapid motion leads to motion blur, affecting image quality and pose estimation accuracy.Most of these challenges encountered in camera pose estimation are largely related to the nature of traditional cameras, which capture the world as a series of static images taken successively at a rapid pace. In cases where these difficulties are particularly pronounced, event-based cameras offer potential advantages.Event-based cameras are bio-inspired sensors that mimic the functioning of the human retina, capturing changes in pixel intensity rather than recording full images at a fixed rate, as traditional frame-based cameras do.This thesis focuses on estimating the pose of event-based cameras and aims to explore the application of deep learning methods for pose estimation and relocalization based on these cameras, leveraging their unique properties such as high temporal resolution, low latency, and wide dynamic range.The thesis makes several contributions to the field of event-based camera pose estimation using deep learning techniques. These contributions can be summarized as follows:• The thesis provides a comprehensive overview of foundational information and related work, thus establishing a solid foundation and contextual understanding of event-based camera pose estimation.• The thesis explores and develops specialized deep learning approachestailored to event-based camera pose estimation. These techniques harness the power of deep learning to accurately estimate camera pose using event data.• The thesis introduces methods to project event data into image-like data, facilitating the application of dedicated deep learning approaches.This projection process allows for efficient use of event data in the camera pose estimation task.• The thesis proposes a novel approach that directly applies deep learning techniques to raw event data, treating them as a point cloud rather than converting them into images. This approach leverages the entirety of information captured by the event-based camera and enables an end-to-end learning process
Vision "fruste" revisitée : contribution à la vision dynamique des systèmes
No full textLes travaux présentés dans le cadre de cette habilitation à diriger des recherches portent essentiellement sur l'analyse de scènes à partir de caméras mobiles avec pour application immédiate l'apport d'une vision par ordinateur efficace dans les systèmes d'aide à la conduite. L'idée initiale est que l'autonomie d'un système implique, ne serait-ce que pour raisons énergétiques, une faible variété d'opérateurs de perception, dont les algorithmes de vision. Les "primitives" extraites des images seront intrinsèquement robustes et stables vis-à-vis de perturbations variées. Elles doivent de plus anticiper, voire faciliter, un processus de décision à divers niveaux voulu systématique. Les lignes de niveaux répondent parfaitement à ces contraintes : on vérifie sans peine leur robustesse et leur abondance dans une image suggère et alimente un processus de décision cumulatif (manipulant un objet unique : l'histogramme). Nos efforts se sont alors concentrés sur deux aspects : 1) le premier concerne la définition d'une méthodologie cohérente dans laquelle un processus primaire d'extraction de lignes de niveaux est enrichi afin de permettre la construction de primitives plus complexes guidée par le modèle de déformation de l'image. Le nombre de composants donc la forme des primitives est fonction directe du nombre de variables caractérisant le mouvement (déformation) à déterminer. 2) Le second intéresse une méthode de décision cumulative unifiée permettant de traiter des thèmes applicatifs de complexité croissante. Nos travaux se déclinent alors en trois niveaux de cumul, chacun associé de manière réconfortante à un stade de l'analyse d'images. 1) Au plus bas niveau, nous retenons l'information binaire apparition/disparition d'une primitive dans le temps. La complexité se situe strictement sur l'axe temporel. Le cumul dans le temps nous permet ainsi de reconstruire la scène fixe et donc par soustraction du fond, l'image des objets mobiles. Les espaces de vote sont 1D et multiples, affectés à chaque primitive. 2) Le consensus se voudrait spatio-temporel au deuxième niveau pour identifier le mouvement. Il restera d'abord spatial en pratique pour raisons de complexité : des primitives voisines dans l'image s'associent pour former des "pré-objets" contraints exhibant ainsi des invariants exploitables : leur mouvement à instancier doit être cohérent. Le cumul s'opère donc cette fois selon un modèle de mouvement de la caméra. Les primitives votent pour la transformation globale qui les aurait conduites dans leur nouvelle position. L'espace de vote est commun à toutes les primitives et multidimensionnel (une dimension par paramètre de mouvement). 3) Au niveau le plus élevé, la sémantique accrue implique des hypothèses à la fois sur les primitives et sur l'origine du mouvement. Les primitives sont supposées appartenir à un même objet 3D (ex. un plan) présentant, pour un modèle de déplacement du capteur donné, une propriété caractéristique commune des vecteurs vitesse qui permet de l'extraire. Notamment, leurs amplitudes sont constantes le long de courbes image prédéfinies par leurs équations analytiques. Les primitives ne votent plus selon leur structure mais selon leur vitesse. Dans le cas d'une scène 3D approximée par un ensemble de plans et d'une caméra à mouvement majoritairement longitudinal, l'espace de vote (c-velocité) présente 2 dimensions : une pour la vitesse, l'autre pour le paramètre des courbes iso-vitesse. Chaque vitesse vote sur sa courbe. Les surfaces 3D émergent dans cet espace de vote comme courbes 2D connues (droites ou paraboles). Les thèmes applicatifs traités pour illustrer notre démarche sont de complexité croissante : détection et estimation du mouvement en caméra fixe, recalage d'images en caméra mobile (type de mouvement connu et profondeur des objets contrainte) puis estimation générale du mouvement propre et de la structure de la scène en caméras embarquées sur un véhicule mobile. Les résultats obtenus montrent comment un choix de primitives robustes associé à un processus de décision cumulatif permet la réutilisation des opérateurs dans tous les secteurs. Les systèmes proposés ont la particularité d'être compacts et cohérents, propriété recherchée dans les applications considérées
Going Beyond Counting First Authors in Author Co-citation Analysis
Full text linkThe present study examines one of the fundamental aspects of author co-citation analysis (ACA) - the way co-citation
counts are defined. Co-citation counting provides the data on which all subsequent statistical analyses and mappings
are based, and we compare ACA results based on two different types of co-citation counting - the traditional type that
only counts the first one among a cited work's authors on the one hand and a non-traditional type that takes into
account the first 5 authors of a cited work on the other hand. Results indicate that the picture produced through this non-traditional author co-citation counting contains more coherent author groups and is therefore considerably clearer. However, this picture represents fewer specialties in the research field being studied than that produced through the traditional first-author co-citation counting when the same number of top-ranked authors is selected and analyzed. Reasons for these effects are discussed
Odométrie Visuelle par Association de Caméras Hétérogènes. Application à la Localisation et à la Cartographie Simultanée des Véhicules Autonomes
No full textCette thèse de doctorat aborde les défis de la fusion de capteurs et de la localisation et de la cartographie simultanées (SLAM) pour les systèmes autonomes, en se concentrant spécifiquement sur les véhicules terrestres autonomes (AGV) et les micro-véhicules aériens (MAV) naviguant dans des environnements dynamiques et à grande échelle. La thèse présente une gamme de solutions innovantes pour améliorer la performance et la fiabilité des systèmes SLAM à travers cinq chapitres méthodologiques.Le chapitre d'introduction établit la motivation de la recherche, en soulignant les défis et les limitations de l'odométrie visuelle utilisant des caméras hétérogènes. Il décrit également la structure de la thèse et fournit une analyse approfondie de la littérature pertinente. Le deuxième chapitre présente IBISCape, une référence simulée pour valider les systèmes SLAM haute fidélité basés sur le simulateur CARLA. Le troisième chapitre présente une nouvelle méthode basée sur l'optimisation pour calibrer une configuration visuelle-inertielle RGB-D-IMU, validée par des expériences approfondies sur des séquences réelles et simulées. Le quatrième chapitre propose une approche d'estimation d'état optimale linéaire pour les MAV afin d'obtenir une localisation de haute précision avec un retard minimal du système.Le cinquième chapitre présente le système DH-PTAM pour un suivi et une cartographie parallèles robustes dans des environnements dynamiques utilisant des images stéréo et des flux d'événements. Le sixième chapitre explore de nouvelles frontières dans le domaine du SLAM dense à l'aide de caméras Event, présentant une nouvelle approche de bout en bout pour les événements hybrides et le système SLAM dense à nuages de points. Le septième et dernier chapitre résume les contributions et les principaux résultats de la thèse, en mettant l'accent sur les progrès réalisés dans la fusion de capteurs hétérogènes multimodaux pour les systèmes autonomes naviguant dans des environnements dynamiques et à grande échelle. Les travaux futurs comprennent l'étude du potentiel d'intégration de capteurs de navigation inertielle et l'exploration de composants supplémentaires d'apprentissage en profondeur pour améliorer la robustesse et la précision de la fermeture de boucle.This Ph.D. thesis addresses the challenges of sensor fusion and Simultaneous Localization And Mapping (SLAM) for autonomous systems, specifically focusing on Autonomous Ground Vehicles (AGVs) and Micro Aerial Vehicles (MAVs) navigating large-scale and dynamic environments. The thesis presents a range of innovative solutions to enhance the performance and reliability of SLAM systems through five methodological chapters.The introductory chapter establishes the research motivation, highlighting the challenges and limitations of visual odometry using heterogeneous cameras. It also outlines the thesis structure and extensively reviews relevant literature. The second chapter introduces IBISCape, a simulated benchmark for validating high-fidelity SLAM systems based on the CARLA simulator. The third chapter presents a novel optimization-based method for calibrating an RGB-D-IMU visual-inertial setup, validated through extensive experiments on real-world and simulated sequences. The fourth chapter proposes a linear optimal state estimation approach for MAVs to achieve high-accuracy localization with minimal system delay.The fifth chapter introduces the DH-PTAM system for robust parallel tracking and mapping in dynamic environments using stereo images and event streams. The sixth chapter explores new frontiers in the field of dense SLAM using Event cameras, presenting a novel end-to-end approach for hybrid events and point clouds dense SLAM system. The seventh and final chapter summarizes the thesis's contributions and main findings, emphasizing the advancements made in multi-modal heterogeneous sensor fusion for autonomous systems navigating large-scale and dynamic environments. Future work includes investigating the potential of integrating inertial navigation sensors and exploring additional deep-learning components for improving loop-closure robustness and accuracy
- …
