Domaine d’activité

Les recherches de l’équipe IRA2 (Interaction, Réalité virtuelle & Augmentée, Robotique Ambiante) ont pour objectif d’améliorer les interactions entre des personnes et des systèmes complexes artificiels (virtuels, augmentés, robotisés, applications informatiques). La diversité, la complexité, l’imprévisibilité des tâches à réaliser et l’hétérogénéité technologique, rendent nécessaire la conception, la réalisation et l’évaluation d’outils numériques d’assistance adaptés.

Pour atteindre cet objectif, les activités sont organisées autour de deux axes de recherche :

  • Axe 1 : Perception, Interprétation & Décision (PID)
  • Axe 2 : Interaction-Homme-Système (IHS)

Axe 1: Perception, Interprétation & Décision (PID)

L’objectif de cet axe est d’apporter à ces systèmes artificiels des capacités :

1) de perception de l’environnement (réel ou virtuel), de capture des utilisateurs, et ce, en temps réel et à partir de sources variées de données issues des capteurs embarqués, des objets communicants, des interfaces de RV/RA;

2) d’interprétation, voire de compréhension des données perçues ainsi que des algorithmes d’adaptation dynamique à un contexte évolutif et  d’aide à la décision.

Perception de l’environnement réel ou virtuel :

  • Objectifs : Permettre au système artificiel d’améliorer, de compléter, de restaurer, de prédire la réalité en procurant des assistances sensorielles à un utilisateur (groupe d’utilisateurs) ou à un robot dans son monde réel (dans le cas de la réalité augmentée) ou virtuel (dans le cas de la simulation en réalité virtuelle).
  • Problématique : Lever les verrous : 1) de la mise en conformité en temps réel des mondes réel et virtuel; 2) de détection, de localisation, de cartographie d’environnements et du suivi robuste multi capteurs de cibles (objets, utilisateurs ou robots);
  • Approches : approches basées descripteurs, analyse/synthèse d’images basées modèles, SLAM basé sur l’ajustement de faisceaux et sur la modélisation planaire.
  • Mots clés : Réalité augmentée, réalité virtuelle, calibration de capteurs, modélisation et recalage 3D, prédiction, appariement 2D/3D, suivi hybride robuste, localisation.

 

Interprétation & décision :

  • Objectifs : Permettre au système artificiel d’analyser et d’interpréter les données reçues et de construire des algorithmes d’aide à la décision facilitant l’exploitation des données par un utilisateur (ou un groupe d’utilisateurs) ou par un robot.
  • Problématique: Lever les verrous : 1) de l’adaptabilité de l’Interaction Homme-Machine en fonction du contexte; 2) de la reconnaissance de gestes et d’émotions par un robot; 3) de l’adaptation au contexte pour l’assistance ambiante et à la personne.
  • Approches : Traitement et fusion de données hétérogènes, classification, coopération multi-agents, mécanismes de coalition et de négociation, modèles de présence.
  • Mots clés : Réalité augmentée, réalité virtuelle, apprentissage automatique, context-aware, systèmes multi-agents, cobotique.

Axe 2: Interaction-Homme-Système (IHS)

L’objectif de cet axe est de formaliser des concepts et de développer des techniques d’interaction et de communication en réalité virtuelle, en réalité augmentée, ou en robotique qui soient multimodales et adaptées à l’humain dans son environnement (réel ou virtuel), mais également adaptées à un robot assistant évoluant dans son environnement. Ce dernier, peut être un espace intérieur (indoor) ou bien extérieur (outdoor).

Interaction en environnement réel augmenté ou virtuel :

  • Objectifs : Proposer à l’utilisateur (ou groupe d’utilisateurs) des techniques d’interaction 3D (navigation, sélection, manipulation, contrôle d’application) qui soient naturelles et multimodales afin d’améliorer les performances des tâches et des utilisateurs (notamment en réduisant les courbes d’apprentissage et en assurant la cohérence multisensorielle).
  • Problématique : Lever les verrous : 1) du maintien de la cohérence sensorielle dans l’espace et dans le temps entre l’action d’un utilisateur et la réaction des systèmes de RA/RV; 2) des limites des interfaces caractéristiques de RA/RV et les contraintes de la tâche ; 3) de l’amélioration de l’utilisabilité des interfaces et de la motivation des patients; 4) de la fidélité des interactions 3D dans les simulateurs virtuels; 5) de prototypage rapide d’applications de RA mobiles.
  • Approches : Conception centrée sur l’utilisateur, approches basées sur les mécanismes d’adhésion/motivation (les théories de la motivation), mécanismes de guides virtuels, modèle du trèfle fonctionnel des collecticiels, modèles de présence, architecture basée composants.
  • Mots clés : Réalité augmentée, réalité virtuelle, interaction 3D, interaction naturelle, interfaces tangibles, facteurs humains, travail collaboratif, architecture logicielle.

 

Interactions humain-Robot & cobotique :

  • Objectifs : Permettre des interactions (distantes ou physiques) homme-robot qui soient naturelles et multimodales.
  • Problématique: Lever les verrous : 1) de la téléopération en présence de délais; 2) de la reconnaissance de gestes et d’émotions par un robot; 3) de la malléabilité des systèmes collaboratifs homme-robot; 4) de la co-perception homme-robot (partage des sens et du savoir entre l’homme et le robot pour construire une perception mutuelle et augmentée)
  • Approches : modélisation des interactions homme-robot, modèle de coprésence, apprentissage et adaptation aux changements (environnement/utilisateur).
  • Mots clés : Interaction homme-robot, réalité augmentée, réalité virtuelle, téléopération, apprentissage, cobotique.

Domaines d’application : Santé & Industrie

  • Médecine personnalisée
  • Mobilité intelligente, durable et coopérative

 

widget_cartohal

Documents avec texte intégral

296

Références bibliographiques

323

Mots-clés

Simulation 3D interaction techniques Cognitive stimulation Feature extraction Interaction 3D Robotics Computer vision Virtual Reality ROV Humanoid robot Cooperation Machine learning Telerobotics Distortion Human tracking Omnidirectional camera 3D interaction Teleoperation Empirical evaluation Augmented Reality Réalité Augmentée Estimation Synthesized face Timed automata Collaborative work Human computer interaction Virtual reality VR Apprentissage automatique Robot Manipulability Interaction techniques Collaborative interaction Interval analysis Machine Learning 3D pose tracking Cameras 3D visualization Convolutional neural networks Humanoid Robot Real-time tracking Architecture Depth image Non-rigid tracking Evaluation tool Human performance Regression Deep learning Underwater Computer Vision Particle filter Calibration Virtual environment Kinect Virtual reality Autism Gesture tracking Rehabilitation 3D gesture recognition Localization Mixed reality Face matching Control Coordination Object detection Neural Network CNN Camera pose estimation Deep Learning Augmented reality Agent architecture Neural Architecture Search Rigid tracking Collaborative virtual environments CSCW Alzheimer disease Web services Artificial intelligence 3D face tracking Distributed Architecture Context-awareness Argumentation Motion capture 3D Interaction Modelling Tracking Tailorability Réalité virtuelle Classification Pose estimation Emotion recognition Adaptation Réalité Virtuelle Réalité augmentée Facial expression recognition SLAM Surgical training Collaboration Outdoor augmented reality Coopération Modélisation