Egalement dans la rubrique
PIRoS
Intégration Multimodale, Interaction et Signal Social
| Membres | Offres d'emploi | Contacts |
Objectifs et projet scientifique
Le groupe « intégration multi-modale, interaction et signal social » étudie les méthodes et les modèles d’analyse, de reconnaissance, d’interprétation et de prédiction de signaux et de comportements socio-émotionnels au cours du développement tout au long de la vie (de l’enfance au quatrième âge). Une attention toute particulière est portée à leurs dysfonctionnements. De plus, le robot joue un rôle central dans ces activités grâce à son caractère intégratif, son agentivité et sa mobilité pour des applications allant de l’assistance à l’investigation clinique.
Vu la dimension métacognitive des phénomènes qui sont étudiés (l’intégration des informations et les interactions sociales humaines), le groupe imi2s a adopté une approche intégrative, à l’interface du traitement du signal social, de la psycho-pathologie et de la pratique clinique. Nos recherches interdisciplinaires, fondamentales et appliquées, portent sur les signaux perçus, produits et échangés par l’humain : avec des agents virtuels et robotiques, au cours des interactions précoces mères/bébés, chez les enfants avec troubles envahissants du développement, lors des interactions entre des adolescents et leurs psychothérapeutes, et les adultes avec troubles neurologiques. Elles concernent le traitement des émotions (prosodie, émotions faciales, théorie de l’esprit), l’intégration multimodale, la connectivité et la plasticité cérébrale et la dynamique temporelle (synchronie, en-gagement, pragmatique de la communication).
La spécificité du groupe imi2s est de s’appuyer sur des disciplines scientifiques complémentaires, mais rarement regroupées dans une même équipe, à savoir le traitement automatique du signal social, la neuropsychologie et la psychopathologie. Les recherches du groupe imi2s sur l’analyse automatique de signaux de communication verbaux et non-verbaux s’appuient sur des apports méthodologiques et théoriques dans le domaine du traitement du signal, des images, de la reconnaissance des formes et de l’apprentissage artificiel. La caractérisation de la dimension sociale des signaux et comportements est centrale dans nos contributions avec l’analyse du visage, l’étude des gestes et de la parole.
Une attention toute particulière est portée à la dynamique de la communication humaine, qui se traduit par des caractérisations et des modélisations de signaux temporels à des échelles multiples : individuelle (e.g., parole), multimodale (e.g., geste + parole) et inter-personnelle (e.g., imitation). La modélisation de cette dernière - dynamique interpersonnelle - est identifiée comme un des verrous majeurs du traitement du signal social et de la robotique personnelle tout en étant centrale à plusieurs disciplines allant de la psychologie développementale à la conception d’agents virtuels. Elle se traduit par une coordination de comportements des individus et est connue pour être à la fois un témoin et un vecteur de la qualité de l’interaction. Nous étudions donc une approche systématique de l’étude de la synchronie et de l’imitation basée sur la détection d’indices non verbaux, l’intégration multimodale non-supervisée (matrice de corrélation, factorisation de matrices non-négatives) et la proposition de représentations (clustering hiérarchique, « soft ») adaptées à l’interprétation par des non-experts.
Cette démarche nous permet d’appréhender des situations variées : interaction homme-robot, interaction avec des personnes déficientes ou encore naïves. Ces approches méthodologiques ont été appliquées dans un cadre clinique au suivi de comportements interactifs sur des durées importantes (plusieurs mois) pour l’étude des signes précoces de l’autisme ou l’estimation de l’âge développemental d’un enfant par exemple.
