Recherches en communication visuo-gestuelle

Patrice DALLE

Problématique

Nous nous situons dans le cas où la scène analysée est constituée d'un ou plusieurs personnages qui s'expriment, par leur attitude corporelle, leur expression du visage ou leurs gestes. Sans exclure les gestes de commande destinés à l'ordinateur, dans le cas d'une interaction Homme-Machine, nous nous intéressons prioritairement aux gestes intervenant dans la communication, c'est-à-dire aux gestes ayant une composante langagière, qu'il s'agisse des gestes co-verbaux qui accompagnent la parole ou des gestes de la langue des signes.

D'autre part, nous nous plaçons dans le cadre de la monovision, afin de pouvoir traiter des corpus enregistrés sur support vidéo.

Enfin, cette recherche est menée de manière pluridisciplinaire, en étroite collaboration avec des linguistes.

L'objectif final est de retrouver le sens, l'intention, associés à ces gestes, et donc de comprendre le message. Un objectif à plus court terme est d'étudier des méthodes d'analyse des gestes et de développer des outils informatiques à destination des linguistes pour l'analyse des corpus. Nous nous intéressons particulièrement à la matérialisation de l'espace de signation et à l'exploitation des processus iconiques pour créer des concepts et les mettre en action.

Recherches en cours

Dans le cadre d'une première collaboration avec les linguistes (Projet LS-COLIN), nous avons développé un ensemble d'outils spécialisés intervenant dans la chaîne de traitement (détection de la silhouette, détection de la peau, détection et suivi du visage, matérialisation du mouvement) et participé à la réalisation d'un corpus de qualité et à l'étude d'un logiciel d'annotation de la langue des signes.

Après la constitution de cette bibliothèque de base, nos recherches se développent selon trois axes :

• Analyse et description des expressions du visage. L'objectif est de détecter les différents constituants du visage, de mesurer leur évolution spatio-temporelle et de détecter des événements liés à des variations significatives d'une ou de plusieurs entités.
• Détermination de la posture par un système monovision. Une première étude a porté sur l'analyse de la posture d'un bras par un système monovision calibré. Nous exploitons les connaissances sur le modèle bio-mécanique du bras et des contraintes de continuité sur les trajectoires pour lever les ambiguïtés d'interprétation de la posture du bras à partir d'une seule image (description de la méthode).
• Étude d'un environnement d'analyse et d'interprétation de la langue des signes. Nous reprenons l'architecture du système étudié pour l'interprétation d'image, en le spécialisant au domaine de la langue des signes. L'objectif est de constituer un environnement permettant au linguiste d'exprimer des hypothèses sur la production des signes ou sur leur combinaison, de les transmettre au système et de vérifier leur exactitude en observant comment le système peut les exploiter (description du système).

Une partie de ces recherches s'effectuent dans le cadre de l'Action Spécifique STIC "Interaction Gestuelle" dont je suis responsable (RTP Communication et Dialogue).

Autres activités relatives à la langue des signes

Au-delà de ces activités de recherche sur la langue des signes effectuées dans le cadre de l'IRIT, je mène depuis de nombreuses années une action sur l'enseignement de cette langue, sa diffusion et son utilisation dans tous les secteurs de la vie des sourds, notamment dans l'éducation et dans la scolarité. Comme cette action ne pouvait pas se mener au sein de l'IRIT, puisqu'il s'agissait davantage de socio-linguistique, de recherche pédagogique ou de scolarité dans le secondaire, j'ai été amené à créer un institut (IRIS) et à l'animer pendant 15 ans. Je suis maintenant responsable du secteur Études & Recherche de cet institut. Du fait de l'évolution du statut de cette langue, de son introduction officielle dans le système scolaire, des recherches linguistiques et informatiques qui y sont consacrées et du partenariat indispensable avec les locuteurs de cette langue, ces deux activités sont en train de converger (détail de cette activité).