Nos partenaires

CNRS

Rechercher





Accueil du site > Français > Thèmes de recherche > Thème 1 - Analyse et synthèse de l’information > Equipe TCI > Recherches

Analyse de la langue des signes française (LSF)

Ces recherches concernent l’analyse des gestes, des expressions et des attitudes de personnages observés par un système de vision. Nous nous intéressons plus particulièrement à l’étude de productions en langue des signes française (LSF).
Un énoncé en LSF fait intervenir de nombreux composants corporels, les mains (configuration, orientation, emplacement, mouvement), les bras, le buste (orientation, mouvements), les épaules, l’orientation de la face, les expressions du visage et le regard. Chacun de ces composants constitue un objet mobile et déformable, ayant un grand nombre de degrés de liberté et évoluant dans un environnement peu contraint. L’objectif étant, en outre, d’analyser ces productions en temps réel, on va devoir introduire dans les traitements des informations spécifiques au corps humain et à la langue des signes afin d’améliorer les performances. Enfin pour pouvoir comprendre le sens de l’énoncé, il est nécessaire de contraindre le problème, en introduisant des informations sur le contexte du discours et en limitant le champ lexical.
La représentation, l’acquisition et l’exploitation de ces connaissances constituent des axe de recherche.

Nous abordons tous les niveaux d’analyse de la LSF :

  • Au premier niveau, les traitements portent sur l’analyse de chaque image individuellement (détection de la peau ou de traits caractéristiques) et de la séquence (suivi des mains, suivi des déformations du visage), sur la reconstruction 3D de la posture et des gestes).
  • Le niveau suivant consiste à caractériser ces informations, trouver des régularités et segmenter la production gestuelles (détection des débuts et fin de signes, identification des expressions faciales, des balancements corporels, ...).
  • Le dernier niveau concerne la reconnaissance des structures langagières et la compréhension du discours et fait appel à des modèles structurels et statistiques de la LSF.

Nos premiers travaux ont porté sur l’étude de méthodes robustes et rapides de suivi des mains et des bras, sur l’analyse des déformations du visage, sur la segmentation spatio-temporelle des mouvements des mains et sur la modélisation de l’utilisation de l’espace dans la langue des signes.
Nous abordons maintenant l’intégration de ces différentes contributions dans un même système. L’interprétation d’un énoncé en LSF nécessitera d’introduire une modélisation plus élaborée de la LSF, notamment la modélisation des structures de transferts produites par le phénomène de l’iconicité présent dans toutes les langues des signes.

Les applications portent sur la réalisation d’outils d’analyse de vidéos en LSF, destinés aux linguistes, de logiciels pédagogiques utilisés dans l’enseignement en LSF ou dans l’enseignement de la LSF et enfin de logiciels facilitant la communication en LSF.
Enfin les techniques d’analyse de gestes mises au point pour la LSF peuvent s’appliquer à de nombreux cas de la communication gestuelle et de la gestuelle coverbale et à l’introduction d’une nouvelle modalité dans les interactions homme-machine.