L'un des thèmes de recherche de l'équipe TCI concerne l'application de la vision par ordinateur pour l'étude et l'exploitation de la communication visuo-gestuelle. Nous nous situons dans le cas où la scène analysée est constituée d'un ou plusieurs personnages qui s'expriment, par leur attitude corporelle, leur expression du visage ou leurs gestes. L'objectif final est de retrouver le sens, l'intention, associés à ces gestes, et donc de comprendre le message.

L'équipe TCI travaille depuis plusieurs années à la conception de logiciels permettant de capter et d'interpréter les gestes intentionnels de l'utilisateur. Les outils de capture utilisés sont en général une ou plusieurs caméras. Les applications visées vont de l'analyse des mouvements d'un utilisateur à la reconnaissance de gestes de la langue des signes, en passant par l'interprétation de commandes gestuelles.

Dans ce cadre, nous travaillons sur un projet d'aide à la traduction automatique de gestes de la langue des signes. Nous souhaitons analyser les différentes composantes de cette langue en nous appuyant sur des vidéo de personnes signant. Nous disposons pour cela d'un important corpus vidéo réalisé avec l'aide de linguistes et de personnes sourdes, dans le cadre du projet de recherche nationnal LS-COLIN. Le sujet [1] concerne ce projet.

• SUJET 1 : Réalisation d'une plate-forme de traitement d'images pour l'analyse de corpus vidéo de LSF

  Nous développons plusieurs logiciels d'annotation de vidéo en LSF. L'annotation est une opération fastidieuse réalisée à la main. Nous souhaitons utiliser le traitement d'images pour accélérer cette tâche. Ce stage consiste à écrire une boîte à outils de traitements d'images adaptée à l'analyse de la LSF, notamment :

  • détection et segmentation des composantes du signeur : tête, mains, tronc, bras;
  • étiquetage et suivi des composantes dans le temps;
  • mesure de divers indices visuels permettant par exemple de détecter les changements de configuration de la main, des mouvements d'épaules ou l'orientation du visage.

  Il existe déjà des programmes permettant de réaliser certains de ces traitements, mais ils ne donnent pas de résultats exploitables et nécessitent d'être adaptés.
  Tous ces traitements sont à réaliser dans le contexte d'une interaction avec un utilisateur, qui apporte son expertise et sa capacité à paramètrer les outils de traitement d'images et à corriger le cas échéant leurs résultats. Cela facilite le développement des opérateurs de traitements d'images qui dans le cas contraire (fonctionnement automatique) seraient extrêmement difficiles à mettre au point.

  
  

La connaissance du langage C est requise.
Des connaissances préalables en programmation orientée objet (C++ ou Java), en vision par machine, reconnaissance des formes ou traitement du signal seraient appréciées.
La mise en œuvre se fera sur PC sous Linux.

Christophe COLLET - Tél : 05 61 55 63 20 - Mél : collet -at- irit . fr

Ces stages se dérouleront au sein de l'équipe TCI, thème 1 - « Analyse et synthèse de l'information » de l'IRIT, Université Paul Sabatier.