L'un des thèmes de recherche de l'équipe TCI concerne l'application de la vision par ordinateur pour l'étude et l'exploitation de la communication visuo-gestuelle. Nous nous situons dans le cas où la scène analysée est constituée d'un ou plusieurs personnages qui s'expriment, par leur attitude corporelle, leur expression du visage ou leurs gestes. L'objectif final est de retrouver le sens, l'intention, associés à ces gestes, et donc de comprendre le message.

L'équipe TCI travaille depuis plusieurs années à la conception de logiciels permettant de capter et d'interpréter les gestes intentionnels de l'utilisateur. Les outils de capture utilisés sont en général une ou plusieurs caméras. Les applications visées vont de l'analyse des mouvements d'un utilisateur à la reconnaissance de gestes de la langue des signes, en passant par l'interprétation de commandes gestuelles.

Dans ce cadre, nous travaillons sur un projet d'aide à la traduction automatique de gestes de la langue des signes. Nous souhaitons analyser les différentes composantes de cette langue en nous appuyant sur des vidéo de personnes signant. Nous disposons pour cela d'un important corpus vidéo réalisé avec l'aide de linguistes et de personnes sourdes, dans le cadre du projet de recherche nationnal LS-COLIN. Le sujet[1] concerne ce projet.

Par ailleurs, nous travaillons sur un projet de capture du regard, dont l'objectif est de permettre à un ordinateur de savoir quel est l'objet ou la partie de l'écran observé par l'utilisateur. Pour cela nous utilisons un dispositif composé d'une caméra vidéo placée sous l'écran de l'ordinateur. Le sujet [2] concerne ce projet.

• SUJET 1 : étude sur l'analyse de gestes de la Langue des Signes (LSF) à partir de corpus vidéo.

  L'un des problèmes de l'étude de la LSF concerne la segmentation du discours : début et fin de phrases, changement de rôle du signeur,... Plus particulièrement, nous cherchons à faire le lien entre différents niveaux de segmentation : linguistique et visuel. En effet, les résultats d'études linguistiques sur des vidéos de LSF nous permettent de disposer d'annotation des corpus portant sur la sémantique (sens des signes et de la phrase) et la syntaxe du discours (changement de rôle, spatialisation,...). Nous disposons d'autre part d'outils de traitement d'image qui renvoient des informations sur les événements visuels dont certains peuvent être significatifs pour la segmentation (mouvement du tronc, pause,...). Il faut donc réaliser une étude qui met en correspondance ces résultats et cherche des co-occurrences temporelles entre les différents niveaux d'analyse (par exemple, un changement de rôle commence par une pause dans le mouvement). Ces résultats permettront de créer un modèle de segmentation du discours qui fait le lien entre résultats du traitement d'image et de l'étude linguistique.

  Cette étude ne nécessite pas de connaissance a priori en linguistique ou traitement d'image, ni en LSF. Cependant, il sera possible de faire un travail plus approfondi en linguistique ou en traitement d'image selon l'avancement de l'étude.

  
  
• SUJET 2 : étude sur la mesure de la direction du regard à partir d'images captées par caméra.

  Nous avons développé un système capable de réaliser la détection et le suivi de certaines composantes du visage : le nez et les yeux. Ce système ne réalise pas encore la mesure de la direction du regard. Nous souhaitons que le système fournisse une mesure à un degré de précision déterminé. Il est nécessaire de réaliser une localisation précise de points caractéristiques dans l'image des yeux (coins des yeux, pupilles...) pour pouvoir ensuite les utiliser dans des calculs géométriques permettant d'obtenir la direction du regard.
  Ce stage se déroulera en deux étapes :

  • détermination des transformations géométriques ainsi que des points caractéristiques de l'image des yeux nécessaire pour le calcul de la direction du regard ;
  • Implémentation et validation de la première partie à l'aide d'un corpus de films de personnes qui interagissent avec un ordinateur.

  Cette étude pourra être appliquée sur le corpus de LSF, qui contient une partie cadrée sur le visage des signeurs.

  
  

La connaissance du langage C est requise.
Des connaissances préalables en programmation orientée objet (C++ ou Java), en vision par machine, reconnaissance des formes ou traitement du signal seraient appréciées.
La mise en œuvre se fera sur PC sous Linux.

Christophe COLLET - Tél : 05 61 55 63 20 - Mél : collet -at- irit . fr

Ces stages se dérouleront au sein de l'équipe TCI, thème 1 - « Analyse et synthèse de l'information » de l'IRIT, Université Paul Sabatier.