| |
 |
 Dalle Patrice
|
Recherche
Thèmes de recherche
Interprétation d'image
Mes recherches ont longtemps porté sur la conception de sytèmes d'interprétation d'images.
En vue de concevoir un environnement de développement d'applications d'analyse d'image, j'ai animé des recherches sur la modélisation du traitement d'image : nous avons proposé un modèle d'opérateurs de TI, un modèle symbolique de données de TI et un langage de description de concepts visuels, ce qui nous a permis de décrire formellement le résultat d'une chaîne de TI ou de décrire un objectif et de planifier la chaîne de TI qui permet de l'atteindre. -
Traitement Automatique de la Langue des Signes : TALS
Depuis 2001, mes recherches portent sur l'analyse de la langue des signes française (LSF).
Nous étudions des modélisations de cette langue visuo-gestuelle à différents niveaux linguistiques. Ces modèles sont exploités par les opérateurs de détection, suivi, reconstruction, segmentation, description et reconnaissance que nous développons en vue d'analyser des corpus de LSF ou d'interpréter des énoncés en LSF.
Recherches actuelles : TALS
Analyse des composants corporels
La LSF mettant en jeu plusieurs composants corporels (mains, bras, épaules, buste, visage, regard), nous étudions des méthodes permettant d'analyser le comportement de chacun de ces composants.
Une première difficulté provient du comportement non-linéaire des composants (changements brusques de direction, variations de vitesses, ...). De plus il y a de fréquentes occultations mains-mains et mains-visage. Enfin, pour pouvoir traiter des vidéos existantes dont on ne maîtrise pas les conditions d'acquisition ou pour pouvoir communiquer à partir d'une simple webcam, nous travaillons principalement en monovision.
Il est donc indispensable d'intégrer et d'exploiter, dès les premiers niveaux, les connaissances disponibles extraites d'une modélisation du corps humain et d'une modélisation de la LSF. Notre objectif étant de traiter des vidéos de longue durée, sans intervention humaine après la phase d'initialisation, nous étudions particulièrement la robustesse des méthodes, obtenue en combinant plusieurs sources d'information ou plusieurs indices et en exploitant des modèles statistiques.
Les travaux ont porté principalement sur :
- La détection et le suivi robuste des mains, des coudes, des épaules et du visage. Détection par la couleur et le mouvement et suivi à base de filtrage particulaire et exploitant différentes modélisations morphologiques du corps humain (AAM et recuit simulé - thèse de F. Gianni- , convolution de motifs) et des connaissances sur la LSF, comme la notion de main dominante pour désambigüiser l'identification des mains droite et gauche (thèse de F. Lefebvre-Albaret).
- Le suivi des déformations du visage, en vue de décrire des mimiques faciales, à l'aide de modèles actifs d'apparence robustes aux occultations (thèses de H. Mercier et J. Peyras).
Ces travaux se poursuivent dans l'équipe pour traiter d'autres composants comme le regard (C. Collet).
Reconstruction 3D
Nous avons étudié plusieurs méthodes de reconstruction de la posture 3D des bras à partir d'une séquence de vues 2D afin d'obtenir des informations quantitatives et qualitatives permettant la segmentation de la séquence (caractérisation) ou sa reproduction par un avatar (signeur virtuel). La méthode de base, par cinématique inverse, est améliorée par plusieurs post-traitements, notamment en utilisant des informations liées aux mains dominantes et dominées.
Segmentation
Nous avons réalisé une première approche de la segmentation d'un énoncé en signes. Ces travaux se poursuivent afin d'améliorer leur précision et d'automatiser le processus. Contrairement aux approches existantes, basées sur le lexique et la reconnaissance des signes, nous explorons une approche phonologique pour réaliser la segmentation (thèse de F. Lefebvre-Albaret)
Modélisation de la LSF
La LSF utilise l'espace situé devant le signeur pour organiser et structure le discours. Tous les éléments sont ainsi spatialisés. Ils peuvent alors être référencés et mis en relations. Nous avons étudié ce mécanisme et en avons proposé une modélisation informatique (thèse de B. Lenseigne). Nous avons commencé à étudier le processus de création de cet espace et son exploitation pour décrire la structure de l'énoncé en LSF et piloter son analyse.
-
Outils d'analyse et de visualisation
La LSF n'a pas encore de forme écrite et les systèmes de notation qui ont été proposés prennent mal en compte toutes les caractéristiques de la LSF. Il est donc nécessaire de développer des outils graphiques permettant d'annoter des vidéos ou de décrire visuellement son fonctionnement sans faire appel au français ou à un formalisme limité qui biaiserait l'analyse. Nous avons donc développé plusieurs outls dans ce sens :
- logiciels d'annotation de vidéo basés sur une décomposition en niveaux hiérarchiques et une présentation en partition (AnColin, SLannotation).
- éditeur d'espace de signation (VIES).
- éditeur des expressions du visage (Janua)
- éditeur d'un système de représentation graphique du message signé (système élaboré par IRIS) .
- logiciel d'annotation de vidéo en vidéo (AVV)
- étude de l'informatisation de formes graphiques de la LSF (thèse de G. Aznar)
Applications
Ces outils permettent de développer des applications à usage pédagogique qui ont fait l'objet de transfert notamment au sein du pôle régional PRESTO :
- Utilisation d'AVV pour produire des corrigés de productions en LSF ou pour faire des présentations en LSF.
- Utilisation de VIES pour illustrer l'utilisation de l'espace en LSF ou le partage de concepts dans un dialogue
- Applications permettant de visualiser le mouvement ou de décrire des signes sous forme d'images fixes imprimables (fabrication de lexique)
Encadrement
Projets
(projets concernant la langue des signes auxquels je participe)
-
Projets en cours
- DictaSign (février 2009 - février 2012) - projet européen STREP-FP7 ICT2007- Partenaires : ILSP (porteur) et NTUA (Grèce) , UEA et UniS (Angleterre), IRIT et LIMSI (France), UHH (Allemagne)
Sign Language Recognition, Generation and Modelling with Application in Deaf Communication
http://www.dictasign.eu/
- SignCom (2008-2010) - RIAM ANR- Partenaires : VALORIA (porteur), IRIT, IRISA, M2S, Polymorph Software, Websourd
Communication en langue des signes entre des agents réel et virtuels
http://www-valoria.univ-ubs.fr/signcom/Overview.html
- SESCA (juin 2007- juin 2009) - Région Midi-Pyrénées - Partenaires : IRIT (porteur), UTM, IRIS, Websourd, INTERPRETIS -
Système d’enseignement de la langue des signes et de communication par avatar
http://www.irit.fr/sesca/
-
Projets terminés
- LS-Script (2005-2006) : RIAM - Partenaires : SFL-Paris8 (porteur), IRIT, LIMSI, IRIS, WebSourd
LS-Script : proposition d’un formalisme graphique pour la langue des signes française
http://lsscript.limsi.fr/
- Websourd (juillet 2004-juillet 2006) : "Usages de l'Internet" (MENRT) - Partenaires : WebSourd (porteur), IRIS, IRIT
Etude des usages d'Internet à Websourd dans le cadre de relations professionnelles Sourds-Entendants, Etude de technologies pour l'accès à des contenus en langue des signes.
- Interaction gestuelle (2003) Action Spécifique STIC (RTP Communication et Dialogue) - Responsables : P. Dalle, C. Cuxac
Etude et développement de la communication Homme-Machine visuo-gestuelle
http://www.irit.fr/AS-IG
- LS-COLIN (juillet 2000-juillet 2002) : Action Concertée Incitative du MENRT : Cognitique 2000 thème « Langage et cognition ». Partenaires : SFL-Paris8 (porteur), LIMSI, IRIT
Langues des signes : Analyseurs privilégiés de la faculté de langage; apports croisés d'études linguistiques, cognitives et informatiques (traitement et analyse d'image) autour de l'iconicité et de l'utilisation de l'espace
http://www.irit.fr/LS-COLIN
Enseignement
Enseignement à l'UPS
- Master recherche IT (Informatique et Télécommunication) - parcours AVI
- Fondements de l'analyse d'image
- Master professionnel IM (Image et Multimédia)
- Tronc commun : Fondements de l'image numérique : Analyse d'image
- Parcours Ingénierie de l'Image Numérique (IIN) : Méthodologie de conception de systèmes d'interprétation
- Master professionnel SI (Systèmes Intelligents)
Enseignement extérieur à l'UPS
- Université Vincennes - Saint Denis - Paris 8
Licence professionnelle : Langue des Signes Française
- UE "Contexte socio-éducatif" : Education bilingue
et scolarité en langue des signes
- Université Paul Verlaine de Metz
UE libre : Langue des Signes Française
- Problématique du bilinguisme langue des signes - langue française
- Technologies pour l'étude, l'enseignement et l'utilisation de la langue des signes.
CRCT
En 2008-2009 , je bénéficie d'un congé de recherche et congé thématique, pour développer des applications pédagogiques adaptées à la LSF.
Ce projet, qui devrait s'étendre sur 2 ans, comporte 2 volets :
- La mise en œuvre et l'expérimentation de dispositifs pour le développement de l'enseignement de ou en LSF. Plusieurs projets sont à l'étude, avec le concours de la Mission Formation Continue et Apprentissage (MFCA) de l'UPS :
- Création d'une plateforme nationale de mutualisation-diffusion de supports pédagogiques en LSF - partenaire : IRIS (maître d'œuvre).
- Création d'un Diplôme d'Université de l'UPS "Ingéniérie de l'enseignement en LSF" dans le cadre de la MFCA- partenaire : IRIS
- Expérimentation de l'accompagnement à distance de dispositifs scolaires bilingues en cours de développement - partenaires : IUFM Lyon et IRIS.
- Etude de méthodes danalyse de la LSF permettant le développement dapplications pédagogiques destinées à l'enseignement de la LSF et à la pédagogie en LSF :
illustration du fonctionnement de la LSF, traces écrites des signes, corrigé d'une production en LSF, ...
|
|
