SESCA

Descriptif détaillé du projet

1. Cadre

La région toulousaine est, depuis longtemps, le cadre d’une forte activité autour de la langue des signes, aussi bien dans le tissu associatif qu’académique : le rectorat de Toulouse expérimente avec le concours d’IRIS une filière complète d’enseignement en LSF, unique en France sous cette forme. Ces innovations ont créé une forte compétence locale qui a entraîné la création à Toulouse :

d’entreprises ou d’organismes socio-économiques originaux dont l’activité est basée sur la LSF : Websourd (accessibilité à l’information, à la culture et à la citoyenneté à l’aide des NTIC), INTERPRETIS (dispositifs de traduction et d’interprétation), IRIS (expérimentation de l’utilisation de la LSF dans l’enseignement et la vie sociale et professionnelle).
de dispositifs de formation à la LSF : IRIS, UTM (filière LSF en Lettres modernes), EN (enseignement de la matière LSF dans la scolarité)
de dispositifs de formation en LSF : UTM (IUP de traduction), EN (filière d’enseignement bilingue LSF-français)
d’équipes de recherche : à l’IRIT-UPS (analyse de la LSF par Traitement d’Image) et à l’UTM (didactique, sociologie, linguistique, traductologie).

Ces différents organismes ont déjà l’habitude de travailler ensemble dans le cadre de plusieurs projets nationaux financés par le ministère de la recherche (Usages de l’Internet, RIAM) ou par la DGLFLF ou dans plusieurs partenariats (Websourd-IRIS, INTERPRETIS-UTM, IRIT-UTM).
Cet ensemble constitue un environnement exceptionnel, qui génère des innovations dans l’insertion socio-professionnelle et qui a de plus une caractéristique remarquable : une forte proportion de ces professionnels sont eux-mêmes sourds, recrutés pour leur expertise en LSF et non pour satisfaire des quota.
D’autre part, la loi 2005-102 de février 2005 sur l’insertion des personnes handicapées a reconnu officiellement la LSF ainsi que son droit d’usage dans les actes de la vie civique et dans l’éducation. L’obligation maintenant faite aux pouvoirs publics de proposer des dispositifs d’accessibilité en LSF rend encore plus urgent le besoin de développer des technologies innovantes.

2. Besoins

Le développement d’activités intégrant la LSF génère la production de documents vidéos en LSF, puisque la LSF ne possède pas encore d’écriture1. On doit donc disposer d’outils permettant d’analyser, d’annoter ou d’évaluer ces documents. On peut citer, comme applications, l’évaluation de la traduction en LSF d’un texte en français, la correction de la production d’un apprenant de LSF, la formation des interprètes, la scénarisation d’un énoncé à faire signer par un avatar, …
L’enseignement ou la diffusion de la LSF impliquent des outils pour illustrer ou expliquer le fonctionnement de cette langue. Comme la LSF ne s’écrit pas et que l’enregistrement vidéo ne permet que de re-visionner mais pas d’expliquer, il est nécessaire de disposer d’outils associant l’informatique et la vidéo pour analyser l’énoncé en LSF et ajouter les informations illustrant les mécanismes de la LSF.
Les outils de ces deux familles peuvent aussi être utilisés pour produire des documents bilingues (texte + graphismes, DVD, …).
La vidéo n’est pas toujours bien adaptée pour communiquer à distance en LSF : limites de la bande passante ou poids des documents vidéos, personnalisation des messages, contraintes de l’interprétation (disponibilité, coût, inadéquation, … ). La technologie des avatars signants est encore limitée mais elle est déjà utilisable dans certaines situations contrôlées. Il faut alors disposer de systèmes permettant de générer, avec une complexité acceptable, des énoncés suffisamment réalistes et corrects sur le plan linguistique. L’entreprise Websourd est fortement impliquée dans cette démarche très prometteuse pour son activité.

3. Compétences

L’équipe Traitement et Compréhension d’Image (TCI) de l’IRIT a développé un axe de recherche sur la LSF et la communication gestuelle depuis plusieurs années (recrutement d’un Maître de Conférence, 5 thèses et de nombreuses publications). Elle participe avec les linguistes de Paris 8 et le LIMSI-CNRS à plusieurs projets nationaux sur la LSF et a piloté une action spécifique du CNRS sur l’interaction gestuelle. Le projet SESCA s’appuie sur plusieurs prototypes de modélisation, d’analyse et de représentation de la LSF réalisés dans le laboratoire. Il pourra également faire appel aux compétences de l’IRIT en matière d’animation de synthèse, d’analyse des flux vidéo ou d’ informatique linguistique (spatiale et temporelle) ainsi qu’au Laboratoire des Usages, récemment créé pour évaluer des dispositifs interactifs.
L’UTM a ouvert une formation professionnelle (IUP) de traduction, avec une option LSF et ouvre en 2007 une filière d’enseignement de la LSF (350h) en Lettres modernes. Le laboratoire España31 de l’UTM (maintenant intégré au laboratoire LLA, Langues, Littérature, Arts) développe un axe de recherche en traductologie. Ce nouveau métier de traducteurs sourds français-LSF fait l’objet d’une étude financée par la DGLFLF et une journée d’étude se tiendra le 16 mars sur le thème de la traduction et de la LSF.
Interpretis est partie prenante de la formation des traducteurs et intervient dans la filière d’enseignement en LSF menée par l’EN, ainsi que dans les formations universitaires.
Les interventions sur la LSF des 2 formations de l’UTM (traduction et filière LSF) sont assurées par des formateurs sourds d’IRIS. D’autre part IRIS gère depuis 20 ans un service de formation à la LSF pour adultes et intervient, dans le cadre d’un partenariat conventionné avec le rectorat, dans la filière de scolarité en LSF qu’il a créé en 1985. L’articulation des programmes LSF et français fait l’objet d’une étude financée par la DGLFLF ainsi que d’une recherche-action à l’IUFM.
Websourd a contribué à faire émerger ce métier de traducteurs sourds en proposant sur son site une reformulation en LSF des actualités et en rendant accessibles (« tradaptation ») les sites institutionnels existants (mairie de Toulouse, …). Websourd gère et développe un service d’interprétation à distance à l’aide des techniques de visio-conférence.

Ces organismes ayant déjà l’habitude de travailler ensemble dans plusieurs programmes, ce projet regroupe des compétences en analyse de vidéos de personnages signants et en traitement des langues, une forte expertise en LSF, une expérience de terrain des problèmes interlangues et de communication gestuelle et un cadre applicatif pour évaluer et utiliser les solutions développées. Ceci garantit que le transfert des produits des laboratoires produira des outils adaptés aux métiers concernés, donnera aux organismes professionnels des moyens de développer l’activité de leurs intervenants, notamment sourds, et contribuera au développement des services d’accessibilité pour la population sourde.

4. Travaux

Malgré les besoins professionnels identifiés et l’ensemble des compétences énumérées ci-dessus, le partenariat a surtout porté jusqu’à présent sur des activités de recherche. Ceci était sans doute un passage obligé, du fait des connaissances encore imparfaites sur la LSF, des insuffisances de ses modélisations et du manque d’outils de base pour son traitement. L’objectif du projet SESCA est de passer des prototypes de laboratoire résultant de ces recherches à de réels produits opérationnels en milieu professionnel, permettant d’améliorer la qualité des services de formation, d’information et de communication ou la productivité des organismes qui les proposent.

4.1. Analyser

L’IRIT-TCI a développé (dans le cadre du projet LS-Colin, avec le LIMSI) un éditeur en partitions («Ancolin»), pour étudier et annoter des vidéos d’énoncés en LSF. Un prototype de cet éditeur est opérationnel et utilisé dans le laboratoire (fig. 1). Il s’agira dans un premier temps d’en faire un produit robuste et multiplateforme et d’en améliorer l’ergonomie et la facilité d’utilisation.
Dans ce logiciel interactif, l’utilisateur peut également déclencher des opérations de traitement d’image (TI) sur la vidéo. Dans le cadre de ce projet, on intégrera dans la bibliothèque les opérateurs de détection des composants corporels, de suivi et de mesure pour automatiser la détermination des caractéristiques des gestes, des mouvements du corps ou des expressions du visage.
Ce logiciel sera expérimenté et évalué par les formateurs (IRIS, Interpretis) pour corriger la production d’un élève en formation LSF ou pour annoter une traduction.
Ce logiciel pourra être utilisé par les équipes de Websourd pour annoter et analyser des demandes de leurs interlocuteurs sourds sous forme de vidéo LSF.

4.2. Expliquer, structurer

Dans le cadre de ses travaux sur la compréhension d’énoncés en LSF, l’IRIT-TCI a commencé à implémenter une modélisation de la LSF. Une première étape a consisté à modéliser l’utilisation de l’espace de signation par la LSF pour situer les éléments du discours (objets, acteurs, concepts, …) dans l’espace et pour les mettre en relation. Un logiciel de visualisation de la construction de cet espace (« VIES ») a été réalisé (fig. 2).
Les travaux porteront sur l’enrichissement de ce logiciel, sur l’amélioration de sa facilité d’utilisation et sur son évaluation en situation réelle, dans deux cadres applicatifs :

Enseignement de la LSF (IRIS) : ce logiciel constitue un outil pédagogique pour illustrer visuellement la structure spatiale d’un énoncé et faire comprendre cette caractéristique très originale de la LSF.
Traduction (INTERPRETIS, UTM, Websourd) : en phase de préparation à la traduction d’un texte, cet outil permet d’identifier les éléments du discours et leur dépendance avant d’aborder la traduction proprement dite en LSF. Il faut noter que son usage dépasse largement le cas de la LSF et peut s’appliquer à la préparation de la traduction dans une langue quelconque ou à la reproduction du message par un avatar (cf §4.3).

4.3. Communiquer à l’aide d’un avatar signant

Cette partie du projet est la plus innovante, en termes d’application, et elle réutilise l’ensemble des modules développés dans les deux phases précédentes.
Les usages possibles d’un avatar ont été étudiés dans le projet « Usages de l’Internet » par Websourd, IRIS et IRIT. Un avatar est en cours de développement par le LIMSI-CNRS à Orsay (fig. 3), notamment dans le cadre du projet RIAM «LS-Script»(1). Websourd est déjà associé au LIMSI pour une première opération de transfert visant à tester l’utilisabilité de ce type de communication en LSF pour des messages simples (annonces dans les gares). Actuellement, la construction d’un énoncé nécessite une forte expertise, à la fois en LSF et en infographie. C’est un processus long et très minutieux et les contraintes sur le type d’énoncé pouvant être généré sont fortes, ce qui va limiter son application à des dispositifs évoluant peu souvent.
L’objectif de cette action est de compléter ce système en permettant au concepteur du message d’introduire, par l’exemple, les gestes à réaliser pour produire les signes, au lieu de devoir les décrire explicitement. L’analyse et la reconstruction en temps réel des mouvements libres d’un objet aussi complexe que le corps humain sont au-delà des capacités de systèmes actuels de coût acceptable. Cependant on a ici la possibilité de maîtriser l’environnement d’analyse de ces gestes (fond, éclairage, habillement, placement des caméras, modélisation préalable du locuteur, …) et de contraindre la manière de les produire (ralenti et contrôle par retour visuel,…) ou de les analyser (enregistrement vidéo et traitement différé multipasse avec contrôle interactif, analyse manuelle préalable de la séquence, …).
L’IRIT-TCI a développé un ensemble de logiciels permettant d’identifier l’orientation du corps et de localiser les épaules, de détecter un visage, les mains et de suivre leur évolution et de déduire de ces éléments la posture des bras à chaque instant. On sait également suivre avec précision les modifications d’expression d’un visage. Développés pour permettre la commande gestuelle de dispositifs et dans des environnements peu contraints (fond texturé, éclairages variables, déplacements du personnage, …), ces logiciels ne reconnaissent que des gestes limités de pointage et ne sont pas encore assez robustes. Les travaux viseront donc à dépasser ces limites, en exploitant les caractéristiques très maîtrisées de l’application, et à produire une description assistée des mouvements à faire réaliser par l’avatar.
Outre ces ajustements algorithmiques (IRIT), les travaux associeront tous les partenaires pour mettre au point la méthodologie complète de production d’un énoncé :

préparation de la structure de l’énoncé (avec utilisation du logiciel VIES), prenant en compte les limites de l’avatar,
production d’un énoncé en LSF, par un signeur sourd, et enregistrement vidéo,
préanalyse manuelle de l’énoncé sur vidéo, à l’aide du logiciel Ancolin (segmentation temporelle),
analyse de la vidéo par traitement d’image, avec l’aide de la préanalyse, et description des gestes, mouvements et expressions
prévisualisation sur un avatar simplifié (squelette) et correction interactive de la description,
ajout interactif de la description précise des mouvements des doigts,
génération de la séquence par l’avatar complet.

La réalisation et l’évaluation de ce produit constituera une avancée significative ; les partenaires socio-économiques du projet sont très bien placés pour l’exploiter , valoriser ou développer l’emploi de professionnels sourds et favoriser l’accessibilité des sourds à l’information et à la formation.

[1] Le projet RIAM « LS-Script » auquel participent l’IRIT, IRIS et Websourd a pour but de proposer un formalisme graphique de la LSF