Activités de recherche

Thématique de recherches

La thématique principale de mes activités de recherche relève de l’interaction homme-machine et plus particulièrement les méthodes, les modèles et les outils pour l’étude de communication/interaction dégradée - que celle-ci soit induite par l’usager et/ou l’environnement - en vue de la spécification d’outils de suppléance ou des stratégies palliatives au service des personnes handicapées et âgées. C’est ainsi que les paradigmes de la multimodalité, de la transmodalité sont des concepts essentiels dans les modèles de l’interaction et/ou de la présentation de l’information.

La finalité de cette recherche est de déboucher sur des modèles computationnels et des environnements technologiques d’études à des fins d’analyse et de modélisation.

L’ensemble de ces recherches est fondée sur l’hypothèse d’une analogie entre les dysfonctionnements communicationnels et cognitifs des personnes handicapées, et ceux conditionnés par des situations de communication dégradées telles celles des systèmes critiques (interaction en situation de mobilité, navigation aérienne, habitacle de voiture, etc.).

1. le concept de la transmodalité visuelle / non visuelle ;
2. la robustesse et les stratégies de dialogue oral homme-machine finalisé ;
3. la multimodalité.

Sous-thématique Transmodalité visuelle ==> non visuelle

La question de l’accessibilité à l’information par des personnes handicapées visuelles consiste à transposer les informations visuelles en une modalité auditive ou tactile. Cette dernière ne se résume pas à proposer des outils technologiques utiles mais pose une question fondamentale sur le concept de la transmodalité : processus de transposition d’une modalité x en une modalité y.

Dans un premier temps, nous nous sommes intéressés à la question de la transmodalité visuelle ==> auditive dans le contexte de la présentation d’information. Le contexte applicatif concerne a) l’accessibilité des documents électroniques par des déficients visuels et b) la présentation d’information non visuelle sur petits écrans.

Ce travail s’appuie sur le Modèle d’Architecture Textuelle développé par J. Virbel et ses collègues selon lequel certaines des propriétés visuelles du texte, les marques de mise en forme matérielle (MFM), véhiculent de l’information dont le traitement est indispensable à la compréhension du sens transmis par l’auteur. La MFM est un sous-ensemble signifiant des propriétés typographique, dispositionnelle ou lexico-syntaxique de mise en saillance qui faciliterait le traitement du texte.

Une première problématique est de formaliser des stratégies d’oralisation qui repose sur l’interprétation et la reformulation systématique des marques typographiques et dispositionnelles des textes par des marques lexico-syntaxiques. Ce traitement permet de construire une forme discursivement développée du texte et de son "inscription spatiale". Ce travail repose sur l'hypothèse de l’équivalence fonctionnelle entre des marques lexico-syntaxiques et des marques prosodiques. Ainsi, la forme discursive peut être considérée comme le pivot central pour l’élaboration d’un continuum de nouvelles formes d’oralisation. Celles-ci peuvent être construites par réduction de tout ou partie des marques de MFM de nature lexico-syntaxique, au profit de marques prosodiques, équivalentes du point de vue de leur fonction. Ce travail est conduit avec les chercheurs du modèle MAT.

Une deuxième activité de recherche concerne la spécification et la modélisation de marques prosodiques (schéma intonatif, stratégie pausale, marque d’accentuation) pour la restitution des structures énumératives. La problématique est de proposer des « équivalents prosodiques des marques de la MFM», objet d'étude de la thèse de F. Maurel. Ces spécifications ont débouché vers l’implémentation de schémas prosodiques à travers un langage de représentation de type XML (eXtended Markup Language)[N2], [N5]dans un moteur de synthèse de la société Elan Speech et vers la proposition d’extension du langage VoiceXML pour rendre compte de la MFM dans la restitution orale.

Cette activité a pour cadre d'études le projet Région soutenu par la Région Midi-Pyrénées (2001-2004) : Serveurs multimodaux destinés aux personnes âgées : méthode de conception et étude de leur utilisabilité, Ref : DAER-99008531.