IRIT - UMR 5505

English
CNRS
INPT
UPS
UT1
UTM
  Bandeau IRIT
 

  Mojahid Mustapha


  Statut : Permanent
  Service / Equipe :  Interacting Humans with Computing Systems
  Contact : Mustapha.Mojahid@irit.fr
  Localisation : IRIT2 / Niveau 2, Pièce: 269
  Téléphone : 05 61 55 6318
  Publications : Publications

 

Recherche

 Activités de recherche

Mes activités de recherches sont abordées de manière pluridisciplinaire (informatique, linguistique et psycholinguistique) et se situent dans le champ de l’informatique textuelle.

Les objectifs principaux s’articulent autour des points suivants : (1) la modélisation et la représentation des textes en se basant sur des indices visuels, lexicaux et syntaxiques et en faisant appel à des modèles et théories textuels (Modèle d’Architecture Textuelle, Théorie des Structures Rhétoriques et Théorie de Centrage), (2) l’étiquetage automatique ou semi-automatique des objets et segments textuels, (3) génération et manipulation d’Images de Pages (structure visuelle graduelle) comme nouvelle technique d’interaction dans un environnement contraignant pour des voyants ou des non-voyants, (4) impacts des structures visuelles sur les processus cognitifs.

 

Actuellement, mes travaux se focalisent essentiellement sur trois axes de recherche :

 

1. Accès et manipulation tactile de l’information structurée d’un document écrit
pour la déficience visuelle.

Dans un contexte d’accès à l’information par les non voyants, les outils usuels intègrent de la synthèse de la parole à partir de texte et une plage Braille. Cet environnement pose plusieurs problèmes dont celui de la navigation textuelle intra et inter documents : ces outils ne permettent pas d’anticiper d’un premier regard l’architecture (propriétés typographiques, dispositionnelles et lexico-syntaxiques) de la page ou de l’extrait du document affiché à l’écran.

L’objectif principal de cette recherche consiste à exploiter le modèle de représentation de l’image de page (IdP, voir figure) pour permettre une représentation en relief de l’architecture du texte sur une plage A4.

 

 

 

 

 

 

 

 

 

 

 



Le concept d’Image de Page est une opérationnalisation du langage notationnel de l’architecture textuelle. Ce langage a été défini pour représenter un large éventail de structures textuelles et certaines propriétés associées à ces structures (il a été validé sur les structures énumératives). Ce langage est d’essence visuelle et a pour objectif d’être expressif, facilement appréhendable, de granularité variable et multi-échelles. Ce langage réfère d’une part à la théorie de la notation chez Nelson Goodman qui repose sur la théorie de la référence de l’identité ; et d’autre part au principe de la typographie aveugle de Twyman. Notre but principal est de modéliser les stratégies de conversion d’une représentation visuelle des Images de Pages (2D) en une représentation  tactile (3D). Cela nous amène à étudier et à élaborer des stratégies de transformation et de conversion de documents HTML/XML vers des images de pages « incrémentales » (prise en compte des indices typographiques et/ou spatiaux et/ou certains paramètres lexico-syntaxiques). Deux modules seront nécessaires à concevoir : (1) un module de visualisation d’une image de page et (2) un traducteur d’une page HTML/XML vers les IdP.

 

Une thèse est engagée dans cette recherche et un prototype utilisant un dispositif avec papier thermo-gonflable est en cours de développement. Nous envisageons valider et évaluer par la suite les critères d’utilité et d’utilisabilité de notre système.

 

2. Interaction gestuelle pour la saisie de textes en mobilité

Au fil des dix dernières années, les progrès considérables en microélectronique et informatique ont permit aux ordinateurs de devenir de plus en plus portables et compacts. A cet égard, de nouveaux produits informatiques en mobilité ont été apparus : les assistants numériques personnels (PDAs), les téléphones portables de nouvelle génération (smart phone), les navigateurs (GPS), etc. Ces produits ont trouvé un grand succès dû à leur utilité dans la vie quotidienne. La plupart des fonctionnalités offertes par ces dispositifs nomades font appel à la modalité textuelle, par exemple : texto (SMS), bureautique, navigateur Web, etc. En conséquence, nous cherchons dans ce travail à rendre ces appareils mobiles accessibles par les personnes n'ayant pas l'aptitude d'utiliser les méthodes actuelles de saisie du texte en mobilité. Les patients parkinsoniens souffrent d'anomalies motrices qui s’aggravent progressivement et qui se manifestent par un tremblement des membres au repos. Les fluctuations motrices de personnes ayant cette maladie rendent ainsi difficile le contrôle de mouvement du stylet sur l'écran tactile des dispositifs nomades.

Des contraintes ont été imposées à la conception des produits de l’informatique mobile. Du point de vue matériel : le dispositif nomade devrait être constitué de tel sorte qu’il soit portable autant que possible. Du point de vue logiciel : l'interface d’interaction devrait être accessible par divers types de population (novice ou expert, personne handicapée ou valide, jeune ou âgée, …).

Pour la tâche de saisie du texte, le petit écran de l’assistant personnel empêche de représenter de manière lisible le clavier logiciel. Ainsi, la désignation de petites touches au stylet représente une tâche extrêmement difficile même pour les personnes n’ayant pas un tremblement des membres supérieurs.

Un recours à la technique classique d’écriture (papier et stylo) a été adopté. Dans ce contexte, Graffiti constitue une méthode de saisie manuscrite implémentée sur l'assistant personnel PDA. Sur Graffiti, les lettres doivent être écrites de manière à être reconnus par le système. Cette modalité d’écriture présente certaines lacunes. Elle nécessite un apprentissage préalable, de respecter précisément la forme de caractère, d’éviter tout rebond, et d’avoir un sens d’écriture précis, etc. En conséquence, Graffiti ne pourrait pas être adapté aux personnes peu habiles, et plus particulièrement à ceux ayant des troubles de motricité.

Notre objectif est de concevoir et explorer une solution pour assister les personnes ayant des tremblements des membres supérieurs, notamment des deux mains. Notre approche consiste à proposer un système qui permet de saisir du texte, sur dispositifs nomades munis d’un écran tactile, à partir de déplacement du stylet dans des rainures délimitées par deux bords saillants.

Nous postulons que cette conception pourrait amener une meilleure stabilité de mouvement, mais aussi un moindre taux d’erreurs. Notre solution est destinée en premier lieu aux personnes handicapées, cependant, les personnes valides, en utilisant cette approche, amélioreraient leurs performances, et plus particulièrement, lors de la saisie en mobilité (marchant, en bus, …), car les dispositifs nomades ont été conçus pour ce genre de situations.

Egalement dans cette recherche, nous envisageons mettre en place une expérimentation pour évaluer notre système et valider nos hypothèses.

 

Dans cette même approche nous explorons et expérimentons théoriquement et sur le terrain plusieurs pistes en s'appuyant (1) sur des métaphores naturelles comme celles de l'accordéon et du fish eye et (2) sur un système de prédiction. Les résultats déjà obtenus sont très positifs sur des sujets sains, nous envisageons de les valider sur une population souffrant de troubles moteurs.

Une thèse engagée sur cette problématique sera soutenue en décembre 2009.

 

 

3. Etude en temps réel des indices oculo-graphomoteurs de la dysorthographie dans divers handicaps langagiers : évaluation, modélisation et remédiation. »

La trace spatio-temporelle de l’activité d’écriture permet d’appréhender non seulement la performance motrice du sujet mais elle rend également atteignable les facteurs (linguistiques et cognitifs) sous-jacents à toute production écrite. La prise en compte de tels indices « on-line » -- saisie de l’information visuelle et réalisation du geste graphique -- constitue une (double) source d’information précieuse, susceptible d’enrichir considérablement notre compréhension du déterminisme sous-jacent de divers phénomènes linguistiques pathologiques, depuis les traitements de bas niveau, d’entrée (auditive ou visuelle) ou de sortie (ortho)graphique, jusqu’aux traitements de plus haut niveau : morphologique, lexical, syntaxique et sémantique. Une telle approche chronométrique n’a jamais été réalisée jusqu’à présent sur des données pathologiques.

Cette recherche aborde de manière pluridisciplinaire la caractérisation en temps réel de la dysorthographie dans divers types de handicaps (dyslexie/dysorthographie développementale, agraphie acquise chez les cérébrolésés, illétrisme) en vue d’une modélisation d’outils d’assistance et de remédiation.

Nous nous appuyons sur divers travaux réalisés (ou en cours) : architecture textuelle et processus de lecture/écriture ; grille d’analyse des erreurs langagières ; production d’un lexique incluant les phénomènes dysorthographiques et modèles de langage associés ; adaptation de VITIPI à la correction et à la remédiation. Nous collaborons dans ce travail avec le laboratoire Jacques Lordat, sur la caractérisation des processus cognitifs en situation de dysfonctionnement dans divers types de handicaps langagiers.

Ce travail a été au cœur de trois projets portant sur plusieurs populations pathologiques  —parkinsoniens, cérébro-lésés, tétraplégiques et infirmes moteurs cérébraux —soutenus respectivement par la Région Midi-Pyrénées (2003-2005), la fondation APETREIMC (2006) et l’Institut des Technologies Avancés du Vivant (2006-2008).

Un projet ANR en cours (Palliacom 2008-2010) nous permet d’avancer sur cette problématique.


 

 Encadrement

    Co-encadrement de la thèse de Youssef Bou Issa, Accès et manipulation tactile de l’information structurée d’un document écrit pour la déficience visuelle, Bourse de l’ordre Libanais Maronites,  à compter du 1er octobre 2006.

 

    Co-encadrement de la thèse de Khaldoun Al Faraj, l’Interaction gestuelle pour la saisie de textes en mobilité, Bourse du gouvernement de Syrie, à compter du 1er octobre 2006.

 

    Co-encadrement de la thèse d’Aurélie Lagarrigue, Etude en temps réel des indices oculo-graphomoteurs de la dysorthographie dans divers handicaps langagiers : évaluation, modélisation et remédiation. Bourse d’allocation MENRT du Président de l’Université Paul Sabatier dans le cadre de l’ITAV, à compter du 1er octobre 2006.

 

 Projets de recherche

Projet ANR PALLIACOM (2008-2010)

Communicateur multimodal pour la palliation et l'augmentation alphabétique et logographique de la communication écrite et orale (Télecom Bretagne/ENST Bretagne - RDI+/Réalisations Développements Informatique).

 

Projet ITAV (2005-2008)

Analyse « en temps réel » des perturbations de la production du langage écrit. De la caractérisation des troubles à l’évaluation de l’impact des thérapies (pharmacologiques et/ou orthophoniques)

 

Projet APETREMIC (2006-2007) Evaluation qualitative de Systèmes d’Aide à la Communication pour les Infirmes Moteurs Cérébraux.

 

Projet région (2003-2007) « Plate-forme technologique d’études neuro-motrices et cognitives d’entrées produites par plusieurs profils de personnes handicapées : Deux activités cognitives l’entrée clavier et l’entrée manuscrite ».

 

Projet soutenu par la région Midi-Pyrénées (2006-2007) Exigences cognitives des tâches de recherche d'information (ou navigation) dans les sites Web, mémorisation du contenu et vieillissement; Responsable scientifique : LTC (Laboratoire Travail & Cognition), IRIT (Institut de Recherche en Informatique de Toulouse)  et PME/PMI Onlynet.

 

Projet région soutenu par la Région Midi-Pyrénées (2001-2004)

Serveurs multimodaux destinés aux personnes âgées : méthode de conception et étude de leur utilisabilité”, Ref : DAER-99008531 ; 2 partenaires PME/PMI ; 1 autre laboratoire académique ; 2 organismes sociaux ; Montant 1ère Année 120 K€ dont 50% de sous-traitance aux PME/PMI; Montant 2ème Année 120 K€ dont 50% de sous-traitance aux PME/PMI.

 

Projet région soutenu par la Région Midi-Pyrénénées (2002-2004) "Modèle de conception de documents multimédia à destination des adultes", Participation ; laboratoire Jacques Lordat, Laboratoire Travail et Cognition (LTC), l’Institut de Recherche en Informatique de Toulouse (IRIT) et le CERFI, laboratoire de l’IUFM (Institut Universitaire de Formation des Maîtres) et une PME/PMI MILAN Presse.

 

Projet "Stratégies d'oralisation de documents écrits et évaluation psycholinguistiques" (ACI Cognitique, Programme Pluridisciplinaire « Société de l’Information » ; 2 laboratoires participants (IRIT et Jacques Lordat) ; (2002-2004) Montant : 33 K€.


 

Haut de page

 

Enseignement

Master Recherche d'Information        Approche linguistique pour la RI

IUP SI - L3                                         Programmation Logique et représentation des connaissances

IUP STRI - L3                                    Bases de Données et Applications Web

L1 STS                                                Algorithmique et langage C

Master Pro BioInformatique              Langage Perl

C2i                                                      Outils bureautiques



 

Haut de page