Interaction conversationnelle Personne/Personne ou Personne/Système, Apprentissage des langues et Compréhensibilité de la parole native/non-native

Projets en cours

• ALAIA (mars 2019 – décembre 2023 – ANR – porteuse du projet) : Laboratoire commun entre l’IRIT (équipe SAMoVA) et la société Archean Technologies (Montauban). Apprentissage des langues assisté par Intelligence Artificielle, approche centrée sur l’expression et la communication orale en Langue L2 et les erreurs typiques des paires de langues L1/L2 (langue maternelle/langue apprise). Appliqué à l’apprentissage du français (L2) par des apprenants japonophones
  • Détection et diagnostic d’erreurs de prononciation dans des tâches de répétition
  • Mesure de la compréhensibilité de la parole native dans des documents authentiques (extraits de documents de fiction) pour des apprenants non-natifs (thèse CIFRE)
  • Mesure automatique de la compréhensibilité de la parole non-native dans des tâches de traduction semi-spontanée (thèse CIFRE)
  • Contribution : porteuse du projet et responsable pour l’IRIT ; gestion administrative du projet ; co-encadrement post-doctorant, ingénieurs contractuels, stagiaires, co-encadrement de 2 thèses CIFRE

• RESSENTI (septembre 2022 – février 2026 – Projet Région Occitanie porté par l’Université de Montpellier) « Variétés RESistantes Analyses SENsorielles eT Innovations ouvertes » implique également l’Institut Agro de Montpellier, Toulouse-INP (tutelle de l’IRIT) et l’INRAE.
  • Analyse automatique des données audio (interviews, focus groups) collectées dans le cadre du projet auprès d’acteurs du domaine agronomique et viticole.
  • Structuration et analyse automatique des contenus (conversation) pour extraction d’informations sur les leviers et les freins de l’adoption par les communautés concernées des variétés résistantes aux maladies.
  • Contribution : expertise en traitement automatique et intelligence artificielle pour la transcription et la compréhension de la parole dans un domaine de spécialité – encadrement stagiaires.

Projets récemment terminés

• LinTO (mars 2018-février 2021 – BPI France – PIA2 porté par Linagora) : Projet d’assistant professionnel intelligent pour l’aide au résumé de réunion. Implication dans les travaux liés à deux sous-projets :
  • Perception auditive et visuelle : analyse des informations audio et vidéo captées en réunion (microphone /caméra 360°) ; Analyse des interactions entre les participants ; Détection du participant actif, Fusion multimodale et Définition d’une signature multimodale des participants – collaboration avec le LAAS.
  • Analyse du discours : intégration d’informations issues de l’analyse audio (pauses, locuteurs) pour analyser la transcription automatique (produite par Linagora), structurer le contenu et proposer une synthèse de la réunion – collaboration Linagora et équipe MELODI (IRIT).
  • Contribution : responsable scientifique pour l’IRIT (partenaire du projet), co-encadrement post-doctorant, ingénieurs contractuels et stagiaire.

• INGPRO (janvier 2019- septembre 2021 – Projet Région Occitanie porté par l’UT2J) : Projet d’étude de l’incidence du geste correctif dans l’apprentissage d’une langue étrangère. Implication dans les travaux liés aux sous-projets :
  • Association parole/geste en situation d’interaction corrective enseignant/apprenant
  • Intégration d’un avatar pour la réalisation de gestes correctifs via la plateforme expérimentale dédiée aux passassions
  • Généralisation de l’approche (avatar et gestes correctifs) à l’apprentissage d’une autre langue étrangère (anglais)
  • Contribution : responsable scientifique pour l’IRIT (partenaire du projet), co-encadrement post-doctorant, ingénieurs contractuels et stagiaires.

Projets et travaux plus anciens

• Projet ANR EPAC Masses de données (2007-2010) – Exploitation de masses de documents Pour l’extraction et le traitement de la pArole Conversationnelle, projet porté par le LIUM et regroupant 3 autres partenaires académiques (LIA Avignon, LI Marseille, IRIT) – Structuration de contenus en séquences d’interaction entre intervenants (participants à un débat, une interview, une réunion, …) reconnaissance des rôles des participants (présentateur, invité, modérateur, …). Contribution : responsable scientifique du lot « Structuration et agrégation de contenus » – co-encadrement de thèse.
• Projet national ANR Contint RIDDLE (2012-2015 – 3 ans) porté par le LAAS-CNRS. Consortium de 2 partenaires académiques LAAS-CNRS et IRIT, 2 partenaires industriels (sociétés Aldebaran & Magellium) et 1 partenaire du milieu médical (CHU Toulouse – Gérontopôle) – Contribution : Responsable scientifique pour l’IRIT du lot « Interaction Multimodale », co-encadrement d’une thèse IRIT et LAAS-CNRS.
• Projet Région Midi-Pyrénées (financement ERDF) AGILE-IT 2013 (fév. 2013 – juin 2015 -30 mois) porté par la société Archean Technologies en collaboration avec l’équipe Octogone de l’UT2J, l’équipe SAmoVA et avec le soutien du service d’ORL du CHU de Purpan-Toulouse. Contribution : co-encadrement post-doctorant.
• Projet de maturation (2016-2017 – 15 mois) entre Samova, le CLLE-LTC (UT2J) et TTT (Toulouse Tech Transfert) cellule de valorisation de l’UPS. Détection audio de situation critique en lieu public. Contribution : participation au montage et au suivi mensuel d’un ingénieur de valorisation recruté par TTT.

Encadrements récents

Verdiana De Fino (2021-2024) thèse CIFRE en cours avec la société Archéan Technologies depuis janvier 2021, co-encadrement (50%), soutenance début 2024, Caractérisation et mesure de la compréhensibilité de la parole de locuteurs non natifs dans le cadre de l’apprentissage des langues, 3 publications.

Estelle Randria (2017-2022) thèse CIFRE avec la société Archéan Technologies, “thèse CIFRE en cours (IRIT-Archéan Technologies), Compréhensibilité de contenus audiovisuels : quelles approches pour une mesure objective ? thèse soutenue en octobre 2022, co-encadrement(50%), 2 publications.

Encadrements plus anciens (à compléter)

---