systèmes d'informations généralisés

présentation

personnel

recherches

collaborations

sujets de stages

publications

1. Le projet TREC

TREC est un projet international initié au tout début des années 90 par le NIST (National Institute of Standards and Technology) aux Etats-Unis dans le but de proposer des moyens homogènes d'évaluation de systèmes documentaires sur des bases de documents conséquentes. Il est aujourd'hui co-sponsorisé par le NIST et DARPA/ITO (Defense Advanced Research Projects Agency - Information Technology Office). L'objectif de TREC est d'encourager les travaux de recherche en informatique documentaire permettant l'accès à des bases volumineuses en fournissant :

• une base de test importante,
• des procédures d'évaluation uniformes,
• un forum pour les organismes intéressés par une comparaison de leurs résultats.

Depuis la création du projet, l'intérêt pour TREC ne cesse de croître et l'édition 1998 (TREC7) comptait la participation de 56 groupes (37 centres de recherches, 19 industries) provenant de 13 pays différents. Ainsi, grâce à un nombre croissant de résultats envoyés, de plus en plus de techniques et de systèmes sont développés et évalués, favorisant les discussions et les échanges entre groupes y participant.
Les conditions de participation au projet et les différentes tâches sont décrites dans les paragraphes suivants.
Par ailleurs, les résultats obtenus dans TREC sont chaque année résumés dans des actes édités par le NIST. Y sont également décrits, par chaque groupe et pour chaque tâche, les différentes techniques et systèmes expérimentés.

Références :
Ellen M. Voorhees & Donna K. Harman, Overview of the Seventh Text REtrieval Conference (TREC6), Dans Voorhees & Harman, NIST Special Publication 500-240, 1998.
David A. Grossman & Ophir Frieder, Information Retrieval : Algorithms and Heuristics, Kluwer Academic Publishers, 1998.

2. Conditions de participation

NIST diffuse courant Décembre un Appel à participation qui explique dans les grandes lignes les objectifs et le déroulement du projet pour l'année à venir. Les demandes de participation doivent être déposées en janvier, aussi bien pour les anciens participants que pour les nouveaux.
Les demandes d'intégration à TREC sont étudiées par un Comité de Programme qui se prononce en février.
La conférence TREC est organisée comme un forum afin de discuter des résultats obtenus avec les systèmes participant au projet. La participation à la conférence annuelle elle-même est soumise à l'envoi de résultats (à la tâche principale et/ou à une des tâches spécifiques).

3. Principes de travail et de réalisation des évaluations

3.1 Tâche principale : Ad hoc

La tâche ad hoc dans TREC évalue les performances des systèmes de recherche d'informations. sur des ensembles statiques de documents, seules les requêtes changent. Cette tâche est similaire à une recherche dans une bibliothèque par exemple, où la collection est connue mais les questions susceptibles d'être posées ne le sont pas.
Pour cette tâche, les participants disposent d'environ 2 giga-octets de documents et d'un ensemble de 50 "sujets" en langage naturel (sous forme de documents SGML).
Pour chaque "sujet", les participants créent une requête et soumettent les 1000 "meilleurs" documents pour ce "sujet". Les participants sont tenus de décrire la façon dont ils ont construit leurs requêtes à partir de "sujets" : entièrement automatiquement ou manuellement (s'il y a une intervention humaine, quelle qu'elle soit). Lorsqu'il s'agit d'une construction automatique, doivent également être précisées les parties du "sujet" utilisées, sachant qu'il y a trois sections dans les sujets fournis en SGML : titre (quelques mots), description (une phrase) et narrative (description concise -quelques phrases- de ce que doit contenir un document pertinent). Les sections utilisées induisent ainsi différents niveaux de comparaison des résultats obtenus et permettent l'évaluation de l'influence de la longueur des requêtes sur ces résultats.

3.2 Tâches spécifiques :

Ces tâches ont été introduites progressivement dans TREC (depuis TREC4 en 1996) afin de permettre l'évaluation de problèmes spécifiques en recherche d'informations telles que le filtrage, le croisement de langues, la recherche dans de très large corpus (25 giga-octets et plus), les modèles d'interaction, ...

3.2.1 Filtering Track (Filtrage d'informations)

Dans cette tâche, à l'inverse de la tâche principale ad hoc, les "sujets" sont stables alors que le flot de documents varie à chaque fois. Pour chaque document, le système doit prendre une décision binaire, à savoir le document est pertinent ou ne l'est pas (au lieu de fournir une liste ordonnée).
Cette tâche comporte trois sous-tâches de difficulté croissante : filtrage classique, filtrage batch (sujets et jugements de pertinence étant fournis, le système doit décider ou non de retrouver un document dans une portion test de la collection), filtrage adaptatif (document par document et les requêtes pouvant être modifiées). Les résultats n'étant pas fournis sous forme de listes ordonnées, des fonctions spécifiques d'utilité sont définies afin de pouvoir évaluer ces résultats.
Personnes chargées de la tâche : David Hull (David.Hull@xrce.xerox.com) et Steve Robertson (ser@microsoft.com).

3.2.2 Cross-Language Track (Recherche d'informations multilingues)

Une tâche ad-hoc dans laquelle les documents sont en anglais, allemand, français, ou italien, et les sujets sont fournis dans chaque langue. Le centre d'intérêt de cette tâche est la recherche de documents qui concernent le sujet indépendamment de la langue.
Personne chargée de la tâche : Peter Schauble

3.2.3 Interactive Track

L'objectif de cette tâche est d'étudier les modèles d'interaction en recherche d'informations. Il s'agit autant d'évaluer le processus de recherche que son issue.
Personne chargée de la tâche : Bill Hersh (hersh@ohsu.edu)

3.2.4 Query Track

Cette tâche a pour objectif de comparer les méthodes de construction de requêtes et l'influence de ces méthodes sur les performances des systèmes. Chaque groupe participant construit ses propres requêtes et échange ensuite celles-ci avec tous les autres participants. Plusieurs comparaisons sont alors directement possibles :
- premièrement, efficacité de leurs propres systèmes avec leurs propres requêtes,
- deuxièmement, efficacité de leurs propres systèmes avec les requêtes des autres participants,
- troisièmement, efficacité de leurs méthodes de construction de requêtes au regard de la façon dont les autres participants ont perçu leurs requêtes.
Plusieurs types de requêtes sont préconisés afin de structurer cette tâche : requête très courte (2 ou 3 mots), phrase, rétroaction manuelle (après lecture des 5 à 10 premiers documents restitués à la première recherche), structuration manuelle, structuration automatique. Chaque groupe s'exécute ainsi sur plusieurs versions d'un même "sujet".
Personne chargée de la tâche : Chris Buckley (chrisb@sabir.com).

3.2.5 Question Answering Track

L'objectif de cette tâche est de ne plus travailler sur le document tout entier mais sur les parties de documents. Au lieu de rechercher la pertinence d'un document dans sa totalité, on va rechercher la pertinence de passages (ou extraits) de documents. Pour chacune des 200 questions, les systèmes doivent restituer des extraits de documents qui sont pertinents pour cette question. Plusieurs niveaux de réponses doivent être testés. Ces niveaux diffèrent par la longueur maximale de l'extrait (en octets) : de phrases courtes (2 à 3 mots) au document en entier (1000 mots). On peut assimiler ces types d'extraits à des fenêtres de 50, 200 , 1000, ... octets.
Personnes chargées de la tâche : Amit Singhal (singhal@research.att.com) ou Tomek Strzalkowski (strzalkowski@crd.ge.com).

3.2.6 Spoken Document Retrieval Track

Cette tâche ad hoc étudie la capacité des systèmes de recherche d'informations à retrouver des documents sonores (textes parlés). Il s'agit de comparer l'efficacité de leurs systèmes sur des transcriptions de journaux télévisés ; ces transcriptions étant obtenues manuellement, par un système basique de reconnaissance de la parole ou, optionnellement, par leur propre système de reconnaissance.
Personne chargée de la tâche : John Garofolo (john.garofolo@nist.gov).

3.2.7 Web Track

Une nouvelle tâche ad-hoc dans laquelle les documents sont un ensemble représentatif de documents issus du World Wide Web. Une première tâche propose, sur approximativement 2 GO de documents Web, d'étudier l'impact de l'utilisation des liens hypertextes sur les performances de la recherche d'informations. Une base de 100 GO de documents Web est également mise à disposition, pour les participants qui souhaiteraient compléter leurs investigations.
Personne chargée de la tâche : D. Hawking (CSIRO, Canberra, Australie).