Présentation
La première tâche proposée ici est une adaptation au français de la tâche SemEval 2007 « Lexical substitution », telle qu'elle est présentée dans McCarthy & Navigli (2010). Etant donné un mot-cible dans une phrase complète, il s'agit de proposer une (ou plusieurs) unités de substitution qui n'altèrent pas le sens global de l'énoncé. Le choix du substitut est libre et sera confronté aux réponses fournies par des annotateurs humains.
Par exemple, si l'on considère le mot « feu » dans la phrase :
Le policier a été surpris par les feux nourris d'un
groupuscule terroriste.
Un substitut envisageable serait
« tirs ».
Par contre, dans la phrase :
On y voit aussi comment sont
organisés les pompiers forestiers, qui contrôlent les départs
de feux de forêts .
Le mot « incendies » serait plus
adapté.
Nous proposons aux participants d'appliquer une méthode automatique de substitution lexicale à un jeu d'évaluation qui comporte 30 unités lexicales (10 noms, 10 verbes et 10 adjectifs). Pour chaque mot, 10 phrases différentes sont proposées (soit un total de 300 phrases). Pour chaque phrase, les participants peuvent proposer jusqu'à 10 mots de substitution, par ordre décroissant de préférence.
Les phrases ayant été sélectionnées dans le corpus FRWAC, nous encourageons les participants à l'utiliser comme corpus d'apprentissage pour une méthode distributionnelle. Ce corpus de 1,6 milliards de mots a été construit par moissonnage automatique du Web (domaine .fr) suivant la méthode décrite dans Baroni et al. (2009). Il est disponible gratuitement sur demande à l'adresse suivante : http://wacky.sslmit.unibo.it.
Les participants peuvent utiliser d'autres ressources, mais celles-ci devront être indiquées lors de la soumission des résultats.
Données d'essai
Les données d'essai se composent d'un ensemble de 100 phrases portant sur 10 noms. Elles peuvent être téléchargées à l'adresse http://timvandecruys.be/media/software/lexsub_fr.tar.gz. Ces données ont été développées par Van de Cruys et al. (2011), et ont bénéficié d'une annotation manuelle.
Données d'évaluation
Les données de test sont disponibles sous le lien suivant : lexsubfr_semdis_test.tar.gz
Evaluation
L'évaluation des soumissions reposera sur une comparaison avec les réponses fournies par les annotateurs. Plus précisement, nous utiliserons les mêmes mesures que la tâche SemEval 2007 « Lexical substitution », à savoir les deux mesures "best" et "oot" (out of ten).
- best : le système est évalué par rapport à une seule substitution (la meilleure proposition du système). Le meilleur score est obtenu en proposant le substitut qui est choisi majoritairement par les annotateurs.
- oot (out of ten) : le système donne jusqu'à 10 propositions, et le score calculé correspond au nombre de réponses des annotateurs couvertes par ces propositions. Il n'y a donc aucune pénalité à ajouter des propositions (dans la limite de 10). Ce score permet de mieux prendre en compte la dispersion des réponses des annotateurs.
Une description détaillée des mesures peut être trouvée dans McCarthy & Navigli (2009).
Le script d'évaluation (ainsi que le gold standard et le baseline) est téléchargeable sous le lien suivant : semdis2014_evaluation.tar.gz.
Format de soumission
Les participants doivent soumettre un fichier qui contient, pour
chaque instance, jusqu'à 10 propositions. La meilleure proposition
doit être donnée en premier. Le format est le suivant :
pièce.n
63 :: oeuvre ; sculpture ; photographie ; peinture ; tableau ;
aquarelle ; dessin ; gouache ; portrait ; tôile
Le fichier sera alors évalué par rapport aux deux mesures décrites ci-dessus. La mesure "best" tient compte du premier mot de la liste ; la mesure "oot" prend en compte tous les mots proposés.
Les substituts à produire doivent être des formes lemmatisées. La liste ne peut pas contenir de doublons. Les annotateurs ont été invités à favoriser des mots simples (non composés) dans leurs réponses.
Les soumissions des résultats seront à déposer avant la date limite en utilisant l'interface de dépôt. Le fichier doit être soumis impérativement sous un des formats acceptés: .txt, .zip, .tar, .tar.gz. Nous autorisons jusqu'à 5 soumissions par participant.
Lors de l'atelier, les participants devront exposer la méthode qu'ils ont utilisée. Ils devront également rédiger un article qui sera publié dans les actes (voir calendrier).
Calendrier
Consultez les dates importantes.
Contact
Pour toute question concernant cette tâche, merci de contacter semdis2014@gmail.com.
Références
Baroni, Marco, et al. "The WaCky wide web: a collection of very large linguistically processed web-crawled corpora." Language resources and evaluation 43.3 (2009): 209-226.
McCarthy, Diana, and Roberto Navigli. "The English lexical substitution task." Language resources and evaluation 43.2 (2009): 139-159.
Van de Cruys, Tim, Thierry Poibeau, and Anna Korhonen. "Latent vector weighting for word meaning in context." Proceedings of the Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 2011.
ADDENDUM
Une nouvelle version étendue du gold standard est disponible ici.