Le concept de réplicabilité au Symposium on Geometry Processing 2022
Dans le cadre de la Graduate School du Eurographics Symposium on Geometry Processing (SGP), Nicolas Mellado, Chargé de recherche CNRS au département SI – équipe STORM, est intervenu sur le concept de réplicabilité en informatique graphique. Dans l’interview qu’il nous a accordé, Nicolas Mellado nous présente les avantages de la réplicabilité dans la recherche. Il nous explique comment elle affecte le travail des chercheurs, la visibilité des résultats de la recherche et l’impact sur leur diffusion. Cette présentation fait suite à l’article Code Replicability in Computer Graphics, co-écrit avec Nicolas Bonneel, David Coeurjolly, Julie Digne (CNRS, LIRIS Lyon), publié à ACM Transactions on Graphics en 2020, et au développement de la plate-forme https://replicability.graphics.
Pourriez-vous définir le concept de reproductibilité ?
Plusieurs définitions co-existent pour les termes de reproductibilité, réplicabilité et répétabilité. Dans le cadre de nos travaux, nous suivons la définition de l’Association for Computing Machinery (ACM), qui définit les termes comme suit :
- répétabilité : les auteurs d’un article sont capables de dupliquer leurs propres résultats,
- réplicabilité : d’autres chercheurs sont capables de dupliquer les résultats en utilisant les artefacts (par exemple le code) fournis par les auteurs,
- reproductibilité : d’autres chercheurs sont capables de dupliquer les résultats en utilisant leurs propres artefacts
Dans le cadre de nos travaux, nous nous intéressons à la réplicabilité, qui peut s’évaluer dans nos domaines en fonction de la disponibilité des codes sources, et la facilité d’utilisation de ces codes pour reproduire les résultats de recherche.
Quels avantages la réplicabilité apporte-t-elle à la recherche en informatique graphique ?
Les avantages sont multiples. Pour les auteurs, cela permet d’augmenter la visibilité des travaux, avec un impact positif sur la réutilisation et le taux de citation (ceci n’est pas propre à l’Informatique Graphique et est documenté dans d’autres domaines). Pour les autres chercheurs, cela facilite la mise en place de comparaisons expérimentales. Cela permet de valider les méthodes dans d’autre contextes, ou au contraire, d’en détecter des limitations, voir découvrir des bugs. Cela augmente également la « transparence » des méthodes publiées, l’implémentation nécessitant parfois de petits ajustements pas toujours mentionnés dans les articles. Pour la communauté, cela permet de mettre à disposition des ensembles de code facilitant l’appropriation des méthodes développées auprès d’autres chercheurs, des entreprises et du grand public.
Quels sont les enjeux liés à ce domaine de recherche ?
On peut distinguer trois types d’enjeux sur les sujets suivants :
- évaluer la réplicabilité
- favoriser la réplicabilité
- produire des articles réplicables
Pour être réplicable, un article doit être accompagné d’artefacts, qui peuvent être utilisés par d’autres personnes pour reproduire les résultats. Répliquer un article est donc une expérience, qui implique des compétences et actions d’autres chercheurs. Évaluer systématiquement cette expérience est une tache complexe et chronophage. Dans le cadre de nos travaux, nous avons suivi une approche collaborative, où chaque personne essayant de répliquer un article peut partager son retour d’expérience, et noter la réplicabilité selon plusieurs critères, sur la plate-forme https://replicability.graphics. La principale difficulté que nous rencontrons actuellement est le maintien d’une dynamique collaborative pour l’analyse des nouvelles publications.
Nos travaux démontrent qu’une augmentation de la réplicabilité a un impact très favorable sur la recherche. De ce fait, nous avons exploré plusieurs pistes permettant d’augmenter le nombre d’articles réplicables. Nous présentons des recommendations pour les auteurs, les program chairs (conférences ou journaux) et les éditeurs scientifiques. Ces recommendations doivent être acceptées à l’échelle communautaire pour pouvoir avoir l’impact le plus important possible. Outre la charge de travail, le principal frein à la réplicabilité est lié à la gestion de la propriété intellectuelle des codes produits lors du processus de recherche, notamment lorsque des partenaires industriels sont impliqués. L’utilisation de très lourdes infrastructures (clusters de calculs) peut également limiter les capacités de réplication des résultats.
La production d’artefacts permettant de répliquer des travaux est une tâche qui peut s’avérer complexe et technique : gestion des dépendances (installation, gestion des versions), évolution des langages, des frameworks et du matériel, support des différents systèmes d’exploitation, etc. Dans notre présentation à la Graduate School SGP, nous présentons plusieurs conseils permettant d’anticiper ces problèmes, et de faciliter le développements de codes portables et pérennes.