Dans ce type d'applications, une étape importante et délicate réside dans le suivi des joueurs. Il s'agit de repérer sur les images de la séquence la position de chaque joueur, puis de faire une mise en correspondance temporelle. Les principales difficultés qui apparaissent sont :
Dans ce contexte, les objectifs de ce travail de DEA ont été de réaliser une recherche bibliographique sur les méthodes de suivi, puis d'évaluer et d'adapter un certain nombre de ces méthodes aux conditions spécifiques des images d'activités sportives. Une version Postscript de mon rapport de DEA est téléchargeable (11 Mo).
La méthode que nous avons utilisée pour suivre les joueurs est la procédure de suivi par Mean Shift. La procédure Mean Shift est une procédure itérative de recherche de maximum local dans un espace Rd, proposée par Fukunaga en 1975. Son utilisation pour le suivi d'objets déformables a été proposée par Comaniciu en 2000. Il recherche la position de l'objet à suivre dans les différentes images, à partir du coefficient de Bhattacharyya, qui est un coefficient dérivé de l'erreur bayésienne, pour mesurer la similarité entre les distributions de couleurs d'un modèle de l'objet et de certaines régions de l'image.
Cette approche permet le suivi de joueurs en présence d'occultations partielles, de déformations et de mouvements de caméras, mais nécessite une initialisation manuelle. Dans le cadre du DEA, nous proposons une approche pour détecter automatiquement tous les joueurs présents dans l'image en début de séquence.
Suivi de joueurs de tennis (cliquez sur la photo pour visualiser la séquence) :
Suivi d'un joueur dans une séquence d'images de football (cliquez sur la photo pour visualiser la séquence) :
À partir d'une image de la séquence et d'un modèle de joueur, une image représentant la répartition des pixels les plus probables est calculée.
Notre approche consiste à considérer cette image comme un nuage de points, puis d'utiliser la procédure Mean Shift pour trouver tous les modes (maxima de la fonction de densité), qui correspondent aux positions de tous les joueurs. À partir des modèles des joueurs des deux équipes on obtient les résultats suivants :
