CapRe localise d'abord le visage, les narines et les yeux afin de les suivre. Durant le suivi, il met à jour les paramètres de reconnaissance dans le but de s'adapter aux variations géométriques et photométriques des formes des composantes du visage. Ensuite, CapRe évalue l'orientation de la tête ainsi que celle des yeux pour en déterminer le vecteur de la direction du regard (Fig. 3).
Nous avons réalisé un corpus de 40 films vidéo (15 000 images) représentant 32 personnes différentes assises en face de l'écran (Fig. 4). La durée de chaque film est d'environ 1 minute. Utilisant ce corpus, une évaluation (Table 1) du système a été entreprise pour les trois premières phases (dans le cas de l'état d'initialisation et dans ceux de l'initialisation et l'adaptation conjointement). Nous estimons que la localisation du visage est défaillante lorsque le cadre détecté n'englobe pas le nez et les deux yeux. Pour la localisation du nez ou des yeux, une erreur est prise en compte quand la distance entre cette localisation et la localisation réelle dépasse 5 millimètres. Dans le Table 1, nous représentons les résultats de la localisation de la pupille aussi bien pour toutes les personnes du corpus que pour seulement celles qui ne portent pas de lunettes. Une grande partie des erreurs survenant pour les personnes portant des lunettes sont dues la réflexion de la lumière sur les verres de lunette.
Pour montrer l'intérêt de CapRe, nous allons augmenter certaines applications multimodales du LIMSI (Meditor, Mix3D et ARGo) par l'introduction de cet outil de perception visuelle. Nous projetons d'autre part d'utiliser CapRe comme outil de mesure de la direction et des mouvements du regard dans des expérimentations cognitives. Ceci dans le but d'analyser les différentes stratégies utilisées par une personne qui travaillerait sur une tâche particulière ou qui navigueraît sur le Web.
