Maîtrise d'informatique - Module 11 Vision par ordinateur - Cours Chapitre 4 : 1. Cas général de la stéréovision. 2. Le calibrage. 3. L'appariement. 4. La triangulation. 5. Deux exemples.

Dans le chapitre 3, nous nous sommes placés dans un cas de stéréovision élémentaire. Nous allons reprendre différents points du chapitre 3, et donner leur généralisation. Nous conclurons en donnant quelques exemples de stéréovision utilisés dans le milieu industriel.

1. Cas général de la stéréovision.

1.1. Description du montage général.

On souhaite connaître Z pour chaque point de la scène, éclairé et visible sur ces deux images numériques stéréoscopiques.

Il y a en général deux caméras distinctes. Les repères des caméras ne sont pas liés au repère OXYZ. Pour passer de OXYZ à O^gx^gy^gz^g, ou à O^dx^dy^dz^d, il faut donc effectuer :

• Une translation

• Une rotation dans R³ (définie par 3 angles) :

1.2. Correspondance entre points objets et pixels d'une image.

On suppose que les images sont nettes.

À ce niveau, on a fait dans le chapitre 3 l'hypothèse simplificatrice suivante :

• Homothétie de rapport et de centre O ;
• Projection sur le plan du récepteur.

Cette hypothèse est fausse. En fait, il s'agit d'une projection perspective et non, comme on l'avait supposé, d'une projection orthogonale.

1.2.a. Centre optique d'une caméra.

C'est équivalent à :

1.2.b. Projection perspective.

Pour trouver le pixel I correspondant à un point objet P, on prend l'intersection de la droite PN avec un plan obtenu par translation de D le long de l'axe optique du plan de la rétine.

On appelle pour cette raison N (point nodal objet) le centre optique de la caméra, noté C.

Cette transformation est appelée projection perspective. Une propriété élémentaire de la projection perspective est qu'entre deux segments identiques, le segment le plus proche de la caméra a une image plus grande :

Exemple d'un cube :

Les propriétés de la projection perspective (exemple : point de fuite) sont nombreuses et compliquées. Nous n'en parlerons pas dans ce cours (voir un cours de DEA sur la "géométrie projective").

1.2.c. Discrétisation.

De manière générale, un pixel a une forme plus ou moins rectangulaire :

L'éclairement reçu par le pixel vaut :

Le niveau de gris E_i,j du pixel vaut: E_i,j = f(), f croissante.

2. Le calibrage.

2.1. Relation mathématique entre points objets et pixels.

On s'intéresse par exemple à l'image gauche.

2.1.a. Translation + rotation.

               (4.1)

Il faut connaître 6 paramètres (3 angles pour la matrice M, 3 coordonnées pour le vecteur  ), appelés "paramètres extrinsèques" de la caméra.

2.1.b. Projection perspective.

Les expressions de x_I et de y_I en fonction de x, y et z sont les suivantes :

(4.2)



(4.3)

2.1.c. Discrétisation.

Si O correspond à (i₀, j₀), alors I correspond à (i, j) tel que :

(4.4)

(4.5)

Problème :

Les formules (4.4) et (4.5) ne sont pas linéaires en x, y et z, contrairement à (4.1). La projection perspective n'est donc pas linéaire, contrairement à la projection orthogonale.

Astuce :

On utilise de nouvelles coordonnées, appelées "coordonnées projectives", définies par :

      (4.6)


      (4.7)


      (4.8)

Remarques :

• Ces définitions sont linéaires en x, y, z.

• 6 paramètres intrinsèques

2.1.d. Conclusion : matrice perspective.

Grâce aux calculs précédents :

où N est une matrice 3 x 3.

On l'écrit plutôt :

                    (4.9)

où T est une matrice à 3 lignes et 4 colonnes, appelée "matrice perspective" de la caméra. Ses 12 coefficients dépendent des 12 paramètres de la caméra :

• 6 paramètres extrinsèques ;

• 6 paramètres intrinsèques.

Par ailleurs :

                     (4.10)

                    (4.11)

Remarque :

donc on obtient le même couple (i,j).

Cela signifie que T est déterminable à un facteur près. On peut fixer un coefficient à 1 :

Il ne reste que 11 coefficients inconnus, dépendant des 12 paramètres de la caméra.

• la contrainte d'unicité ;

• la contrainte de seuil ;

• et parfois la contrainte d'ordre.

3.2. Appariement dense et appariement non dense.

Lors des séances de TP :

Grâce à la texture, il est possible d'effectuer un appariement dense. En revanche, si l'image n'est pas texturée, ce quotient peut être très faible.

Exemple :

Entre ces deux images, on peut mettre en correspondance :

• Les angles A1, A2, A3, A4, A5, A6.

• Les arêtes A1A2, A1A3, A2A4, A3A4, A1A5, A2A6, A5A6.

L'appariement réalisé est un appariement non dense.

En général, on apparie les contours, les arêtes, les angles, lorsqu'on fait de l'appariement non dense.

La tendance actuelle est d'effectuer plutôt de l'appariement dense, car les performances des calculateurs ne cessent d'augmenter.

4. La triangulation.

On a les relations suivantes :

         (4.12)

       (4.13)

On sait qu'un point P =correspond à cette paire de pixels, en coordonnées projectives. On veut connaître X, Y et Z.

Le système composé des équations (4.12) et (4.13) a une solution et une seule : P, le point cherché. L'expression mathématique des coordonnées de P est un peu complexe, et nous ne la donnerons pas ici.

Dans le prochain paragraphe, nous allons citer deux exemples de stéréovision provenant du milieu industriel.

5. Deux exemples.

5.1. Robot mobile.

5.1.a. Description.

Le robot doit connaître le relief de son environnement pour pouvoir s'y déplacer.

5.1.b. Difficulté.

Lorsque le robot se déplace, les paramètres extrinsèques sont modifiés, et il faut les recalculer à chaque déplacement :

• Soit on met des balises dans la scène.

• Soit on mesure les déplacements au niveau des roues.

Exemple :

Les robots du LAAS (Laboratoire d'Automatique et d'Analyse des Systèmes).

5.2. Images satellitaires.

5.2.a. Description.

5.2.b. Difficultés.

Entre les deux images, des nuages peuvent apparaître.

Plus gênant : entre les deux prises de vue, tout se passe comme si les sources lumineuses avaient également bougé, ce qui rend l'appariement délicat.

Exemple :

À partir des images SPOT, on peut calculer des cartes d'altitude, appelées aussi MNT (Modèles Numériques de Terrain).