Maîtrise d'informatique - Module 11 Vision par ordinateur - Travaux pratiques Séance 3 : 1. Introduction. 2. Détermination de la matrice H. 3. Réalisation de la mosaïque.

1. Introduction.

Le but de cette troisième et dernière séance de travaux pratiques est d'illustrer le chapitre 4 du cours, dans le cas particulier où le centre optique de la caméra subit un déplacement nul entre les deux prises de vue (cas 1 : mouvement panoramique de la caméra par rotation autour du centre optique). On peut montrer que ce cas de figure ne permet pas de déterminer le relief de la scène. En revanche, son intérêt essentiel est la possibilité de réaliser des "mosaïques d'images". Vous allez réaliser une telle mosaïque, à partir des deux images stéréoscopiques suivantes :

A partir de ces deux images, de taille 312 x 416, le but est de produire une image de taille 385 x 741, dans laquelle l'image gauche sera étendue, sur sa droite, par des pixels provenant de la projection perspective de pixels de l'image droite sur la rétine gauche.

Le travail va se dérouler en deux étapes :

• Dans un premier temps, vous allez calculer la matrice H = ARA^-1, de taille 3 x 3, donnant la relation entre un pixel I^g de l'image gauche et un pixel I^d de l'image droite correspondant à un même point physique.
  
  
• Ensuite, vous utiliserez cette matrice H pour déterminer les coordonnées (u^g,v^g), sur la rétine gauche, des pixels correspondant à des points physiques visibles sur l'image droite, mais pas sur l'image gauche.

2. Détermination de la matrice H.

Il a été vu en cours (chapitre 4) que la relation entre le triplet des coordonnées homogènes m_I^g d'un pixel de l'image gauche et les coordonnées (u_I^g,v_I^g) du pixel de l'image droite qui correspond au même point physique, dans le cas où le centre optique de la caméra est fixe (cas 1), s'écrit :

         (1)

         (2)

expressions dans lesquelles les numérateurs et les dénominateurs des membres droits sont des produits matriciels, c'est-à-dire que l'on peut réécrire ces relations sous la forme suivante :

             (3)

             (4)

La détermination de la matrice H revient donc à la détermination des 9 coefficients H₁₁, H₁₂, H₁₃, H₂₁, H₂₂, H₂₃, H₃₁, H₃₂ et H₃₃. Or on a vu en cours que l'un de ces coefficients pouvait être pris arbitrairement égal à 1 (sauf si ce coefficient est nul). Nous choisissons de fixer le coefficient H₃₃ à 1. Il reste à déterminer les 8 autres coefficients. Or, en réécrivant (3) et (4), on voit que la connaissance d'une paire de pixels I^g = (u_I^g,v_I^g) et I^d = (u_I^d,v_I^d) donne les deux équations linéaires suivantes entre les 8 coefficients inconnus :

                (5)

                (6)

Si on dispose de 4 paires de pixels, on voit que la détermination des 8 coefficients cherchés revient à la résolution d'un système de 8 équations linéaires à 8 inconnues. Ce système peut être écrit sous la forme matricielle suivante :

M X= B               (7)

où B est un vecteur dont les 8 coordonnées sont les seconds membres d'équations du type (5) ou (6), X est un vecteur dont les 8 coordonnées sont les 8 inconnues H₁₁, H₁₂, H₁₃, H₂₁, H₂₂, H₂₃, H₃₁ et H₃₂, et M est une matrice 8 x 8 dont les éléments sont les coefficients de ces inconnues dans des équations du type (5) ou(6).

1- A l'aide de Khoros, visualisez les images contenues dans les fichiers de noms points_ref_gauche.ras et points_ref_droite.ras (format "Sun"), situées dans le répertoire ../TESTS. Ces images n'étant pas au format "brut" mais au format "Sun", il faut, pour les visualiser, utiliser la chaîne constituée des deux "glyphs" suivants :

Input/Output -> Data Files -> User Defined

Visualization -> Non-Interactive Image Display -> Display Image

Sur chaque image apparaissent 4 croix de 4 couleurs différentes. Les centres de ces croix, dont le niveau de gris a été mis à la valeur 1, désignent des pixels formant des paires. A l'aide de la souris, repérez les coordonnées image de ces différents pixels. Si vous éprouvez des difficultés à viser la position précise des centres des croix de couleurs, vous pouvez utiliser le zoom du "glyph" que vous aviez déjà utilisé lors de la première séance de travaux pratiques, de chemin d'accès :

Visualization -> Interactive Image Display -> Edit Image

Attention :

Sous Khoros, les coordonnées d'un pixel apparaissent sous la forme (colonne,ligne).

2- Écrivez un programme C qui réalise les tâches suivantes :

• Définition de la constante N=8, et déclaration des tableaux double H[3][3], double p_gauche[N/2][2] et double p_droite[N/2][2].
  
  
• Initialisation des tableaux p_gauche et p_droite aux valeurs relevées précédemment à la souris (convertir ces valeurs en flottants).
  
  
• Appel de la fonction calcul_H (voir ci-après) et affichage des coefficients de la matrice H.

3- Écrivez la fonction C d'en-tête :

void calcul_H(double p_gauche[N/2][2],double p_droite[N/2][2],double H[3][3])

qui réalise les tâches suivantes :

• Déclaration locale des tableaux double M[N][N], double X[N] et double B[N].

• Initialisation des tableaux M et B correspondant à la matrice M et au vecteur B de l'équation (7).

• Calcul des valeurs du vecteur X par la multiplication suivante, issue de (7) :

X = M^-1B              (8)

grâce à l'appel de la fonction d'en-tête :

int calcul_X(double M[N][N],double B[N],double X[N])

qui renvoie 1 dans le cas normal, et 0 dans le cas où le déterminant de la matrice M est nul. Vous écrirez au début de votre programme la directive suivante :

extern int calcul_X(double [N][N],double [N],double [N]);

Lors de l'édition de liens, vous rajouterez le nom du fichier outils_tp3.o, situé dans le répertoire ../AIDES, dans la liste des fichiers objets :

gcc -ansi -pedantic -Wall -Werror ../AIDES/outils_tp3.o tp3.c -o tp3 -lm

Remarque :

La fonction calcul_X a été écrite en suivant l'algorithme très classique "du pivot de Gauss".

• Affectation des différentes valeurs du vecteur X aux différentes cases de la matrice H, suivant l'ordre cité plus haut.

Avant de passer à la suite du TP, veuillez faire vérifier par l'enseignant les valeurs que vous avez trouvées pour les 9 coefficients de la matrice H.

3. Réalisation de la mosaïque.

Vous allez maintenant réaliser la mosaïque, en procédant de la manière suivante :

• Dans un premier temps, vous allez insérer l'image gauche dans une image de taille 385 x 741, appelée "image résultat", complétée par des pixels noirs (c'est-à-dire de niveau de gris nul), et vous allez visualiser cette nouvelle image.
  
  
• Ensuite, vous rajouterez dans l'image résultat les pixels correspondant à des points physiques visibles sur l'image droite mais pas sur l'image gauche, en utilisant la matrice H calculée dans le paragraphe précédent.
  
  

3.1. Initialisation de l'image résultat.

Vous allez modifier pas à pas le programme C du paragraphe précédent.

1- La paire d'images stéréoscopiques de départ est constituée d'images de taille 312 x 416, stockées dans les fichiers image_gauche.brt et image_droite.brt, de format "brut" (c'est-à-dire composés de valeurs de type unsigned char, sans en-tête), et situés dans le répertoire ../TESTS

Définissez les constantes LIGNES=312 et COLONNES=416

Déclarez les tableaux unsigned char E_gauche[LIGNES][COLONNES] et unsigned char E_droite[LIGNES][COLONNES].

Écrivez la fonction d'en-tête :

void lire_image(char *nom_fichier,unsigned char E[LIGNES][COLONNES])

qui affecte au tableau E les valeurs contenues dans le fichier de nom nom_fichier.

2- L'image résultat sera de taille 385 x 741 et sera stockée dans le fichier "brut" de nom image_resultat.brt.

Définissez les constantes LIGNES_RES=385 et COLONNES_RES=741

Déclarez le tableau unsigned char E_resultat[LIGNES_RES][COLONNES_RES].

Écrivez la fonction d'en-tête :

void ecrire_image(char *nom_fichier,unsigned char E[LIGNES_RES][COLONNES_RES])

qui écrit le fichier de nom nom_fichier avec les valeurs du tableau E.

3- Dans l'image résultat, les pixels de l'image gauche subissent un décalage, de sorte que le niveau de gris E_gauche[0][0] sera recopié dans la case E_resultat[21][0].

Définissez la constante DECA_LIGNES=21

Écrivez la fonction d'en-tête :

void init_resultat(unsigned char E_gauche[LIGNES][COLONNES],unsigned char E_resultat[LIGNES_RES][COLONNES_RES])

qui initialise le tableau E_resultat aux valeurs du tableau E_gauche pour les pixels correspondant à l'image gauche, avec le décalage décrit ci-dessus, et à la valeur 0 pour tous les autres pixels.

4- Modifiez le programme principal, de manière à :

• lire les fichiers image_gauche.brt et image_droite.brt ;
  
  
• initialiser le tableau E_resultat ;
  
  
• écrire le fichier image_resultat.brt.

Visualisez ce fichier à l'aide de Khoros, et faites valider l'image obtenue par l'enseignant, avant de passer à la suite du TP.

3.2. Rajout de la partie non visible sur l'image gauche.

1- Écrivez la fonction d'en-tête :

void correspondance(double H[3][3],int ug,int vg,double *ud,double *vd)

qui calcule, pour un pixel de l'image gauche, de coordonnées image gauche(ug,vg), les coordonnées image droite(ud,vd) du pixel de l'image droite qui correspond au même point physique, grâce aux formules (3) et (4) citées plus haut. Les coordonnées ud et vd sont nécessairement flottantes, puisque le tableau H est composé de valeurs flottantes et que (3) et (4) font apparaître des fractions.

Testez cette fonction pour les 4 pixels de l'image gauche situés aux centres des 4 croix de couleurs, qui vous ont servi pour le calcul de la matrice H. Vérifiez que les valeurs de ud et vd retournées correspondent aux 4 pixels de l'image droite situés aux centres des croix de couleurs.

2- Écrivez la fonction d'en-tête :

void mosaique(double H[3][3],unsigned char E_droite[LIGNES][COLONNES],unsigned char E_resultat[LIGNES_RES][COLONNES_RES])

qui rajoute sur l'image résultat les pixels correspondant à des points non visibles sur l'image gauche, mais visibles sur l'image droite, selon l'algorithme suivant :

• Pour tout pixel de l'image résultat, on cherche s'il correspond ou non à un point physique visible sur l'image gauche.

Attention :

Un pixel de l'image résultat de niveau de gris nul peut néanmoins correspondre à un point physique visible sur l'image gauche !

• Si un pixel ne correspond pas à un point physique visible sur l'image gauche, alors on calcule ses coordonnées image droite ud et vd grâce à la fonction correspondance.

• Si ces coordonnées sont celles d'un pixel se trouvant à l'intérieur de l'image droite, alors le pixel de départ de l'image résultat reçoit, comme nouveau niveau de gris, le niveau de gris du pixel de l'image droite le plus proche de (ud,vd), puisque ud et vd ne sont pas entiers en général.

3- Modifiez le programme principal, de manière à rajouter ces pixels. Visualisez la nouvelle image résultat. Quel est selon vous le principal défaut de cette "mosaïque" ? Comment pourrait-on y remédier ?