Génération de cartes de disparité denses à partir d’images panoramiques cylindriques haute définition

dans le guidage de robots ou la télésurveillance. Mais leur faible définition les empêchent définitivement d’obtenir des reconstructions précises. Cependant, de nombreux chercheurs appliquent à présent l’ensemble de la théorie développée dans le cadre des cameras classiques aux capteurs panoramiques [11]

caméra utilisée est une Jai CV L-103, barrette linéaire de 2048 pixels qui délivre des images RGB à un débit maximal de 2400 images par seconde, ce qui est largement plus que nécessaire. Elle est couplée à une Coreco Pc DIG comme carte d’acquisition et l’objectif choisi est un Nikon F-Or 28/80 mm, généralement réglé sur 28 mm. La fréquence du signal envoyé par le moteur conditionne la durée d’intégration de la barrette Tri-CCD ; il est donc choisi en fonction des conditions expérimentales d’acquisition. La barrette est mise en rotation selon un axe passant par son centre focal, qu’il faut donc déterminer. Un procédé optique particulièrement simple dans sa mise en oeuvre a été développé. Cette méthode est très précise et permet de placer le centre optique de la caméra sur l’axe de rotation du capteur , et ainsi de connaître le rayon du cylindre image.

3

Détection, appariement

2 Présentation du capteur

Le capteur développé est basé sur l’utilisation d’une caméra linéaire Tri-CCD de 2048 pixels, mise en rotation sur un axe vertical par un moteur à courant continu. Celui-ci envoie régulièrement, typiquement tous les dixièmes de degré, un signal à la caméra déclenchant l’acquisition d’une colonne. En concaténant les colonnes acquises au cours d’une rotation complète, on obtient une image panoramique RGB au format 2048*3600.La

L’ensemble de l’algorithme est réalisé sur la base d’une collection de points d’intérêt correctement appariés. Leur détection repose sur la sélection des maxima locaux d’une mesure caractéristique de la courbure locale du champs de gradient [2]. Cette mesure consiste à calculer les moyennes pondérées des produits vectoriels entre les vecteurs gradient au point considéré avec ses voisins, une mesure maximisée au niveau des coins.

Ñ

¾Î

Å Ö ´È µ Ö ´È µ

­­­

­­­

¾

(1)

où est le point considéré, est le voisinage de , et correspond au coefficient d’un masque de pondération. La mesure normalisée obtenue est donnée par :

È

Î

È

Å

4

Détermination de la SFM et contrainte épipolaire

Á ¾ Á ¾ ·Á ¾ Á ¾ ¾Á Á Á¾ · Á¾

Ü Ý Ý Ü Ü Ý

Ü Ý

ÁÁ

Ü Ý

(2)

µ et Ý sont les dérivées partielles de l’image ´ symbolise le produit de convolution par un masque de voisinage. Afin d’apparier ces points de manière robuste, le signal couleur au voisinage de chacun de ces points est caractérisé à l’aide des moments de Zernike. Une normalisation adéquate de ces moments permet d’obtenir une signature présentant une invariance tant géométrique ( invariance aux transformations du groupe des similitudes, quasi invariant du groupe des transformations projectives) que radiométriques (pour des transformations localement affine sur chaque bande du signal couleur) [1],[3]. L’appariement est essentiellement basé sur le seuillage et le classement des distances de Mahalanobis entre les vecteurs de caractéristiques. La matrice de covariance requise est calculée à partir d’un jeu adéquat de points d’intérêt. L’ensemble du processus inclut une condition de localité : deux points sont appariés si un nombre nécessaire de leurs plus proches voisins image sont suffisamment proches dans l’espace des caractéristiques. La figure 1 montre le résultat d’un tel appariement sur un détail des deux images panoramiques.

où

Ü

850

Á et Á

Á ÜÝ

Le problème initial, posé par Faugeras et Maybank [5], est de déterminer le déplacement rigide entre deux vues perspectives d’une même scène, afin d’estimer une reconstruction de cette scène. Cet article pose les bases du problème de Structure From Motion (SFM) et introduit pour la première fois la matrice essentielle E, comme contrainte fondamentale dans l’étude des couples d’images stéréo. Cette matrice encode la contrainte de coplanarité (la contrainte épipolaire) inhérente à la projection sur deux plans image différents. d’un même point physique Les points ½ et ¾ , images de doivent vérifier l’équation :

Å Å

Šž Ž ¼

Ì

Å

(3)

Exprimée en coordonnées pixelliques, la matrice devient la matrice fondamentale , qui exprime évidemment la même contrainte mais dans le cadre d’images non calibrées. Beaucoup de chercheurs se sont concentrés sur les algorithmes de détermination robuste de la matrice et une étude très complète peut être trouvée dans [12]. Cependant, l’ensemble de ces travaux s’appliquent aux caméras classiques et une adaptation aux procédés panoramiques s’effectue progressivement. Dans [4], Chang et Hebert proposent une implémentation de la SFM dans le cadre de capteurs catadioptriques calibrés. S’appuyant sur la même démarche, notre approche s’applique au capteur cylindrique: les images sont calibrées, ce qui signifie que la focale Ú (exprimée en pixels) et la position de la projection du centre optique ¼ sur la barrette sont connues. Les appariés nous renvoient coordonnées de points image , alors des positions physiques métriques sur les deux cylindres image dans leur propre repère via la transformation :

Ã

Ú

Ù Ú Å

Å

900

Ü Ã Ó×´Ã Ù µ Ý Ã × Ò´Ã Ù µ Þ Ú¼ Ú

Ú Ù Ú Ù

(4)

950

Ces couples de points doivent vérifier la contrainte 3, que l’on peut linéariser puis résoudre en première approximation par Direct Linear Transform (DLT).

1000

4.1 DLT

1050 1560 1570 1580 1590 1600 1610 1620 1630 1640 1650 1660 850

Chaque couple de points vérifiant l’équation 3 fournit une contrainte linéaire de la forme :

900

Í

où : –

¼

(5)

950

1000

1050 1550 1560 1570 1580 1590 1600 1610 1620 1630 1640

F IG . 1: Un couple d’ ”imagettes” appariées Cependant, compte tenu de la géométrie particulière du capteur (projection cylindrique), un fort taux de faux positifs ( 20% ) reste à éliminer.

est un vecteur ligne à 9 coordonnées, produit tensoriel des points ½ et ¾. – correspond aux 9 éléments de la matrice essentielle réorganisés en un vecteur colonne. En concaténant tous les vecteurs relatifs à tous les couples, on obtient une matrice qui vérifie

Í

Å

Å

Í

Í

Í

¼

Pour un nombre de couples supérieur à 8, le système est surdéterminé [7] et se résout en choisissant le vecteur singulier associé à la plus petite valeur singulière de [12].

Í

Cependant, cette méthode est très sensible au bruit et une détection des points mal appariés durant la première phase s’avère nécessaire. On peut alors introduire des critères de différentes natures (algébriques et géométriques) permettant une pondéraissus de points mal tion qui tend à annuler l’influence des appariés.

Í

[7]