Reference De Communication

'application 2D. Le scénario collaboratif rassemble, dans un même espace virtuel, l'objet de partage (l'application d'interface 2D) et les avatars représentant les participants.

2.1

Interface hybride 2D+3D

1

Introduction

Dans le partage d'applications à distance, la perception des actions individuelles et la communication gestuelle entre participants sont souvent limitées. La vidéo peut fournir un support pour la communication gestuelle, au prix d'une charge réseau importante et d'une interface complexe qui nécessite une fenêtre par utilisateur [1]. Des environnements de réalité virtuelle proposent d’améliorer cette perception en représentant chaque utilisateur par un objet virtuel appelé avatar. Habituellement sous la forme humanoïde, ces objets peuvent partager un même espace 3D virtuel présenté dans une fenêtre unique. Les avatars peuvent être animés par des gestes qui augmentent le sens d’immersion dans l’espace de collaboration [2]. Nous présentons un environnement virtuel 3D habité qui améliore la perception des interactions lors du partage d'application dans un environnement collaboratif à

Le scénario proposé permet d'augmenter le sens de collaboration entre des participants distants, sans modifier la manière d'interagir avec l'application partagée. Ainsi, nous utilisons une interface hybride 2D+3D [3] composée de deux espaces distincts: l' espace applicatif et l’espace immersif. Le premier présente, sans dégradation de l’affichage, l'application 2D partagée sur laquelle les utilisateurs interagissent directement. Le partage de cette application est réalisé par l'intermédiaire d'un client VNC (Virtual Network Computing) [4] qui permet d'afficher l'interface graphique d’un ordinateur distant. L’espace immersif est un monde 3D virtuel multi-utilisateur qui contient un tableau virtuel sur lequel est projeté l' espace applicatif. Des avatars humanoïdes, définis suivant le standard H-ANIM [5], représentent les utilisateurs qui participent au travail.

2.2

Représentation des interactions

Les événements dans l'espace applicatif déclenchent, dans l'espace immersif, des animations en temps réel. L'avatar suit de la main la position associée aux actions réalisées par l’utilisateur sur l’espace applicatif. Pour cela, les angles de rotation des articulations du bras sont calculés en temps réel par cinématique inverse. Un utilisateur peut demander la main pendant qu'un autre interagit avec l'application. Dans ce cas, son avatar lève le bras en indiquant qu'il est en attente (Figure 1). Les utilisateurs peuvent aussi déclencher, pour leurs avatars, à n'importe quel instant, des animations prédéfinies.

Le calcul des angles des articulations du bras de l'avatar est effectué par cinématique inverse en utilisant la bibliothèque IKAN [7]. Un serveur d'événements contrôle l’accès des clients à l’application partagée et leur diffuse les données nécessaires à l'animation des avatars. Celles-ci sont codées au format MPEG-4/BAP [8].

3

Acquisition et restitution des gestes en temps réel

Pour permettre une animation plus libre des avatars dans le monde virtuel 3D, nous avons développé un système d’acquisition des gestes humains volontairement basée sur des technologies facile à mettre en œuvre. Dans cette optique, nous adoptons une approche par vision monoscopique, sans utilisation de marqueurs [9] et nous utilisons une caméra de type webcam et un PC grand public muni d'une carte graphique standard. La méthode utilisée permet de recaler la moitié supérieure du corps d'un modèle 3D humanoïde sur une séquence vidéo. Les positions des articulations et les géométries maillées de chaque segment de ce modèle sont extraites d’un fichier VRML décrivant un humanoïde selon la hiérarchie standard H-ANIM.

3.1

Extraction des images vidéo

caractéristiques

des

Figure 1 - Animation par cinématique inverse (les actions de l’utilisateur sur l’application partagée sont reproduites par son avatar). Cet environnement peut aussi permettre de rapprocher les mondes réel et virtuel. Les actions d’un participant qui travaille sur un tableau réel, augmenté avec vidéoprojecteur et équipement MIMIO [6], peuvent actuellement être restituées par son avatar dans le monde virtuel partagé (Figure 2).

Chaque image vidéo est segmentée à partir d’une classification en quelques classes de couleur. Les vêtements, supposés de couleur uniforme, et la peau constituent les classes de couleur. Celles-ci sont discriminées par leur teinte, peu sensible aux variations d’éclairage. A partir d’échantillons de couleur (peau et vêtements) issus d'une image vidéo, on commence par générer les histogrammes de teinte de chaque classe. Pour chaque image de la séquence, et pour chaque classe de couleur, ces histogrammes normalisés sont utilisés pour transcoder les teintes en probabilités d’appartenance aux classes [10]. La Figure 3 montre l'image de probabilités (b) créée pour la couleur de la peau à partir de l'image (a).

Figure 2 - Application sur un tableau augmenté.

Figure 3 - Image vidéo (a) et image de probabilité d’appartenance à la couleur de la peau (b). Chaque pixel est attribué à la classe la plus probable s'il dépasse un seuil, ou est classé comme arrière-plan sinon. Une ouverture morphologique permet de réduire le bruit de la classification.

(a)

(b)

2.3

Architecture

Ce prototype a été construit sur une architecture client serveur écrite en Java. Nous utilisons Java3D et Xj3D pour charger et animer des modèles écrits en VRML.

3.2

Recalage 3D/2D

Le recalage optimal est recherché par des différences entre l'image vidéo segmentée et l'image du modèle projeté. Une fonction de coût est minimisée itérativement par un algorithme de descente de simplexe [11], tout en respectant des contraintes biomécaniques. Notre critère de comparaison est un taux de non-recouvrement [9] :

m

l’ensemble des classes. Confondant les classes de couleurs avec leurs codes hexadécimaux sur 4 bits, le nombre de pixels dans Ac ∪ Bc(q) est la somme des cellules suivantes de l'histogramme, où x et y peuvent être n'importe quelle classe de couleur ou arrière-plan : • cx : intersection avec la classe x dans l'image 2, • yc : intersection avec la classe y dans l'image 1, y ≠c.

F (q ) = ∏

c =1

Ac ∪ Bc (q ) − Ac ∩ Bc (q ) Ac ∪ Bc (q )

1 m

3.3

(1).

Mise en œuvre en temps réel

où q est le vecteur de paramètres articulatoires décrivant la posture candidate, Ac est l’ensemble des pixels dans la cème classe de couleur dans l’image vidéo segmentée, Bc(q) est la projection des segments du modèle porteurs de la cème couleur, m est le nombre de classes de couleur (hormis l’arrière-plan) et |X| désigne le nombre de pixels dans un ensemble X.

(a)

(b)

Figure 4 – (a) Image vidéo segmentée ; (b) modèle projeté ; (c) superposition des 2 images (somme). Ces intersections et réunions entre les ensembles Ac et Bc(q) peuvent être calculées par une comparaison systématique des pixels de l’image vidéo segmentée (Figure 4a) et de l’image du modèle projeté (Figure 4b). Le coût de ce traitement peut être réduit en combinant ces deux images en une seule puis en extrayant les informations ensemblistes de son histogramme. Pour cela, sous l’hypothèse que nous utilisons moins de 16 classes de couleur, les couleurs de la première image sont codées sur les 4 bits de poids forts et celles de la deuxième image sur les 4 bits de poids faible. Ensuite, une addition des 2 images donne une image de superposition (Figure 4c) où la valeur binaire de chaque pixel indique à quelle intersection Ax ∩ By(q) il appartient, x et y étant parmi les m classes de couleur ou la classe d’arrière-plan. Ces pixels sont comptés sur l'histogramme de l'image résultante. Un ensemble Ac ∪ Bc(q) apparaissant dans l’équation (1) est l’union des Ac ∩ Bx(q) et Ay ∩ Bc(q), x et y décrivant

(c)

Pour atteindre le temps réel, nous avons mis en œuvre une solution qui exploite un processeur Pentium et une carte graphique accélératrice 3D [12]: • la bibliothèque OpenCV [13] permet