Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective...

Acquisition 3D des gestes par vision monoscopique

en temps réel

David A. Gómez J., Patrick Horain

David Gomez, Patrick Horain2

Objective

L’acquisition 3D des gestes humains en temps réel par vision monoscopique (p. ex. une webcam) sans marqueur et sans connaissances a priori.

Notre motivation:• Interaction dans les environnements virtuel

collaboratifs.

• Interfaces homme-machine


Acquisition 3D des gestes


Notre approche pour l’acquisition des gestes

Recaler un modèle 3D articulé du corps humain sur chaque image de la séquence vidéo

Les paramètres du modèle sont: • 6 paramètres globaux (position &

orientation) • 17 angles d’articulations.


Notre approche pour l’acquisition des gestes

Pose ↔ vecteur de paramètres du modèle.

Recalage par mise en correspondance :

• Couleurs• Contours

Temps réel : calculs limités

Quelle répartition des calculs ?


primitives

primitives

Evaluation du recalage

Optimisationdu recalage

Contraintes biomécaniques

Approche : recalage 3D / 2D


Évaluation du recalage :taux de non recouvrement

?( )mm

c cc

cccc

qBA

qBAqBAqF

1

1 )(

)()(∏

=

∪

∩−∪=

où :

m = nombre de classes de couleur

Ac = pixels classe c (vidéo segmentée)

Bc = pixels classe c (modèle projeté)

q = paramètres articulatoires


Limitation du recalage sur les régions

Robustesse: recouvrement partiel pour converger.

R Précision limitée: pixels de la frontière des régions sont peu nombreux.


Recalage sur les contours

Minimisation de la distance entre les contours de l’image et le modèle.

Suivre l’étape de recalage sur les régions par une étape de recalage sur les contours.


Extraction des contours dans les images

Extraction des contours par un Filtre de Deriche avec hystérésis (Deriche, 1988).

Une transformation distance des contours (Borgefors, 1986).

David Gomez, Patrick Horain


Contours occultants du modèle

Contours occultants: les points de la surface où la direction d’observation est tangente à la surface (Franco et al., 2003).



Contours occultants du modèle

Extraction avec OpenGL (GPU) :

• Remplissage en blanc des polygones orientés vers l’arrière avec leurs arêtes.

• Remplissage en noir des polygones orientés strictement vers l’avant.



Évaluation du recalage :Distance résiduelle entre contours


∑=Np

iiCDRC pI

NpD )(

1

où :DRC = distance résiduelle entre contours

Icd = carte de distance aux contours

pi = point de contour occultant

Np = nombre des points de contours occultants


Mise en œuvre (Initialisation)

Suppression de l’arrière-plan.

Détection du visage (Adaboost).

Acquisition automatique des échantillons (peau et vêtement) et modélisation de la couleur par des distributions gaussiennes (dans l’espace HSV).



Mise en œuvre (Initialisation)

Ajustement du modèle 3D et initialisation de la pose


Mise en œuvre (Temps réel)

Segmentation en classes de

couleurs

Silhouette humaine

Extraction des contours

Carte de distance

Recalage sur les régions

Recalage sur les contours

Image capturée


Précision du recalage sur les contours



Recalage plus précis




Recalage corrigé


Acquisition des gestes en temps réel

Temps réel: temps de calcul limité

(40 à 100 ms par image)

- SOLUTION: Limitation du nombre d’itérations du recalage pour chaque image capturée.

- INCONVENIENT: Diminution de la précision du recalage sur les régions et sur les contours



Diminution de la precision du recalage


Acquisition des gestes en temps réel

Temps de calcul (ms) par rapport au nombre total d’itérations sur deux plateformes.

Nombre d’itérations

Temps MoyennePltfrm.1

(ms)

Temps Écarte-

typePltfrm. 1

(ms)

TempsMoyenne Pltfrm. 2

(ms)

Temps Écarte-

type Pltfrm. 2

(ms)

40 22 ±6,6 88 ±9,2

100 36 ±6,7 137 ±16

200 58 ±6,9 223 ±28

300 79 ±6,9 300 ±33

400 97 ±7,1 370 ±36

500 101 ±9,8 436 ±48Plateforme 1: CPU Intel Pentium 4 3,6 GHz avec un GPU NVIDIA Quadro FX 1400

Plateforme 2: CPU Intel Pentium M 1.4 GHz avec un GPU NVIDIA GeForce 4200 Go


Expérimentations de performance

Analyse de la performance de notre approche sur 5 séquences vidéo avec des différents gestes.

Établir un compromis entre les deux caractéristiques (région colorées et contours) par rapport au nombre d’itérations limité.• Analyses de la valeur résiduelle:

- Taux de non recouvrement

- Distance résiduelle entre contours

• Analyse du nombre de décrochages.


Taux de non recouvrement (erreur résiduelle)


Distance entre contours (erreur résiduelle)


Taux de non recouvrement (Décrochage)


Distance entre contours (Décrochage)


Résultats et conclusions

Convergence plus rapide du recalage sur les régions que du recalage sur les contours.

Stabilité du recalage sur les régions et instabilité du recalage sur les contours.

Nombre d’itérations <= 200 • Donner la priorité à la stabilité du recalage.• Utilisation uniquement du recalage sur les régions.

Nombre d’itérations >200 • Utilisation du recalage sur les régions et du recalage

sur les contours.


Perspectives

Propagation des multiples hypothèses en utilisant un algorithme de filtrage particulaire.

Utilisation des modèles de mouvement apriori dans un espace latent afin de réduire le nombre de particules.

Estimation du gradient de la distance entre contours afin d’utiliser un algorithme d’optimisation par descente de gradient.


Je vous remercie…..

Date post:	23-Jul-2020
Category:	Documents
Upload:	others
View:	3 times
Download:	0 times

Acquisition 3D des gestes par vision monoscopique …2 David Gomez, Patrick Horain Objective...

Documents