1

Estimation du mouvement – 1

GIF-19263 : André Zaccarin 2003 (dernière révision: Patrick Hébert 2008)

Références: Sonka et al. sections 16.1 et 16.2

Autres: Video processing & communications, Wang et al., Prentice Hall, 2002.

Estimating Motion in image sequences, Stiller & Konrad, IEEE Signal Processing Mag., July 1999

Introduction techniques for 3-D computer vision, Trucco & Verri, Prentice Hall, 1998Chapitre 8

2

Pourquoi estimer le mouvement ? Traitement vidéo

Interpolation temporelle & spatiale, conversion de format vidéo

Compression• Permet de relier à faible coût (bits pour encodage) une

image temporellement corrélée à une autre

Vision Estimation de structure à partir du mouvement

(3D structure from motion) Tracking Interpolation de vues

3

Mouvement 3D & mouvement 2D

Tiré de « Video Processing and Communications », Y. Wang et al.,Prentice Hall 2001

4

Estimation du mouvement: Problème

Séquences d’images E1, E2, E3,… Estimer le déplacement des pixels

Correspondance entre les pixels Quel pixel de E2 correspond au pixel E1(x,y)

? Exprime le résultat sous la forme d’un

déplacement relatif E1(x,y)= E2(x+ dx,y+ dy)

La vitesse: v(x,y) = (dx, dy)T

5

Ce qui cause le mouvement

Déplacement d’un objet Déplacement de la caméra

Plusieurs caméras différentes

Ce qui est perçu dans le plan image …

6

Mouvement apparent

Tiré de « Video Processing and Communications », Y. Wang et al.,Prentice Hall 2001

Sphère enrotation

Sphèreimmobile

Déplacement de la source

7

Définitions

Champ de mouvement 2D Projection du champ de mouvement 3D,

i.e. l’ensemble des vecteurs de déplacement

Flux optique Champ de mouvement observé ou

apparent Peut être différent du vrai champ de

mouvement 2D

8

Hypothèse: Intensité lumineuse constante

Malgré le changement de position, l’intensité lumineuse est constante:

1( , , ) ( , , )x yE x y t E x d y d t

(x,y) (x+ dx,y+ dy)

9

Équation d’intensité constante

dx, dy, dt sont supposés petits

v = (vx, vy)T

0

0

( , , ) ( , , )

( , , ) ( , , )

v

x y t

x y t x y t

x y

T

t

E x d y d t d E x y t

E E EE x d y d t d E x y

E E

t d d dx y t

E E Ev vx y t

Équation de flux optique

(on a tout divisé par dt)

* dév. Taylor au premier ordre!

10

Équation d’intensité constante - autre dérivation

0

0

0

( ( ), ( ), )

vT

t

dE x t y t t

dtE dx E dy E

x dt y dt

E

t

E

11

Mouvement apparent

Instant t Instant t+ dt

Direction du mouvement perçu:

12

Problème d’ouverture

Instant t Instant t+ dt

Le mouvement perçu est parallèle à la direction du gradient de l’intensité.

13

Problème d’ouverture (2)

Instant t Instant t+ dt

Aucun mouvement apparent n’est perçu

14

E

Problème d’ouverture

V1

V2Vn

n

vT

t

t

E E

v E

Lieu des vecteurs vi qui satisfont l’équation d’intensité constante

15

Problème de l’ouverture

« Barber pole illusion »

16

Équation du flux optique:

Région avec intensité constante, E=0 Pas d’estimation possible

Pour un pixel x, on ne peut déterminer v Une équation, 2 inconnues Il faut des contraintes supplémentaires

Approches basées Sur l’intensité Sur les caractéristiques des images (feature-

based)

0vT

tE E

17

Approche basée sur l’intensité - 1

Hypothèse: Champ de mouvement d’une petite région

de l’image est constant (Lucas & Kanade) Q: Voisinage de NxN pixels (typ. N=5)

Mouvement décrit par v Chaque pixel satisfait l’équation de ICste

2

arg min E*

v p

v vT

tQ

E

V

18

Minimisation

2

E( ) ( )

0

E( ) E( ) ( ) =

E( ) E( ) = - E( ) ( )

T

tQ

T

tQ

T

tQ Q

E

E

E

p

p

p p

p v p

v

p p v p 0

p p v p p

19

Minimisation – fin

On définit A et b:

Et on obtient: (équation des moindres carrés)

1

A A v A b

v A A A b

T T

T T

(2 x N2)

(1 x N2)

...)()()(

...)()()(

321

321

pEpEpEb

pEpEpEA

tttt

t

20

Exemple

Fenêtre correspondant au bateau

21

Détails d’implantation Filtrer les images avant le calcul des

gradients Filtre passe-bas gaussien

On peut pondérer les pixels de la fenêtre (typiquement une fonction gaussienne)

W: matrice diagonale des poids

1v A WA A WbT T

22

Complément:l’approche ne fonctionne pas

Quand le mouvement dans la fenêtre n’est pas constant

Quand l’intensité n’est pas constante (pour chacun des points physiques)

Quand le mouvement est trop grand…

Quand ATA n’est pas inversible

23

Complément: Quand ATA n’est pas inversible…

Tous les gradients sont nuls v peut prendre toutes les valeurs

Les gradients non-nuls sont parallèles On ne peut estimer que la composante du

mouvement parallèle au gradient

2

2A A

x x yT

x y x

E E E

E E E

24

Complément: Méthode basée sur l’intensité - 2

Équation à résoudre est sous-contrainte (graphique)

Régularisation: ajouter un terme de pénalité pour contraindre la solution Favoriser un vecteur vj parmi tous les vi

Possibilités: Champ de mouvement à variation lente Amplitude des vecteurs

25

Complément: Horn & Schunk

Variation spatiale lente du champ de mouvement

Terme de pénalité

Fonction à minimiser

2 21 2v vVL

2

arg min E*

vv v

T

t VLE

V

26

Complément: Horn & Schunk: solution

Itérative 1

122

vv v

T ktk k E E

EE

Hypothèse de variation lente Problème aux discontinuités du champ de

mouvement Alternative: traiter séparément les régions

avec mouvement apparent différent

27

Méthode basée sur l’intensité - 3

Hypothèse de départ:1( , , ) ( , , )x yE x y t E x v y v t

Hypothèse supplémentaire: Vecteur constant dans une fenêtre (8x8)

• Hypothèse de translation par rapport au plan de la caméra

2

1 2arg min*

v p

v p, p v,Q

E t E t

V

Ressemble à la stéréo!

28

Recherche par appariement

Choisir le bloc le plus représentatif parmi tous les blocs possibles à l’intérieur d’une fenêtre.

v=0t1 t2

29

Critère à minimiser: Somme de différences absolues (SAD)

Alternative à la somme des carrés des différences (SSD) Utilisé en compression vidéo

1 1),(

1),(),(

Nx

xm

Ny

yndyndxm

kInm

kIdydxSAD

30

Un exemple...

originale différence

Différencecompensée

31

Complément: Solution sous-pixel

Estimation à la précision du pixel Directement de l’algorithme

Sous-pixel ½, ¼,… sont possible

X X X X X

X X X X X

X X X X X

X X X X X

X X X X X

X X X X X

X X X X X

X X X X X

32

Estimation du mouvement: 2 problèmes

La fonction à minimiser a des minimums locaux Sensible à la solution initiale

La minimisation est lourde Temps de calcul

Solution: approche multi-résolution Basé sur des pyramides

33

Qu’est-ce qu’une pyramide

Tiré de Gonzalez & Woods, Digital Image Processing, 3ème édition

34

Complément: Traitement multi-résolution

Proposée par Burt & Adelson (1983) Applications en vision, traitement

d’images & compression Avantages

Plus rapide: • Grande partie du traitement fait à faible

résolution Meilleur résultat

• Initialisation plus facile à faible résolution

35

Complément: Exemple de pyramide d’image

A9

A7

A6

D9

D8

D7

A6

A8

Pyramide gaussienne

Pyramide laplacienne

Tiré de Gonzalez & Woods, Digital Image Processing, 3ème édition

36

Complément: Décomposition pyramidale

h(i,j) 2

2

g(i,j)

Ai

Ai-1

Di

A’i

+

-

(n x n)

(n/2 x n/2)

(n x n)

37

Complément: reconstruction pyramidale

2

g(i,j)

Ai

Ai-1

Di

A’i

+

+

(n x n)

(n/2 x n/2)

(n x n)

38

Complément: Pyramide d’images h(i,j), g(i,j): filtres gaussiens

Ai: pyramide gaussienne Di: pyramide de différence de gaussienne

(laplacienne)

Décomposition valide pour tous filtres A6 + D7 + D8 + D9 = A9

Nombre de pixels: 33% de plus N2 (1 +1/4 + 1/16 + 1/64 + …) = 1.33 x N2

Pyramide sur-échantillonnée

39

Estimation multirésolution Tiré

de «

 Vid

eo P

roce

ssing a

nd C

om

munica

tions »

,Y.W

ang e

t al., P

rentice

Hall 2

00

1

40

Exemple d’estimation pyramidale

41

Approche multirésolution

Sans multi-résolution

Niveau 1 Niveau 2

Niveau 3

42

Complément: les méthodes d’estimation ne sont pas exclusives Estimation par appariement de blocs

Méthode multirésolution Vecteurs avec précision du pixel

Estimation sous-pixel avec HS Initialisation avec vecteurs obtenus par

appariement

Pour HS: n’impose pas la contrainte de variation lente à travers les discontinuités du mouvement• Segmentation des pixels selon leurs vecteurs

43

Segmentation basée sur le mouvement

Sans les blocs (autre approche)

44

Références Video processing & communications, Wang et al.,

Prentice Hall, 2002 Motion estimation in image sequences, Konrad &

Stiller, IEEE Signal Processing Mag., July 1999 Introduction techniques for 3-D computer vision,

Trucco & Verri, Prentice Hall, 1998