Date post: | 03-Apr-2015 |
Category: |
Documents |
Upload: | claudette-sarrazin |
View: | 102 times |
Download: | 0 times |
1Antoine MANZANERA – ENSTA/LEICours ETASM 2006
De la détection de changement à l’analyse du mouvement
Antoine MANZANERA – ENSTA/LEI
Applications en télésurveillance et navigation autonome
2Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Applications et enjeux (1)
Surveillance de zone Compression et Indexation
(University of Surrey)
3Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Applications et enjeux (2)
Mouvement fluide
Poursuite automatique
Navigation robotique
(Ecole des Mines / CMM)
4Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Quelle information extraire ?
Niveau conceptuel
Quantité d’information
structure
Modèle non rigide
nombre
positionvitesse
taille
formeModèle rigide
alarme
Carte binaire mobile/fixe
Champ de déplacement
Calculs bas niveau
paramètres de mise en
correspondance
5Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Détection – Estimation – Poursuite
DETECTION
• Certaine continuité temporelle
• Mouvement de la caméra nul ou très simple.
Objectif : identifier dans chaque image les pixels appartenant à des objets mobiles
Chapitre 1Chapitre 1
ESTIMATION
• Continuité temporelle
• Plutôt « traiter après »
Objectif : calculer le mouvement apparent (vitesse instantanée) de chaque pixel
Chapitre 2Chapitre 2
POURSUITE
• Discontinuité temporelle
• Plutôt « traiter avant »
Objectif : apparier certaines structures spatiales pour chaque couple d’images.
Chapitre 3Chapitre 3
6Antoine MANZANERA – ENSTA/LEICours ETASM 2006
MOUVEMENT Détection1
PLAN DU CHAPITRE
• Introduction du problème
• Observation & différenciation
• Régularisation spatiotemporelle
7Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Introduction du problème
BUT : Associer à chaque pixel de I une étiquette binaire [fixe,mobile]…0 1
…en fonction des changements temporels de I(x,y,t).
Quelles variations temporelles ?
Y(x,y,t) = | I(x,y,t) – I(x,y,t-1) |
Idéalement :Y = 0 pas de mvt
Y > 0 mvt
Y(x,y,t) = | I(x,y,t) – Iref(x,y,t) |
8Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Contraintes et difficultés
! CONTRAINTES
(1) Camera fixe
(2) Eclairement constant
(1)’ Camera bougeant lentement
(2)’ Variation d’éclairement basse fréquence
! DIFFICULTES
(1) Bruits de capteur (acquisition + numérisation)
(2) Zones homogènes (luminance < )
0 seuil > 0
(1)’’ Camera mobile avec mouvement compensé (Cf Chap. 2)
(2)’’ Intensité lumineuse variable avec mise à l’échelle de l’histogrammeou même
9Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Détection : méthode générique
(1) Calcul du changement temporel
(2) Régularisation spatiotemporelle
(3) Sélection des objets
On calcule, pour chaque pixel, une ou plusieurs statistiques temporelles des niveaux de gris, ainsi que l’écart par rapport à ces statistiques.
On agrège spatialement les résultats de changement temporel afin d’obtenir des objets réguliers.
On sélectionne les régions obtenues en fonction de critères morphologiques ou cinématiques.
Yt
It
Êt
Et
10Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Changement par gradient temporel
Y(x,y,t) = | I(x,y,t) – I(x,y,t-1) |Ici l’observation correspond à une estimation du gradient temporel, discrétisé par une différence finie.
1 ttt IIY
Si Yt > S, alors Êt = 1 sinon Êt = 0
Avantages :
• simplicité de calcul
• grande adaptation aux variations de conditions de la scène
Inconvénients :
• problème de l’ouverture
ItYt
11Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Changement par gradient temporel
ItYt
Problème de la détermination du seuil S
Êt (S=3) Êt (S=9)
12Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Estimation de fond statique
Y(x,y,t) = | I(x,y,t) – Iref(x,y,t) |
1)1( ttt MIM
ttt IMY
Si Yt > S, alors Êt = 1 sinon Êt = 0
Ici l’observation correspond à un écart entre la valeur courante et la valeur de référence de la scène (le « fond » statique).
Le fond statique correspond à la valeur habituelle du fond, il est généralement calculé sous la forme d’une moyenne...
• Moyenne arithmétique sur les n dernières images :
Très coûteux car nécessite de conserver en permanence n images consécutives en mémoire...
• Moyenne récursive (filtre exponentiel) :
Nécessite seulement la moyenne et l’image courante...
est le paramètre d’oubli, (1/ a la dimension du temps)
13Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Moyenne récursive
Avantages :
• réduction drastique du problème de l’ouverture
Inconvénients :
• adaptation aux changements de conditions plus délicat
• Changement d’illumination (graduel, soudain,...)
• Mouvements parasites
• Mouvements de la caméra
• Changement de la nature du fond
Comportement de la moyenne récursive au cours du temps pour 1 pixel donné (200 trames) correspondant au passage d’un objet mobile.
14Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Moyenne récursive
It
Yt
Mt
Yt
Mt
= 0.0625 = 0.125
...et pour un instant t fixé.
15Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Moyenne récursive
Pour des durées importantes, on retrouve le problème de l’ouverture, critique pour les mouvements radiaux :
Par ailleurs, la détermination du seuil demeure critique…
16Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Estimation gaussienne
Y(x,y,t) = | I(x,y,t) – Iref(x,y,t) |
1)1( ttt MIM
1)1(2
tVYV tt
ttt IMY
Si Yt > N.√Vt, alors Êt = 1 sinon Êt = 0
En chaque pixel, le niveau de gris est modélisé comme un signal aléatoire gaussien, qu’on peut entièrement caractériser par sa moyenne Mt et sa variance Vt.
L’hypothèse gaussienne permet en outre d’adapter le seuil de binarisation à un nombre moyen de fausses alarmes.
Wren et al 1997
17Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Estimation multi-gaussienne
)()(
1)1( i
ti
ttMIM
)(2)()(
1)1( ii
ti
ttVYV
tii IMY
tt )()(
: si )()( ii
ttVNY
1)(1
)( i
ti QQ
t
0 255niveau de gris
probabilité d’occurence
M(i)
P(i)
V(i)
)(1)(
1
)(
i
Q
i
t
Kj
j
tt
QP
SV
Pi
t
i
t )(
)(
Adapté aux fonds multimodaux (rivières, écrans, drapeaux,...)
Si
Pour chaque pixel, on calcule K modes i {0,..,K}, qui sont partitionnés en « fond » F ou « non fond » NF.
alors FiNFisinon
Pour tout i {0,..,K} :
Pour tout i {0,..,K} :
Stauffer et Grimson 1999
18Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Estimation Sigma-Delta
Comportement de la moyenne au cours du temps pour 1 pixel donné (200 trames) correspondant au passage d’un objet mobile.
Si Mt < It alors Mt = Mt + 1;
Si Mt > It alors Mt = Mt - 1;
Si Vt < K.t alors Vt = Vt + 1;
Si Vt > K.t alors Vt = Vt - 1;
Yt = | It – Mt |;
Si Yt > Vt alors Dt = 1;
sinon Dt = 0;
(1)
(2)
(3)
(4)
19Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Estimation Sigma-Delta
It Mt Yt =|Mt – It|
Vt (N = 2,normalisée) Êt
20Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Estimation Sigma-Delta
• Jeu d’instruction utile extrêmement réduit : Comparaison – Incrément – Différence
• Moyenne converge vers la médiane temporelle : plus robuste.
• Extensible aux fonds complexes en adaptant les fréquence/phase des estimateurs .
Manzanera et Richefeu 2004
Système de détection à base de rétine artificielle baseé sur l’estimation
21Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Sigma-Delta : rebouclage
22Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Morphologie oublieuse
Comportement des opérateurs de morphologie oublieuse au cours du temps pour 1 pixel donné (200 trames) correspondant au passage d’un objet mobile.
mt = It + (1-)MIN(mt-1,It)
Mt = It + (1-)MAX(Mt-1,It)
Dt = Mt - mt
23Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Morphologie oublieuse
It Mt mt
Yt = Mt – mt
Le gradient morphologique oublieux Yt correspond à l’estimation récursive de l’amplitude de variation du niveau de gris dans les 1/ dernières trames. Cet opérateur est particulièrement adapté aux mouvements de faible amplitude (petits objets, lents).
Richefeu et Manzanera 2004
24Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Régularisation spatiotemporelle
Objectif : Exploiter les corrélations spatiales et temporelles entre pixels voisins – Obtenir des résultats plus réguliers.
La régularisation spatiotemporelle utilise le résultat binaire de la détection temporelle Êt, ainsi que la valeur de « l’observation » Yt, pour calculer une étiquette régularisée Et.
FILTRAGE MORPHOLOGIQUE :
Souvent, la régularisation spatiotemporelle se réduit à l’application de filtres morphologiques binaires, qui calculent Et à partir de Êt, éventuellement de Êt-1, voire Êt+1.
• Filtres alternés séquentiels.
• Filtres majoritaires.
• Filtres connexes.
REGULARISATION MARKOVIENNE :
Basée sur un modèle probabiliste, calcule Et à partir de Yt, en utilisant un algorithme de relaxation initialisé par Êt.
25Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Régularisation markovienne
Régularisation de problème mal posé
Injection de connaissances a priori sur les données du problème
• Comment construire ce phénomène aléatoire ? → MODELISATION
• Comment obtenir des réalisations de ce phénomène → SIMULATION
• Comment obtenir la réalisation la plus probable ? → OPTIMISATION
3 questions :
MODELISATION PROBABILISTE
La solution est la réalisation la plus probable d’un certain phénomène aléatoire
26Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Propriétés du modèle
Un champ aléatoire X sur S à valeur dans V est défini par :
X : → VS
Notations :
Pour ω X : S → V réalisation d’un champ aléatoire.
Pour s S, Xs : s → V variable aléatoire au pixel s.
Dans notre contexte de détection :V = {0,1} ({fixe,mobile})
S = Z3 ou Z2×N (espace-temps discret)
Univers probabiliste
Ens. des valeurs (niveaux de gris)
Ens. des sites (pixels)
27Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Topologie et système de voisinage
La donnée d’une topologie sur S détermine les relations de dépendances entre les variables aléatoires Xs
Topologie sur S Système de voisinage V
V : S → P (S)
tq, qq soit (s,r) S2, s V (s)
s V(r) r V(s)
Ex:
x
y t 6-connexité
8-connexité spatiale
2-connexité temporelle
28Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Champs de Markov
X : → VS est un champ de Markov relativement au système de voisinage V ssi, pour tout s S,
P(Xs = xs / Xr = xr ; r s) = P(Xs = xs / Xr = xr ; r V (s))
La densité de probabilité de X est une mesure de Gibbs
P(X = x) = e-U(x) / Z
avec Z = e–U(y), et U(x) = Vc(x)
C est l’ensemble des cliques (sous-graphes complets) de V
Vc(x) est une fonction dite potentiel qui ne dépend que des valeurs {xs}sc
y VS c C
• On peut décrire un modèle de champ de Markov dans une topologie donnée en spécifiant les potentiels attachés à chaque clique.
• La donnée de la fonctionnelle d’énergie U permet de « prévoir » le comportement du champ aléatoire puisque la réalisation est d’autant plus probable que l’énergie est faible.
Théorème de Hammersley-CliffordJ. Besag 1974
29Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Modèle pour la détection de mouvement
s
s s
s
f
p
Y
Um(x) : énergie du modèle
Ua(y,x) : énergie d’attache aux données
),()()( yxUxUxU am
),()()(
rsVxUSs sr
xm
V
)( )( si ),( rxsxrsV srx )( )( si rxsxsr
avec
(Modèle de Potts)
Ss
a ssyyxU )( )(2
1),(2
0 )( si 0 )( sxs
1 )( si sxavec
30Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Sémantique du modèle
),()()( yxUxUxU am
Ss sr
srm xU)(
)(V
Ss
a ssyyxU )( )(2
1),(2
0 )( si 0 )( sxs
1 )( si sxavec
2
),(
)/(Z
exXyYP
yxUa
1
)(
)(Z
exXP
xUm
Avec: = moyenne de Y ; = variance de Y
Modélisation :
On suppose : et :
(caractère markovien de X) (modèle de bruit liant X et Y)
L’énergie du modèle exprime une hypothèse de régularité.
L’énergie d’adéquation assure un lien significatif entre le résultat de l’étiquetage et les données d’entrée.
)/(maxarg
)/().(maxarg)(minarg
yYxXP
xXyYPxXPxU
x
xx
Critère bayesien du Maximum A Posteriori
Alors :
P.Bouthémy P.Lalande
1993
31Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Simulation et chaînes de Markov
But : une fois le modèle défini, on souhaite générer des réalisations (échantillons) de ce modèle
Principe : Construire une suite de champs aléatoires (Xn) nN, telle que
Pour tout x VS, lim P(Xn = x) = (x)
avec (x) = e -U(x) / Z
n → +
Une suite (Xn)n est une chaîne de Markov (d’ordre 1) ssi :
P(Xn+1 = xn+1 / Xi = xi ; i n) = P(Xn+1 = xn+1 / Xn = xn)
Pour cela, on va construire une chaîne de Markov qui converge en loi vers :
32Antoine MANZANERA – ENSTA/LEICours ETASM 2006
SimulationExemple : les deux algorithmes suivants…
…produisent des chaînes de Markov qui converge en loi vers la mesure de Gibbs d’énergie U.
Algorithme de Metropolis
Soit X0 = x0 un état initial quelconque.
Pour n 0, faire :
1. Tirer un pixel s au hasard (Loi uniforme sur S).2. Tirer une étiquette e au hasard (Loi uniforme sur V).
On note :
3. Calculer la différence :
srrxrxx n si )( )(~ que tel ~ SV
esx )(~et )( )~( nxUxUU
Si U < 0, alors :
sinon :
xxn~ 1
xxn~ 1
nn xx 1 avec une probabilité e - U
avec une probabilité 1 - e - U
Echantillonneur de Gibbs
Soit X0 = x0 un état initial quelconque.
Pour n 0, faire :
1. Tirer un pixel s au hasard (Loi uniforme sur S).2. Calculer les probabilités conditionnelles :
3. Effectuer un tirage de Xn+1 en fonction de cette loi.
srxrXxsXP rnsn ; )( / )(1
)( ; )( / )(1 srxrXxsXP rnsn V
N. Metropolis 1953
S. Geman & D. Geman 1984
J.L.Marroquín 1985
33Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Optimisation
But : Nous avons vu comment produire des échantillons de la loi qu’on a modélisée. On souhaite à présent obtenir la réalisation la plus probable.
1er cas : RELAXATION DETERMINISTE
Supposons qu’on soit capable d’obtenir un état initial X0 = x0 qui constitue une instance crédible (= une réalisation pas trop improbable) du modèle de Gibbs qu’on a construit.
Dans ce cas :
MODELISATION SIMULATION OPTIMISATION
Ex: ICM (Iterated Conditional Mode), avec x0 = seuillage de y
34Antoine MANZANERA – ENSTA/LEICours ETASM 2006
ICM
Yt-1 Yt Yt+1
ICM
Algorithme de détection
Soit X0 = x0.
Relaxation {
Balayer l’ens.des pixels s S,
et pour tout s : {
pour chaque valeur e V,
on note xe tel que xe(r) = x(r) si r s et xe(s) = e.
on prend : x(s) = arg min U(xe).
}
}
e V
ALGORITHME ICM
Êt-1 Êt Êt+1
Et-1 Et
ICM ICM
Et+1
35Antoine MANZANERA – ENSTA/LEICours ETASM 2006
ICM : résultats
I T X
Meudon3.avi MeuObs.avi MeuLab.avi
• Algorithme complètement déterministe, s’apparente à une descente de gradient.
• Converge vers le premier minimum local de U rencontré.
• Correct si l’initialisation n’est pas trop loin du minimum global.
36Antoine MANZANERA – ENSTA/LEICours ETASM 2006
ICM et optimisation
ICM
U
L’algorithme ICM correspond à une descente de gradient local :
Un algorithme de descente de gradient appliqué à une fonction U converge vers le premier minimum global rencontré en aval de l’initialisation. Ce minimum n’est le minimum global de la fonction U que si U est convexe :
37Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Recuit simulé
2d cas : RELAXATION STOCHASTIQUE
On passe par une étape de simulation, qui contient du tirage aléatoire.
Problème : on a obtenu une convergence en loi, mais comment faire converger les réalisations ?
Mesure de Gibbs d’énergie U et de température T :
exp(-U(x)/T)
ZT
P(X=x) =
avec ZT = exp(-U(y)/T)y VS
38Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Recuit simulé
T 0 T 8
PROPRIETE :
1 – Lorsque T → +, la mesure de Gibbs d’énergie U et de température T tend vers la probabilité uniforme sur VS.
1 – Lorsque T → 0, la mesure de Gibbs d’énergie U et de température T tend vers la probabilité uniforme sur l’ensemble {1,…,n} des minima de U.
(1) T +∞ :TZ
e TxU )(
1
card VS
(1) T 0 : D
N
e
e
Z
e
S
TiUyU
TiUxU
TxU
Vy
T
)()(
)()()(
1 donc 0)( : ,, si
0 donc 0)( : ,, si
1
1
NUxUx
NUxUx
in
in
nD(1)
(2)
quand T 0 :
(où i est un minimum de U )
39Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Recuit simulé : résultats
I T X
Karlsruhe2.avi KarlObs.avi KarlLab.avi
Application : algorithme de Metropolis en faisant décroître T vers 0.
Inconvénient majeur : coût de calcul énorme.
Mis en œuvre sur architectures parallèles…
40Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Recuit simulé et optimisation
ICM
U
Recuit simulé
U
Par rapport à la descente de gradient, le principe de l’algorithme de recuit simulé est de pouvoir sortir de « puits » de minima locaux en permettant aléatoirement une augmentation de l’énergie, d’autant plus grande que la température est élevée :
41Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Convergences
ICM Recuit simulé
42Antoine MANZANERA – ENSTA/LEICours ETASM 2006
GNC et espaces d’échelle
3ème cas : RELAXATION DETERMINISTE GNC (Graduated Non Convexity)
Principe : modéliser le problème par une hiérarchie de modèle de Gibbs {UZ}Z
Par exemple, une hiérarchie de modèle de Gibbs peut être induite par une multi-résolution spatiotemporelle de la séquence d’images :
43Antoine MANZANERA – ENSTA/LEICours ETASM 2006
GNC et optimisation
3ème cas : RELAXATION DETERMINISTE GNC (Graduated Non Convexity)
Principe : modéliser le problème par une hiérarchie de modèle de Gibbs {UZ}Z
Enveloppe convexe
Û
ICM
U
GNC
U2
U1
U0
A.Blake & A.Zisserman 1987
44Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Conclusion Chapitre 1
CALCUL DU CHANGEMENT TEMPOREL Gradient temporel
Fond statique
Moyenne récursive
Mélange de gaussiennes
Estimation
Morphologie oublieuse
REGULARISATION SPATIOTEMPORELLE Filtrage morphologique
Relaxation markovienne
ICM
Recuit simulé
Modèles de Gibbs hiérarchiques
45Antoine MANZANERA – ENSTA/LEICours ETASM 2006
Bibliographie Chapitre 1
• C. Wren et al 1997 « Pfinder: real-time tracking of the human body » IEEE Trans on Pattern Analysis and Machine Intelligence 19-7 pp 780-785
• C. Stauffer & W.E.L. Grimson 2000 « Learning patterns of activity using real-time tracking » IEEE Trans on Pattern Analysis and Machine Intelligence 22-8 pp 747-757
• A. Manzanera & J. Richefeu 2006 « A new motion detection algorithm based on estimation » Pattern Recognition letters à paraître
• P.Bouthémy & P.Lalande 1993 « Recovering of moving object in an image sequence using local spatiotemporal contextual information » Optical engineering 32-6 1205-1212
• S. Geman & D. Geman 1984 « Stochastic relaxation, Gibbs distributions and the Bayesian restoration of images » IEEE Transactions on Pattern Analysis and Machine Intelligence 6-6 721-741
• J.L.Marroquín 1985 « Probabilistic solution of inverse problems » PhD Thesis, MIT
• A.Blake & A.Zisserman 1987 « Visual reconstruction » MIT Press