Analyse et synthèse de textures composées de …...appariement de voisinages (Efros et al,...

Introduction

Etat de l’art

Methode proposee

Resultats et conclusion

Analyse et synthese de textures composees de motifs repetitifs

Pierre-Edouard Landes & Cyril Soler

Universites deGrenoble

LaboratoireJean Kuntzmann

December 2, 2011

Landes P.-E. & Soler C. Analyse et synthese de textures composees de motifs repetitifs

Introduction

Etat de l’art

Methode proposee


Introduction

I omnipresence des textures dans le domaine de l’informatique graphique

I qualite visuelle des rendus accrue

I sourcesI proceduraleI creation par artistesI a partir d’images reelles


Introduction

Etat de l’art

Methode proposee


Presentation du probleme

probleme de la synthese automatique de textures fondamental

Objectif

a partir d’un echantillon de texture


Introduction

Etat de l’art

Methode proposee



probleme de la synthese automatique de textures fondamental

Objectif

a partir d’un echantillon de textureobtenir une nouvelle texture visuellement similaire


Introduction

Etat de l’art

Methode proposee



difficulte

grande variabilite de nature et d’aspect des textures

classification proposee par Liu, 2004


Introduction

Etat de l’art

Methode proposee



difficulte

grande variabilite de nature et d’aspect des textures

classification proposee par Liu, 2004

existence d’une technique de synthese unifiee ?pas a l’heure actuelle


Introduction

Etat de l’art

Methode proposee


Objectif de cette presentation

proposer une technique de synthese de textures a base de motifs repetitifs


Introduction

Etat de l’art

Methode proposee




I distribution quelconque de formesdiscernables

I potentiels recouvrements


Introduction

Etat de l’art

Methode proposee




quelles sont les textures concernees ?

textures quasi-regulieres, arrangements de primitives 2d


Introduction

Etat de l’art

Methode proposee


Intuition

Idee fondamentale

utiliser la repetition des formes en vue de

I leur reconnaissanceI leur extraction et reconstructionI et la resynthese de nouvelles textures


Introduction

Etat de l’art

Methode proposee


Intuition

Idee fondamentale


I leur reconnaissance

I leur extraction et reconstructionI et la resynthese de nouvelles textures


Introduction

Etat de l’art

Methode proposee


Intuition

Idee fondamentale


I leur reconnaissanceI leur extraction et reconstruction

I et la resynthese de nouvelles textures


Introduction

Etat de l’art

Methode proposee


Intuition

Idee fondamentale


I leur reconnaissanceI leur extraction et reconstructionI et la resynthese de nouvelles textures


Introduction

Etat de l’art

Methode proposee


Plan

Introduction

Etat de l’art

Methode proposee

Conclusion et perspectives


Introduction

Etat de l’art

Methode proposee


Synthese de textures

Epitome d’images

Synthese de texturesEtat de l’art


Introduction

Etat de l’art

Methode proposee



Epitome d’images


I approches descriptivesanalyse de caracteristiques spatiales/frequentielles

I inference des parametres d’un modele statistique (Portilla et al, 2000)


Introduction

Etat de l’art

Methode proposee



Epitome d’images



I inference des parametres d’un modele statistique (Portilla et al, 2000)I transfert de reponses de filtres (Heeger et al, 1995)+ textures stochastiques


Introduction

Etat de l’art

Methode proposee



Epitome d’images



I inference des parametres d’un modele statistique (Portilla et al, 2000)I transfert de reponses de filtres (Heeger et al, 1995)+ textures stochastiques− presence de structures, d’inhomogeneites


Introduction

Etat de l’art

Methode proposee



Epitome d’images


I approches descriptivesI echantillonnage non-parametrique : hypothese markovienne

I synthese pixel-a-pixelappariement de voisinages (Efros et al, 1999 ; Wei et al, 2000)avec favorisation de la coherence (Ashikhmin, 2001)


Introduction

Etat de l’art

Methode proposee



Epitome d’images




+ simplicite, versatilite, qualite des resultats


Introduction

Etat de l’art

Methode proposee



Epitome d’images




+ simplicite, versatilite, qualite des resultats− dependence vis-a-vis du voisinage (forme, taille) et du contenu frequentiel


Introduction

Etat de l’art

Methode proposee



Epitome d’images



I synthese pixel-a-pixelI synthese par patches

Liang et al, 2001, quilting (Efros et al, 2001), graph cuts (Kwatra et al, 2003)+ meilleure coherence, preservation des structures− gestion des recouvrements entre patches, repetitions


Introduction

Etat de l’art

Methode proposee



Epitome d’images



I synthese pixel-a-pixelI synthese par patchesI synthese non-causale par optimisation

minimisation d’energie par algorithme EM (Kwatra et al, 2005)


Introduction

Etat de l’art

Methode proposee



Epitome d’images




minimisation d’energie par algorithme EM (Kwatra et al, 2005)+ erreur globalement jugulee, synthese controlable

− a l’echelle des pixels


Introduction

Etat de l’art

Methode proposee



Epitome d’images




minimisation d’energie par algorithme EM (Kwatra et al, 2005)+ erreur globalement jugulee, synthese controlable− a l’echelle des pixels


Introduction

Etat de l’art

Methode proposee



Epitome d’images




I decomposition en tuiles : disposition particuliererespect de regles de placement strictes -treillis- (Liu, 2004)


Introduction

Etat de l’art

Methode proposee



Epitome d’images





+ textures quasi-regulieres


Introduction

Etat de l’art

Methode proposee



Epitome d’images





+ textures quasi-regulieres− repose sur la disposition des tuiles uniquement− inadapte aux distributions quelconques


Introduction

Etat de l’art

Methode proposee



Epitome d’images




I decomposition en tuiles : disposition particuliere

Enormement de techniques. . .

qui exploitent :

I localite et stationnarite des textures

I disposition de structures identifiables

jamais la repetition des structures a notre connaissance !


Introduction

Etat de l’art

Methode proposee



Epitome d’images

Intuition (suite)


Introduction

Etat de l’art

Methode proposee



Epitome d’images

Intuition (suite)


Introduction

Etat de l’art

Methode proposee



Epitome d’images

Intuition (suite)


Introduction

Etat de l’art

Methode proposee



Epitome d’images

Intuition (suite)


Introduction

Etat de l’art

Methode proposee



Epitome d’images

Intuition (suite)


Introduction

Etat de l’art

Methode proposee



Epitome d’images

Intuition (suite)


Introduction

Etat de l’art

Methode proposee



Epitome d’images

Intuition (suite)


Introduction

Etat de l’art

Methode proposee



Epitome d’images

Intuition (suite)


Introduction

Etat de l’art

Methode proposee



Epitome d’images

Intuition (suite)

problemes de vision par ordinateurI reconnaissance d’objets

− connaissances a priori− detection seulement

I analyse epitomique d’images


Introduction

Etat de l’art

Methode proposee



Epitome d’images

Analyse epitomique d’imagesEtat de l’art

I qu’est-ce que l’epitome d’une image ?

modele reduit encodant son information de texture et de formecadre theorique propose par Jojic et al, 2003reconstruction avec conservation des premiers moments


Introduction

Etat de l’art

Methode proposee



Epitome d’images


I qu’est-ce que l’epitome d’une image ?modele reduit encodant son information de texture et de forme

cadre theorique propose par Jojic et al, 2003reconstruction avec conservation des premiers moments


Introduction

Etat de l’art

Methode proposee



Epitome d’images


I qu’est-ce que l’epitome d’une image ?modele reduit encodant son information de texture et de formecadre theorique propose par Jojic et al, 2003reconstruction avec conservation des premiers moments


Introduction

Etat de l’art

Methode proposee



Epitome d’images



I nombreuses applications : edition, compression, redimensionnement . . .


Introduction

Etat de l’art

Methode proposee



Epitome d’images



I nombreuses applications : edition, compression, redimensionnement . . .

+ exploite les repetitions, pour tout type d’images

− aucune information de structure


Introduction

Etat de l’art

Methode proposee


Description locale

Appariement des descripteurs

Analyse des correspondances

Creation des motifs

Regroupement en classes

Extraction

Apercu de notre methode (enfin ,)


Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Description locale de la texture

I criteres :invariance par transformation (similarite 2d), repetitivite, discriminabilite

I SIFT scale invariant feature transform (Lowe, 1999)

I capture du comportement des gradients autour d’un pixel

I calcule en tout pixelI reduction de dimensionalite par ACP (de dimension 128 par definition)


Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction



I SIFT scale invariant feature transform (Lowe, 1999)I capture du comportement des gradients autour d’un pixel



Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction



I SIFT scale invariant feature transform (Lowe, 1999)I capture du comportement des gradients autour d’un pixel



Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction


I similarite visuelle ≈ distance euclidienne entre SIFT

I recherche de rayon fixe par kd-tree


Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction


I similarite visuelle ≈ distance euclidienne entre SIFT

I recherche de rayon fixe par kd-tree


Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction


I correspondances . similarites 2d

I partitionnement par mean shift clustering (Comaniciu et al, 2002)I aucun a priori sur les classes rechercheesI controlable

I les classes conservees attestent de la presence de motifs


Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction






Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction






Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction






Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction






Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Apercu de notre methode (deja a mi-chemin ,)


Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Creation des motifs

I classe de correspondances = motif potentiel

I difficulte : groupe epars de pixels . forme continue

I accroissement de regions controle par la distance entre descripteursI simplification des descripteurs aux frontieres

I ordre de parcours guide par la ”qualite” de la forme creeequalite = rapport du carre du perimetre sur l’aire

I transformation non-rigide modelisee par une spline plaque-mince(Bookstein, 1989)


Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Creation des motifs


I difficulte : groupe epars de pixels . forme continue

I accroissement de regions controle par la distance entre descripteursI simplification des descripteurs aux frontieres




Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Creation des motifs


I difficulte : groupe epars de pixels . forme continueI accroissement de regions controle par la distance entre descripteurs

I simplification des descripteurs aux frontieres




Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Creation des motifs







Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Creation des motifs







Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Creation des motifs







Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Creation des motifs







Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Creation des motifs



I simplification des descripteurs aux frontieresI ordre de parcours guide par la ”qualite” de la forme creee

qualite = rapport du carre du perimetre sur l’aire



Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Creation des motifs







Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Creation des motifs







Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Creation des motifs




qualite = rapport du carre du perimetre sur l’aireI transformation non-rigide modelisee par une spline plaque-mince

(Bookstein, 1989)


Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Creation des motifs





(Bookstein, 1989)


Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Creation des motifs





(Bookstein, 1989)


Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction


I difficulte : perte des correspondances directes

I utilisation des recouvrements entre motifs a une transformation pres

encodage via un graphe :I noeuds = motifsI aretes = recouvrement relatif & transformation entre motifs

I extraction des classes = analyse en composantes connexesI parcours selon aretes de fort recouvrementI propagation des contraintes de transformation


Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction







Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction







Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction







Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction







Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Reconstruction et extraction

I difficulte : ambiguıte sur l’appartenance des pixels aux classesI objectif : calcul de la carte de visibilite des membres de classes

I partitionnement en configurationsI attribution d’une classe

, puis d’un membre

I reconstructionI parcours coherent des membres via transformations de classeI pixels retenus si apparaissant au moins deux fois


Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction



I partitionnement en configurations

I attribution d’une classe




Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction



I partitionnement en configurationsI attribution d’une classe




Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction



I partitionnement en configurationsI attribution d’une classe, puis d’un membre



Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction



I partitionnement en configurationsI attribution d’une classe, puis d’un membre



Introduction

Etat de l’art

Methode proposee


Description locale



Creation des motifs


Extraction

Apercu de notre methode (fini! ,)


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

Exemples de motifs extraits


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion



Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion



Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

Resynthese


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

Resynthese


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

Resynthese


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

Resynthese


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

Comparaison avec l’etat de l’art


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

Reconstruction des motifs


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

De l’utilite des splines plaques minces

thin-plate splines utilisees lors de la creation et la reconstruction des motifs

I meilleure capture des variations geometriques entre instances


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

Temps d’execution

Temps indicatifs pour un echantillon 513× 513description locale < 3 minappariement des descripteurs 20 ∼ 50 minanalyse des correspondances < 10 mincreation des motifs < 5 minregroupement en classes & reconstruction < 1 min

sur machine 64 bits, quad-core, 2.5 GHz

goulot d’etranglement : appariement des descripteurscomplexite globale : O(N log(N)) avec N = nombre de pixels


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

Travaux futurs

I pistes d’amelioration :

resyntheseI analyse approfondie de la distribution des motifs


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

Travaux futurs


resyntheseI analyse approfondie de la distribution des motifs


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

Travaux futurs


resyntheseI analyse approfondie de la distribution des motifsI capture des variations d’apparence


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

Travaux futurs



I analyseI meilleure prise en compte des textures regulieres


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

Travaux futurs



I analyseI meilleure prise en compte des textures regulieresI utilisation d’autres descripteurs


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

Conclusion

I presentation d’une nouvelle methode de synthese pour textures a base demotifs repetitifs

I exploitation des repetitions pour :I detection automatique des formesI calcul de leurs transformations relativesI reconstruction et extraction des motifs


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

Analogie en 3dEtat de l’art

analyse de maillages 3dI description locale du comportement a la surfaceI appariement de sommets selon signaturesI analyse de l’espace des transformations 3d induites

(Mitra et al, 2006 ; Mitra et al, 2007 ; Pauly et al, 2008)

applications :I correction et compressionI analyse et reverse-engineering (architecture)


Introduction

Etat de l’art

Methode proposee


Extraction

Resynthese

Discussion

Analogie en 3dEtat de l’art

analyse de maillages 3dI description locale du comportement a la surfaceI appariement de sommets selon signaturesI analyse de l’espace des transformations 3d induites

(Mitra et al, 2006 ; Mitra et al, 2007 ; Pauly et al, 2008)

applications :I correction et compressionI analyse et reverse-engineering (architecture)


Date post:	24-Aug-2020
Category:	Documents
Upload:	others
View:	0 times
Download:	0 times

Analyse et synthèse de textures composées de …...appariement de voisinages (Efros et al,...

Documents