Compression adaptative de surfaces par ondelettes géométriques

transcript

Céline ROUDETcroudet@liris.cnrs.fr

23 avril 2009Séminaire du LAIC – Clermont-Ferrand

Thèse dirigée par F. DUPONT et A. BASKURT

Collaboration avec P. GIOIA d’Orange Labs Projet « CoSurf » (Compression de Surfaces)

Contexte

Le projet « CoSurf » Collaboration avec Orange Labs Rennes Favoriser l’échange de données 3D Compression multirésolution de maillages 3D

Points critiques Adaptation du transfert des données aux ressources Transmission rapide, à la demande Consultation efficace et flexible

Contexte (2)

Modèles géométriques 3D Explosion de leur production / échange Grande diversité de modélisations

Maillages surfaciques De plus en plus précis et détaillés Répartition irrégulière des échantillons

I – Cadre des travaux Les maillages multirésolution Compression de maillages : l’existant Analyse multirésolution : l’existant

II – La transformée en ondelettes

III – Approche proposée

IV – Résultats et applications

V – Conclusion et perspectives

I - Cadre II - TO III - Approche proposée IV - Résultats

Maillages triangulaires

4 octets x3 coordonnées

4 octets x3 indices

Régularité du voisinage liée à la valence (σ) des sommets

V : {Vi = (xi, yi, zi) є R3 / 0 ≤ i <|V|}

F : {Fi = j, k, l є Z3 / 0 ≤ i <|F|}

irrégulier réguliersemi-régulier

Maillage M = (V, F)

Géométrie

Connectivité

Maillage triangulaire36 octets / sommet288 bits / sommet Trois types de maillages :

1. irréguliers

2. semi-réguliers : W V | Vi ,Vj є W : σ(Vi ) ≠ σ(Vj )

3. réguliers : Vi ,Vj є V : σ(Vi ) = σ(Vj )

Représentation progressive

Intérêt des représentations multirésolution : Adaptation aux réseaux et terminaux Efficacité en termes de rendu

Plusieurs représentations possibles : Surfaces de subdivision [Doo et Sabin, 78] + ondelettes [Lounsbery, 97]

Raffinement progressif [Hoppe, 96], [Gandoin et Devillers, 02]

Compression de maillages : l’existant

Schémas mono-résolution

Schémas multi-résolution

Codage progressif [Hoppe, 96], [Cohen-Or et al., 99], [Gandoin et Devillers, 02] ≈ 2 octets / s

Compression spectrale [Karni et Gotsman, 00], [Sorkine et al., 05]

Compression par ondelettes [Lounsbery, 97], [Guskov et al., 99], [Khodakovsky et al., 00] ≈ 2 - 4 bits / s

Entre 1 et 2 octets/sommet [Deering, 95], [T&G, 98], [Rossignac, 99]

Connectivité

Géométrie Quantification PrédictionCodage

entropique

Codageentropique

Parcours dumaillage

liste desymboles

0011010

Compression en ondelettes : l’existant

Directement sur un échantillonnage irrégulier[Taubin, 95], [Guskov et al., 99], [Valette et Prost, 02]

Après remaillage régulier [Gu et al., 02], [Sander et al., 03], [Praun et Hoppe, 03]

Après remaillage semi-régulier Prédiction par interpolation

[Khodakovsky et al., 00], [Khodakovsky et Guskov, 03], [Lavu et al., 03], [Payan et Antonini, 05]

Prédiction par approximation[Bertram, 04], [Li et al., 04], [Sauvage, 05]

I – Cadre des travaux

II – La transformée en ondelettes Théorie de la transformée en ondelettes Les ondelettes en 3D Le remaillage semi-régulier

I - Cadre II – TO Théorie III - Approche proposée IV - Résultats

L’analyse multirésolution

1/4 1/2 f

détails détails détails

[½ ½]

[1 -1]

I - Cadre II – TO Théorie III - Approche proposée IV - Résultats

Ondelettes géométriques

Généralisation des bancs de filtres Analyse multirésolution spatiale

[Mallat, 89]

[Sweldens, 95]

[Lounsbery, 97]S : Split

P : Predict

U : Update

Avantages : Coûts de calcul réduits Filtres simplifiés Analyse et synthèse en temps linéaire

I - Cadre II – TO 3D III - Approche proposée IV - Résultats

MnMn-1

En pratique

impair

Update

Predict

I - Cadre II – TO 3D III - Approche proposée IV - Résultats

Remaillage semi-régulier

48 485 sommets 112 642 sommets

Mnoriginal

MaillageirrégulierMi

Maillagesemi-régulierMs

Propice à l’application d’une transformée en ondelettes

Grande partie de la connectivité : implicite

Réduction de l’erreur de reconstruction d’un facteur 4

I - Cadre II – TO Remaillage III - Approche proposée IV - Résultats

Intérêt des ondelettes et du remaillage

Distribution de l’angle polaire des coefficients d’ondelettes

Distribution de l’amplitude des coefficients d’ondelettes

Distribution de la position des sommets

Repère global Repère local

MAPS [Lee et al., 98] Normal Mesh [Guskov et al., 00]

Repère local

ρ : amplitude : angle polaire φ : angle param.

normale

arête

Densité quasi uniforme :entropie élevée

Densité isolée :entropie plus faible

I - Cadre II – TO Remaillage III - Approche proposée IV - Résultats

III – Approche proposée Analyse ondelettes globale Segmentation multirésolution Analyse ondelettes locale Reconstruction adaptative

I - Cadre II - TO III - Approche proposée Analyse IV - Résultats

Schéma de notre approche

Analyseglobale

Segmentationmultirésolution

Analyselocale

Codagelocal

Décodagelocal

fluxbinaire

Remaillage

coefficientsd’ondelettes

modèle 3Dirrégulier

modèle 3Dsemi-régulier

clusterspatchs

Recollagegrossier

Synthèselocale

fluxbinaire

niveaux de résolution

Visualisation

Classification AnalyseglobaleRemaillage

Analyse ondelettes globale

Amplitude

Angle polaire

x10Niveau n-2

Schéma Butterflynon lifté

Remaillage Normal

An-1 Dn-1

Représentation multirésolution

Niveau n-1 Niveau n-2 Niveau n-3 Niveau n-1…Niveau noriginal

112 642 sommets 28 162 sommets 7 042 sommets 1 762 sommets

Pondérationmultirésolution

Amplitude des ondelettes

Calcul de pondération N°1

Niveau m Niveau m-1

Niveau m Niveau m-1Niveau m-2

Niveau m Niveau m-1 Niveau m-2

Niveau m

Calcul de pondération N°2

Niveau m Niveau m+1 Niveau m+2 Niveau m+3

« grossière »

« fine »

40962 s

I - Cadre II - TO III - Approche proposée Segmentation IV - Résultats

Analyseglobale

Segmentationmultirésolution

Analyselocale

Codagelocal

Décodagelocal

fluxbinaire

Remaillage

clusterspatchs

Recollagegrossier

Synthèselocale

fluxbinaire

Visualisation

Classification

patchs

Segmentation multirésolution

Classification

clusters patchs

Classification et croissance de régions

Amplitude

sommets,arêtes oufacettes

Classification (K-means)en 2 clusters

Amplitude

Angle polaire

sommets facettes

Croissancede régions

Analyseglobale

Niveau noriginal

Niveau n-1 Niveau n-1

Projection « grossière » des clusters

Projection grossière Extraction des régions

Niveau n (original)Niveau n-1 Niveau n-5

Niveau n-2 … Niveau n-4 Niveau n-5

Projection fine

Projection « fine » des clusters

classification initiale

Niveau n-2Niveau n-4 …Niveau n-5

Projection grossière Extraction des régions

Niveau n (original)Niveau n-1 Niveau n-5

Projection fine

Comparaison des segmentations

Calcul de pondération N°1 + Projection « grossière » + Projection « fine »

11 régions

5 régionsCalcul de pondération N°2 + Projection « fine »

Amplitude Classification Croissance Projection grossière Projection fine

Comparaison des segmentations (2)

Calcul de pondération N°1 + Projection « grossière » + Projection « fine »

Calcul de pondération N°2 + Projection « fine »

5 régions

6 régions6 régions

5 régions

11 régions

9 régions

I - Cadre II - TO III - Approche proposée Codage IV - Résultats

Analyseglobale

Analyselocale

Codagelocal

Décodagelocal

fluxbinaire

Remaillage

clusterspatchs

Recollagegrossier

Synthèselocale

fluxbinaire

Visualisation

Classification SegmentationmultirésolutionCodage

indépendantAnalyse locale

patchs

001011…1110…

01010000…

patchs grossiers+

ondelettes

Intérêt de l’analyse / codage indépendants

+ codage des informations relatives au partitionnement : nb régions, type de cluster, filtres utilisés, … : compressé sans perte

zerotree

Connectivité Codagearithmétique

liste desymboles

00110101

Quantification Codagearithmétique

Géométrie

Connectivité Codagearithmétique

liste desymboles

10101101

Quantification Codagearithmétique

Géométrie

[Touma et Gotsman, 98]

[Khodakovsky et al., 00]

I - Cadre II - TO III - Approche proposée Codage IV - Résultats

Codage zerotree

[Shapiro, 93]Supprime les dépendances entre coefficients : de même localisation spatiale de même orientation

de niveau de résolution différent

Codage : exploite le fait que l’énergie décroît avec la résolution aucun fils n’est codé avant son père les bits de poids fort sont d’abord codés

Raffinement progressif en termes de : résolution qualité de reconstruction

I - Cadre II - TO III - Approche proposée Reconstruction IV - Résultats

Analyseglobale

Analyselocale

Codagelocal

Décodagelocal

fluxbinaire

Remaillage

clusterspatchs

Recollagegrossier

Synthèselocale

fluxbinaire

Visualisation

Classification SegmentationmultirésolutionRecollage

grossierDécodage

001011…1110…

01010000…

patchs grossiers+

ondelettes

Synthèse locale

Comparaisons visuelles

Variance dela courbure

Différencede normales

Remaillage Normal

[Lavoué, 06]0 1

Amplitude des coefficients Angle polaire [0, π/2] Angle polaire [0, π]

[Roudet, 08]

schéma Butterfly schéma midpoint

Mesure de la concavité / convexité

[Roudet et al., CORESA 09]

Comparaison analyse globale / locale

PSNR = 20.log10 BBdiag / d BBdiag = diagonale de la boîte englobante d = distance de Hausdorff

Courbes débit / distorsion (unique schéma de prédiction utilisé)

(pond. N°1)

(pond. N°2)

surcoût

Progressivité de la reconstruction

0,23 bit / sommet 0,68 bit / sommet 1,66 bit / sommet 6,54 bit / sommet

Comparaison analyse globale / locale (2)

PSNR = 20.log10 BBdiag / d BBdiag = diagonale de la boîte englobante d = distance de Hausdorff

Courbes débit / distorsion (unique schéma de prédiction utilisé)

(pond. N°1)

(pond. N°2)

surcoût

Progressivité de la reconstruction

0,20 bit / sommet 0,57 bit / sommet 1,27 bit / sommet 4,92 bit / sommet

Optimisation du compromis débit/distorsion

Analyselocale

Codageentropique

Décodageentropique

fluxbinairePatchs semi-réguliers

Synthèselocale

fluxbinaire

Maillage semi-régulier segmenté

DMinimiser D(R)

ou R(D)

Allocation binaire

Débit ou distorsion cible

Codage zerotree ou contextuel

zerotree

Collaboration avec Marc ANTONINIet Frédéric PAYAN

I3S – Sophia Antipolis

Comparaison perceptuelle

e1 : distance de Hausdorff obtenue par Mesh [Aspert et al., 02] (x 10-4)e2 : métrique asymétrique : Mesh Structural Distorsion Measure [Lavoué et al., 06]

distance perceptuelle entre 2 objets (0 : objets identiques)

Reconstruction adaptative Reconstruction globale

Autres applications

Transmission et reconstruction adaptative

Visualisation sélective (ROI)

Débruitage et tatouage adaptatifs

Correction d'erreurs lors de la transmission canal

e : erreur (x 10-4)

Analyseglobale

ReconstructionadaptativePond. N°1 Pond. N°2

Reconstructions adaptatives :avec prédiction sans prédiction

Visualisation sélective par ROI

11 967 octets

5 181 octets

[Roudet et al., SPIE Wavelet Applications in Industrial Processing VI, 2009]

Contributions

Remaillage semi-régulier Comparaison de plusieurs méthodes de l’état de l’art

Analyse en ondelettes Comparaison de schémas de prédiction interpolants Mesure de rugosité basée sur les ondelettes Nouveau schéma d’analyse indépendante sur des patchs

Segmentation de maillages triangulaires Adaptation d’un algorithme existant sur des critères de rugosité Nouveau schéma de segmentation multirésolution

Codage de maillages Adaptation d’un codeur zerotree pour un ensemble de patchs

Compression de maillages Méthode générique de compression adaptative

Perspectives

Remaillage semi-régulier Privilégiant les directions de courbure ou de texture

Analyse en ondelettes Schémas de prédiction dans les zones non lisses

basés sur les directions de courbure ou les approches fractales

Segmentation de maillages triangulaires Augmenter le nombre de clusters durant la classification

Codage de maillages Eviter la redondance au niveau des frontières de patchs Optimiser la quantification et l’allocation binaire de chaque région

Applications Transmission et décodage par région d’intérêt (ROI) Débruitage et tatouage adaptatifs

Questions …

Merci de votre attention !

Compression adaptative de surfaces par ondelettes géométriques

Documents