Optical measurementof partially specular surfaces by combining
pattern projection and deflectometrytechniques
Marc Sandner
Vortrag zur Masterarbeit im Studiengang Elektro‐ und Informationstechnik
Vertiefungsrichtung Photonik an der Fernuniversität Hagen
2
1. Einleitung: Geometrische Optik, Reflexion an Oberflächen
2. Geometrisch‐optische Phasenmesstechniken (GOP)
3. Rauschabschätzung bei GOP‐Messungen
4. Motivation
5. Kombinierte GOP : Hybridreflektometrie
6. Messbeispiele
7. Zusammenfassung, Fazit und Ausblick
Einleitung: Geometrische Optik
3
Geometrische Optik, Strahlenoptik:
Betrachtung eines Lichtwellenfeldes als Strahl(Polarisation & Phase werden nicht betrachtet)
λ
Einleitung: Reflexion an Oberflächen
4
Reflexionsgesetz:
θi = − θr
Reflexionsverhalten ist abhängig von Oberflächenrauheit:
Ideal glatte Oberfläche:
Ideal matteOberfläche:
HybrideOberfläche:
Spiegel Papier Technische Oberfläche
GerichteteReflexion
StreuungReflexion+ Streuung
Einleitung: Reflexion an Oberflächen
5
Geometrisch‐optische Phasenmesstechniken (GOP)
6
GOP:
Geometrisch‐optische Phasenmesstechniken
• Physikalisches Modell: Strahlenoptik
• Phasenmessung:
• Signalquelle liefert flächige, sinusförmige Intensitätsmuster
• Messobjekt moduliert das Muster
• Aufnahme des modulierten Musters mit Kamera
• Ermittlung der Musterposition (Phase), geometrisch‐optische Berechnung der Oberflächengeometrie
Geometrisch‐optische Phasenmesstechniken (GOP)
7
Geometrisch‐optische Phasenmessung:
Geometrisch‐optische Phasenmesstechniken (GOP)
8
Aufgenommene Helligkeitsverteilung
Geometrisch‐optische Phasenmessung
255
0
g
Geometrisch‐optische Phasenmesstechniken (GOP)
8
Aufgenommene Helligkeitsverteilung
Geometrisch‐optische Phasenmessung
255
0
g
Geometrisch‐optische Phasenmesstechniken (GOP)
8
Aufgenommene Helligkeitsverteilung
Geometrisch‐optische Phasenmessung
255
0
g
Geometrisch‐optische Phasenmesstechniken (GOP)
8
Aufgenommene Helligkeitsverteilung
Geometrisch‐optische Phasenmessung
255
0
g
Geometrisch‐optische Phasenmesstechniken (GOP)
8
Phasenkarte
Geometrisch‐optische Phasenmessung
2 π
0
φ
Geometrisch‐optische Phasenmesstechniken (GOP)
8
Demodulierte Phasenkarte
Geometrisch‐optische Phasenmessung
10 π
0
φ
Geometrisch‐optische Phasenmesstechniken (GOP)
9
Nach: Beyerer et al: Automatische Sichtprüfung: Grundlagen, Methoden und Praxis der
Bildgewinnung und Bildauswertung. Berlin: Springer, 2012
Optical 3Dmetrologytechniques
Triangulation
Intensity
Optical path length
Optical phase
Time of flight
active
passive
Pattern phase
Fringe Projection (FP)
Phase Measuring Deflectometry (PMD)
Line / Pattern Projection
Moiré
Photogrammetry
Light‐field imaging
…
Confocal microscopy
…
Interferometry
…
LiDAR
Streifenprojektion
• Muster wird projiziert, Objekt streut Licht
• Objektform wird berechnetaus Phasenmessung
• Messunsicherheit: Einige µm.
GOP: Streifenprojektion
10
Streifenprojektion
• Muster wird projiziert, Objekt streut Licht
• Objektform wird berechnetaus Phasenmessung
• Messunsicherheit: Einige µm.
GOP: Streifenprojektion
10
(Phasenmessende) Deflektometrie
• Muster auf Monitor,Objekt reflektiert Licht
• Oberflächennormale durch Interpretation der Phasenmessung
• Messunsicherheit: Einige Hundert nm.
GOP: Deflektometrie
11
(Phasenmessende) Deflektometrie
• Muster auf Monitor,Objekt reflektiert Licht
• Oberflächennormale durch Interpretation der Phasenmessung
• Messunsicherheit: Einige Hundert nm.
GOP: Deflektometrie
11
Deflektometrisches Problem
Keine eindeutige Oberflächennormalenverteilungaus Phasendaten.
GOP: Deflektometrie
12
Deflektometrisches Problem
Keine eindeutige Oberflächennormalenverteilungaus Phasendaten.
GOP: Deflektometrie
12
Regularisierung mittels Referenzabstand (RDR) ‐ Ansatz:
Abstand d eines einzelnen Punktes bekannt.
Realisierung: • Manuelle Justierung (d ≈ 250 µm)• Messung mit Distanzsensor (d ≈ 1 µm, Preis = 10k€)
GOP: Deflektometrie
13
GOP: Deflektometrie
Einfluß der Abstands d zur Referenzhöhe auf dem Messfehler:
Bei manueller Justierung (d ≈ 250 µm)Messfehler der Grobform von ca. 1 µm.
Formdifferenzbild:
Sandner, M. et al.: Absolut – Abstandsreferenz für die Streifenreflexionstechnik zur Verringerung systematischer
Messfehler, DGaO Proceedings 2011
14
0 nm
880 nm
Regularisierung mittels IniShape (ISR) ‐ Ansatz:
Grobform des Objektes ist bekannt.
• Keine manuelle Justierung nötig• Objektform muss vor der Messung bekannt sein!
GOP: Deflektometrie
15
Regularisierung mittels IniShape (ISR) ‐ Ansatz:
Grobform des Objektes ist bekannt.
• Keine manuelle Justierung nötig• Objektform muss vor der Messung bekannt sein!
GOP: Deflektometrie
15
Rauschabschätzung bei GOP‐Messungen
16
Messrauschen kann aus Einzelmessung berechnet werden 1,Streifenmodulation M ist ausschlaggebender Parameter 2 :
Signal‐Rausch‐Abstand: φφσ
1 Fischer, M. et al: Vorhersage des Phasenrauschens in optischen Messsystemen mit strukturierter Beleuchtung, tm ‐
Technisches Messen 79, 2012
2 Bothe, T.: Grundlegende Untersuchungen zur Formerfassung mit einem neuartigen Prinzip der
Streifenprojektion und Realisierung in einer kompakten 3D‐Kamera. (Dissertation), BIAS‐Verlag, 2008
Rauschabschätzung bei GOP‐Messungen
Abhängigkeit der Streifenmodulation M von Objektrauheit Ra
17
0.001
0.010
0.100
1.000
0.01 0.1 1 10
Average fringe m
odulation M
Nominal average Roughness Ra / µm
Average M (PMD)Average M (FP)
0.00
0.05
0.10
0.15
0.20
0.25
0 100 200 300 400 500 600 700 800
Average fringe m
odulation M
Fringe Period P / pixel
Average M (PMD)Average M (FP)
Rauschabschätzung bei GOP‐Messungen
Abhängigkeit der Streifenmodulation M von Streifenperiode P
18
Motivation
19
Geometrisch‐optische Phasenmesstechniken (GOP) :
• Streifenprojektion (FP)
• Deflektometrie (PMD)
Eigenschaften: Hochpräzise, schnell, berührungslos, robust.
Motivation
20
Vielseitig einsetzbar.
Einsatz von GOP für:
• Diffus streuende Oberflächen (FP)
• Gerichtet reflektierende Oberflächen (PMD)
Motivation
20
Vielseitig einsetzbar.
Einsatz von GOP für:
• Diffus streuende Oberflächen (FP)
• Gerichtet reflektierende Oberflächen (PMD)
Eingeschränkte Verwendbarkeit für Oberflächen mit unbekannten oder lokal variierenden Reflexionseigenschaften!
Motivation
20
Vielseitig einsetzbar.
Einsatz von GOP für:
• Diffus streuende Oberflächen (FP)
• Gerichtet reflektierende Oberflächen (PMD)
Eingeschränkte Verwendbarkeit für Oberflächen mit unbekannten oder lokal variierenden Reflexionseigenschaften!
Kombination der Messtechniken
Kombinierte GOP: Hybridreflektometrie
Hybridreflektometrie:
• Kombinierter FP / PMD ‐ Aufbau
• Fusion der Messdaten
21
Kombinierte GOP: Hybridreflektometrie
Hybridreflektometrie Testaufbau:
Senke:Messkamera
Senke : Hilfskamera für
Streifenprojektions‐Messung
Quelle: MustergeberTFT‐Monitor
Quelle : MustergeberProjektor
22
Kombinierte GOP: Hybridreflektometrie
Messprozess:
23
Kombinierte GOP: Hybridreflektometrie
Messprozess:
1. Streifenprojektions‐Messung
23
Kombinierte GOP: Hybridreflektometrie
Messprozess:
1. Streifenprojektions‐Messung
2. Deflektometrie‐Messung
23
Kombinierte GOP: Hybridreflektometrie
Datenfusion (HR‐Regularisierung):
Verwendung der Formdaten aus FP‐Messungzur Normalenbestimmung aus PMD‐Messung
Hiermit iterative Berechnung der Form:
• Berechnung der Normalenverteilung mittels Systemkalibrierung
• Berechnung der Form aus Integration der Normalenverteilung
• Abgleich der berechneten Form mit initialen FP ‐ Formdaten
24
Messungen
Messungen mit FP, PMD (HRR, ISR, RDR)
Testobjekte:Oberflächen mit hybridem Reflexionsverhalten(streunend und gerichtet reflektierend)
I. Stetige Oberflächen mit örtlich homogenen Reflexionsverhalten:
a. Plane Oberfläche (Invar)
b. Hohlspiegel (Al)
II. Freiformobjekt (Al) mit örtlich variierendem Reflexionsverhaltenund unstetiger Oberfläche
Schätzer für Wiederholpräzision:Standardabweichung aus je 3 Messungen
25
Messbeispiel (Ia) : Ebene Oberfläche
26
Stetige Oberfläche mit örtlich homogener Reflektivität (Ia):
• Ebene metallische Oberfläche (Invar)
• Referenzabstand: z = ‐10 mm
Messbeispiel (Ia) : Ebene Oberfläche
27
Streifenmodulation M für Phasenmessung mit
Streifenprojektion (FP, Kamera 1) und Deflektometrie (PMD):
Streifenbreite:
FP: 12 Pixel PMD: 240 Pixel
24 %
6 %
M (FP)
14 %
6 %
M (PMD)
Messbeispiel (Ia) : Ebene Oberfläche
28
Streifenprojektion: Gemessene Form z, Tiefpassgefiltert & Original
z (FPg) z (FP)
‐13 µm +13 µm
Messbeispiel (Ia) : Ebene Oberfläche
29
Form z von Streifenprojektion und Deflektometrie (HDR, ISR, RDR)
‐13 µm +13 µm
z (FPg)
z (ISR) z (RDR)
z (HDR)
z (ISR ‐ FPg)
Messbeispiel (Ia) : Ebene Oberfläche
30
Differenz zu Form z von Streifenprojektionsmessung:
‐8 µm +8 µm
z (RDR ‐ FPg)
z (HDR ‐ FPg)
Messbeispiel (Ia) : Ebene Oberfläche
31
Standardabweichung σzp , d.h.Wiederholpräzision der Form z
für Streifenprojektion und Deflektometrie
0.00 µm
σzp (FP)
4.00 µm
0.65 µm
σzp (HDR)
0.77 µm
0.00 µm
σzp (RDR)
0.07 µm
7.10 µm
σzp (ISR)
7.25 µm
Messbeispiel (Ib) : Hohlspiegel
32
Stetige Oberfläche mit örtlich homogener Reflektivität (Ib):
• Diamantgedrehter sphärischer Spiegel, r = 200 mm (Al)
• Variation des Referenzabstands: z = {‐10 mm, 0 mm, 10 mm}
Messbeispiel (Ib) : Hohlspiegel
33
Stetige Oberfläche mit örtlich homogener Reflektivität (Ib):
Messbeispiel (Ib) : Hohlspiegel
34
Streifenmodulation M für Phasenmessung mit
Streifenprojektion (FP, Kamera 1,2) und Deflektometrie (PMD):
Streifenbreite:
FP: 50 Pixel PMD: 100 Pixel
40 %
30 %
M (PMD)
30 %
0 %
M (FP)
Residuen der Form z von Streifenprojektion und Deflektometrie (HDR, ISR, RDR) nach Abzug einer Sphäre aus numerischem Fit:
‐0.35 µm
z (ISR)
0.35 µm
‐0.35 µm
z (HDR)
0.35 µm
Messbeispiel (Ib) : Hohlspiegel
35
‐0.35 µm
z (RDR)
0.35 µm
‐35 µm
z (FP)
35 µm
Messbeispiel (Ib) : Hohlspiegel
36
Aus Messdaten ermittelter Radius der Oberfläche:
Messbeispiel (Ib) : Hohlspiegel
37
Aus Messdaten ermittelter Radius der Oberfläche:
Geringste Differenz zu nominellen Radius
für Daten aus HRR‐Messung
Messbeispiel (II) : Freiform
38
Unstetige Oberfläche mit örtlich variierender Reflektivität (II):
• Unstetige Freiformoberfläche (Al) mit Regionen R1, R2, R3, R4
• Referenzabstand: z = 0 mm
Messbeispiel (II) : Freiform
39
Streifenmodulation M für Phasenmessung mit
Streifenprojektion (FP, Kamera 1,2) und Deflektometrie (PMD):
Streifenbreite:
FP: 24 Pixel PMD: 24 Pixel
40 %
0 %
M (PMD)
40 %
0 %
M (FP)
Form z aus Streifenprojektionsmessung:
Histogramm:
Messbeispiel (II) : Freiform
40
‐1.3 mm
z (FP)
2.1 mm
Wiederholpräzision der Form z für Streifenprojektionsmessung:
Messbeispiel (II) : Freiform
41
0 µm
σzp (FP)
20 µm
Hybridreflektometrie ‐ Auswertung:
Vorverarbeitung der FP‐Formdaten:
• Interpolation fehlender Formdaten als gültigen Daten (Nicht abgeschattet, Standardabweichung < 7 µm)
HRR‐Auswertung:
• Individuelle Auswertung der gültigen Bereiche R1, R3 und R4
Messbeispiel (II) : Freiform
42
Form z in gültigen Bereichen R1, R3 und R4
aus Hybridreflektometriemessung:
Messbeispiel (II) : Freiform
43
‐1.3 mm
z (HRR)
2.1 mm
Wiederholpräzision der Form z für Hybridreflektometriemessung
in den Bereichen R1, R3 und R4:
Messbeispiel (II) : Freiform
44
0.60 µm
σzp (HRR)
0.66 µm
0.89 µm
σzp (HRR)
0.96 µm
0.95 µm
σzp (HRR)
1.02 µm
Residuen der Form z aus HRR‐Messung nach Abzug einer Sphäre aus numerischem Fit (rFit = 379,047 mm ± 0,007 mm),
Messbeispiel (II) : Freiform
45
‐1.8 µm
z (HRR)
1.8 µm
Vergleich Hybridreflektometriemessung
zu mechanischer Messung (Messschieber):
Maximale Abweichung der Flächenschwerpunkte von 23 µm
Messbeispiel (II) : Freiform
46
RegionHeight z in reference to R3:
Deviation of HRR measurement to mechanical measurement
R1 23 µm ± 80 µm
R2 9 µm ± 81 µm
R4 16 µm ± 80 µm
Formdatenaus kombinierter Messung :
Deflektometrie‐Messdaten (HRR)
Streifenprojektions‐Messdaten
Messbeispiel (II) : Freiform
47
‐1.3 mm
z (HRR, FP)
2.1 mm
Zusammenfassung
48
• Hybridreflektometrie:Kombination von Messdaten aus Streifenprojektions‐ (FP) und (1‐Kamera‐basierter) deflektometrischer (PMD) Messung
• Hybridreflektometrie‐Regularisierung (HRR): Bestimmung der Normalenverteilung auf einer Oberflächedurch Interpretation von Phasenmessdaten aus PMDmittels Formdaten aus FP
Zusammenfassung
49
Mit HRR erzielte Messergebnisse:
• Verbesserte Auflösung in Formdaten im Vergleich zu Streifenprojektion (FP), vergleichbar mit anderen 1‐Kamera PMD‐Ansätzen (RDR, ISR)
• Messbeispiel Hohlspiegel: Beste Treue zu nominellen Radius im Vergleich zu FP sowie RDR ‐ PMD, ISR ‐ PMD
• Geringere Anforderungen an Objektoberfläche:• Lokal unstetige Oberflächen messbar• Kein Justierung des Objekts notwendig• Unbekannte Formen messbar
im Gegensatz zu anderen 1‐Kamera PMD‐Ansätzen (RDR, ISR)
Zusammenfassung
50
Regularisierungs‐methode
Fixpunkt(RDR)
Ini‐Shape (ISR)
Hybridreflektometrie(HRR)
Lokal unstetige Oberflächen x x ✓UnbekannteObjektform ✓ x ✓Unbekannte
Objektposition x ✓ ✓
Fazit
51
Erste Formmessungen mittels neuartiger HRR‐basierten
Deflektometrie wurden erfolgreich demonstriert.
Hybridreflektometrie hat ein großes Potenzial
für die Messung von teilreflektierenden Oberflächen.
Ausblick
52
• Datenfusion:
• Entwicklung einer Metrik für die Güte von FP und PMD‐Messungen (u.a. aus Streifenmodulation) im Bezug auf erzeugte Formdaten
• Entwickelung eines Least‐Squares‐basierten Ansatzes zur Datenfusion; Gewichtung von FP, PMD‐Phasendaten mittels Messdatengüte
• Entwicklung einer kombinierten Systemgeometrie‐Kalibrierung
• Automatisierte Anpassung der Musterperioden
Rauschabschätzung bei GOP‐Messungen
Lokale Streifenmodulation M:
Streifenprojektions ‐Messung Deflektometrie ‐Messung
Rauschabschätzung bei GOP‐Messungen
Lokale Streifenmodulation M:
M (Streifenprojektion) M (Deflektometrie)
Normalenintegration (HRR)
Shape data zFPfrom FP measurement
Integration Loop
Calculate (x,y) from z and rays of sight
Calculate normals from ϕPMD, system geometry
and (x,y,z)
Calculate gradientsfrom (x,y,z) and normals
z ≔ Integrate (gradients)
Add offset:z ≔ z + zFP
Point cloud (zPMD , zPMD , zPMD )from HRR evaluated PMD measurement
Input: ϕPMD , z ≔ zFP , zFP≔ average(zFP)
Phase ϕPMD
from PMD measurement
Last loop iteration?
Output: zPMD ≔ z
NO YES
Calculate (xPMD, yPMD) from zPMD and rays of sight
Messbeispiel (Ib) : Hohlspiegel
Aus Messdaten ermittelter Radius der Oberfläche:
dz1 =
dz,Ref – 10 mm
dz2 =
dz,Ref
dz3 =
dz,Ref + 10 mm
rfit / mm (FP) 199.866 ± 0.006 199.878 ± 0.006 199.639 ± 0.012
rfit / mm (HRR) 200.096 ± 0.002 200.197 ± 0.015 200.232 ± 0.003
rfit / mm (ISR) 200.767 ± 0.007 200.843 ± 0.002 200.868 ± 0.022
rfit / mm (RDR) 193.407 ± 0.002 200.278 ± 0.006 207.920 ± 0.005
Dateninterpolation (FP)
Eingabe‐bild
Eingabe‐maske
Ausgabe‐maske
Ausgabe‐bild