1
Backfrieder-Hagenberg
BildfusionMGV
FH-Hagenberg
Backfrieder-Hagenberg
Warum Bildüberlagerung?
• Identizierung von Bildstrukturen• Zusammenführen komplementärer
Information– Z.B. Farb-, SW-Bild– Medizin: Bilder aus verschiedenen
Verfahren, CT und PET
2
Backfrieder-Hagenberg
Registrierung: Anwendungen
Backfrieder-Hagenberg
Klassifizierung derAlgorithmen zur Fusion
• Intra Subject– gleiche Modalität– verschiedene
Modalitäten• Inter Subject
– gleiche Modalität
Rigid Body
Elastic Transforms
3
Backfrieder-Hagenberg
Rigid Body: Translation
Backfrieder-Hagenberg
Rigid Body: Rotation
4
Backfrieder-Hagenberg
Rigid Body: Skalierung
Backfrieder-Hagenberg
Methodik
•Definition von einander entsprechendenMerkmalen (Features) in beiden Bildern
•Minimierung des Abstandes zwischen den Features (Kostenfunktion)
–Berechnung einer Transformationsmatrix
•Transformation des Bildes
•Darstellung
5
Backfrieder-Hagenberg
Matching-Algorithmen
• Point-to-Point• Point-to-many-Points• Surface-to-Points
– Surface-to-distance-map– Chamfer-matching
Backfrieder-Hagenberg
Point to Point Matching•Zwei Punktsätze definiert
•gleiche Anzahl von Punktpaaren in beidenObjekten
•Abstand zwischenentsrechenden Punktenminimiert
•Definition entsrechenderPunkte oft schwierig
6
Backfrieder-Hagenberg
Points-to-Many-Points Matching
•Keine einander entsprechenden Punktpaare
•Minimierung des mittleren Abstandes zu den Punkten
Backfrieder-Hagenberg
Surface to Points Matching: Chamfer Matching
• Head-Hat Algorithmus• Features
– Oberfläche des Basis Objekts (feinerstrukurierte Oberfläche)
– Ausgewählte Punkte von der Oberflächedes Matching Objekts
7
Backfrieder-Hagenberg
Chamfer Algorithmus
• Abstandstransformation• Pixelwert=Abstand zum nähesten
Konturpixel• Berechnung der Abstände in zwei
Durchläufen
Backfrieder-Hagenberg
Chamfer 1• Extraktion der Kontur• Initialisierung der Matrix (0=Kontur,
INF=sonst)
8
Backfrieder-Hagenberg
Chamfer 3: Masken
• Distanz am Punkt P berechnen• Min(d(Mark,P)+d(Matrix))
RU RU
RU
RU
LO
LO
LO
LO
P P
Backfrieder-Hagenberg
Chamfer 3• Distanztrafo in zwei Durchgängen
LO->RU RU->LO
9
Backfrieder-Hagenberg
Iterative Annäherung
Backfrieder-Hagenberg
10
Backfrieder-Hagenberg
Fusion PET-MR: Vorverarbeitung
Original-Daten Segmentierte Daten
Backfrieder-Hagenberg
Chamfer-Mathing: PET-MR
11
Backfrieder-Hagenberg
Volumsbasierte MethodenMutual Information
• Registrierung anhand der Pixelwerte• Entsprechende Gewebstypen in beiden
Volumina• Charakteristischer Wertebereich für
jedes Gewebe, abhängig von der Modalität• Statistisches Maß (Mutual Information)
zur Bestimmung des Grades derÜberlagerung
Backfrieder-Hagenberg
2D-Histogramm
• Zwei Bilder• Intensitätswerte in entsprechenden
Pixeln-> Koordinaten im 2D Histogramm
• Idente Bilder: 1. Mediane• Gewebstypen formen Cluster• nicht registrierte Bilder verwischen
die Cluster
12
Backfrieder-Hagenberg
Beispiele: Histogramm
Backfrieder-Hagenberg
Mono-Modal: unregistriert
Scattergramm ohne erkennbare Zuordnung
13
Backfrieder-Hagenberg
Mono-modal: registriert
Scattergramm entlang der ersten Mediane geordnet
Backfrieder-Hagenberg
Multi-modal: unregistriert
Scattergramm: grobe Cluster, keine Pixel-Entsprechnungen
14
Backfrieder-Hagenberg
Multi-modal: registriert
Minimierte Cluster, Pixelzuordnung optimiert
Backfrieder-Hagenberg
Histogramm: unregistriert
Cluster im Histogramm bei registrierten Daten
Verschmierte Cluster bei nicht registrierten Daten
15
Backfrieder-Hagenberg
Beispiel: MI
Einender entsprech-ende Gewebearten in beiden Modalitätenabgebildet
Keine Segmentierung
Backfrieder-Hagenberg
Simultane Messung SPECT-CT
Röntgen Röhre Kamera Kopf
Röntgen-Detektoren
SynchonisierterPatiententisch
16
15/04/99 Backfrieder-Hagenberg 31
AttenuationAttenuationCorrectionCorrection
Functional Anatomic Mapping on the Millennium VG
CT
SPECT/PET
Inherent Inherent Image Image
RegistrationRegistration
Backfrieder-Hagenberg
‘Inherent’ Image Registration'Breath-hold' fast CT shows better definition
But Hawkeye images is better registered to the NM
17
Backfrieder-Hagenberg
Klinische Beispiele
• Chamfer matching• Mutual Information Matching• Inhärentes matching
Backfrieder-Hagenberg
Vitruelle Endoskopie
18
Backfrieder-Hagenberg
Mutual Information
Backfrieder-Hagenberg
Stabilität des MI-Matchings
19
Backfrieder-Hagenberg
64 y/o Male
Dose: 10.8 mCi
2h45 Post Injection
Thickness: 8 mm
Acq. Time: 40 min.
Gastric CancerFDGFDGPETPET
AnatomicAnatomicImageImage
InherentInherentRegistrationRegistration
Images Courtesy of Vanderbilt University Medical Center, Nashville, TN
Backfrieder-Hagenberg
FDGFDGPETPET
Anatomic Anatomic ImageImage
InherentInherentRegistrationRegistration
52 y/o Male
Dose: 10.4 mCi
2h34m Post Injection
Thickness: 8 mm
Acq. Time: 40 min.
Images Courtesy of Vanderbilt University Medical Center, Nashville, TN
Melanoma
20
Backfrieder-Hagenberg
Images Courtesy of Images Courtesy of HadasaHadasa Medical Center, Jerusalem, IsraelMedical Center, Jerusalem, Israel
I-131 Adenocarcinoma
Backfrieder-HagenbergImages Courtesy of Images Courtesy of HadasaHadasa Medical Center, Jerusalem, IsraelMedical Center, Jerusalem, Israel
Adenocarcinoma I131
I131I131SPECTSPECT
Anatomic Anatomic ImageImage
InherentInherentRegistrationRegistration
