Estado del arte
Anabella Medina Machín
Mayo 2011
Fusión de imágenes de satélites de muy alta
resolución
Máster Universitario en Tecnologías de Telecomunicación
Fuentes de información
● Remote Sensing of Environment● ISPRS Journal of Photogrammetry and remote
sensing ● IEEE Transactions on geoscience and remote sensing● IEEE Geoscience and remote sensing letters ● Photogrammetric engineering and remote sensing
international journal of remote sensing
● Introducción● Algoritmos de fusión de imágenes● Índices de calidad● Inventario de cubiertas vegetales● Conclusiones● Bibliografía
Contenidos
Introducción
● Objetivos ● Fuente de datos ● Características de las imágenes de satélites● Satélites de alta resolución● Preprocesado de datos crudos
Fuente de datos
Satélites de muy alta resolución
Características de las imágenes
Diferentes resoluciones
● Resolución temporal
● Resolución espacial
● Resolución radiométrica
● Resolución espectral
Diferentes resolucionesResolución espacial
Resolución espectral
Resolución radiométrica
Satélites de muy alta resolución
● Ikonos
● QuickBird
● GeoEye-1
Satélite IkonosFecha de lanzamiento 24 Septiembre 1999
Propietario GeoEye
Peso 720 Kg
Altitud 681 Km
Sensor PAN 1 m
Sensor MS 4 bandas, 4 m
Ancho de barrido 11,3 Km (nadir), 13,8 Km (26º off-nadir)
Tiempo de revisita 1 a 3 días
Tamaño de escenaPedido mínimo 49 Km2 de archivo y 100 Km2 de programación
Resolución radiométrica 8 ó 11 bits/píxel
Satélite QuickBird
Fecha de lanzamiento 18 Octubre 2001
Propietario DigitalGlobe
Peso 900 Kg
Altitud 450 Km
Sensor PAN 0.7 m
Sensor MS 4 bandas, 2.8 m
Ancho de barrido 16.5 Km
Tiempo de revisita 1 a 3.5 días
Tamaño de escena
16 X 16 KmPedido mínimo 25 Km2 de archivo y 90 Km2 de programación
Resolución radiométrica 11 bits/píxel
Satélite GeoEye-1Fecha de lanzamiento 6 Septiembre 2008
Propietario GeoEye
Peso 1959 Kg
Altitud 681 Km
Sensor PAN 0.41 m
Sensor MS 4 bandas, 1.65 m
Ancho de barrido 15.2 Km
Tiempo de revisita Menos de 3 días
Tamaño de escena Pedido mínimo 49 Km2 de archivo y 100 Km2 de programación
Resolución radiométrica 11 bits/píxel
Preprocesado datos crudos
● Corrección atmosférica
● Restauración de líneas o píxeles perdidos
● Corrección del bandeado de la imagen
Correcciones geométricas
Correcciones radiométricas
● Corregistración: la geometría de una imagen se convierte a planimétrica
● Georeferenciación: es el proceso mediante el cual se determinar de forma precisa la posición geográfica de los píxeles de la imagen.
Métodos de fusión de imágenes
● Objetivo● Esquema general● Ajuste radiométrico ● Métodos basados en operaciones algebráicas● Métodos basados en sustitución de componentes● Métodos basados en TWD
PAN 0.7m MS 2.8 m
● Mejorar la identificación visual● Mejorar procesos de segmentación● Mejorar la clasificación de texturas en imágenes
FUSIONADA 0.7m
Objetivos de la fusión
Objetivos de la fusión
Objetivos de la fusión
Objetivos de la fusión
Esquema general
Proceso general de fusión
Ajuste radiométrico Igualar el histograma de la PAN al de cada una de las bandas de la MS
• Ajuste de histograma basado en la distribución acumulada de frecuencias
• Ajuste basado en medias y desviación típica: trata de igualar estadísticas como la media y la desviación típica
NDPANX=a⋅NDPANb a= X
PAN, b=X −
X
PAN⋅PANdonde
NDPANX
, son los niveles digitales de la imagen PAN transformadaND
PAN, son los niveles digitales de la imagen PAN original
X, imagen de referencia
σX : es la desviación estándar de la imagen X
σPAN
: es la desviación estándar de la imagen PAN : son los valores medios de sus NDXX , PAN
Ajuste radiométrico
Transformación
MATCH (transformación lineal por intervalos de ND): igualando frecuencias acumuladas
MATCH (transformación lineal cte.): igualando medias y desviaciones estándar
Algoritmos de fusión
● Algoritmos basados en operaciones aritméticas
Métodos basados en operaciones algebraicas
N: es el número de bandas espectrales.
NDi , FUS=N⋅NDbi
NDb1NDb2...NDbN⋅NDPAN
BROVEYOperaciones algebraicas píxel a píxel entre bandas de la imagen MS y PAN
Ventajas: Fácilmente aplicable. Bajo coste computacional. Imágenes de alta calidad espacial.Desventaja: Imágenes de baja calidad espectral.
Algoritmos de fusión
● Algoritmos basados en sustitución de componentes
Métodos basados en sustitución de componentes
[ IV 1
V 2]=[
13
13
13
16
16
−26
12
−12
0 ]⋅[RGB ]H=tan−1
V 2
V 1
S=V 12V 2
2
[RGB ]=[13
16
12
13
16
−12
13
−26
0 ]⋅[ IV 1
V 2]
V 1=S⋅cosH V 2=S⋅sin H
RGB -> IHSRGB -> IHS IHS ->RGBIHS ->RGB
Transformada IHS
La transformación RGB-IHS logra “desacoplar” la información espectral en las componentes H y S, y gran parte de la información espacial en la componente I
Ventajas: Fácilmente aplicable. Imágenes de alta calidad espacial.Desventaja: Limitado a tres bandas. Imágenes de baja calidad espectral.
I SH
RGB
● Reducción del coste cómputo
[ R'
G '
B ' ]=[1 −1/2 1/21 −1/2 −1 /21 2 0 ]⋅[ I I '−I
V 1
V 2]=[1 −1 /2 1 /2
1 −1 /2 −1 /21 2 0 ]⋅[ I
V 1
V 2]=[ R
GB ]
[ R '
G '
B '
NIR' ]=[ R G B
NIR ] =I '−I=PAN−I
I=RGBNIR/4
● Extensible a cuatro bandas
Métodos basados en sustitución de componentes
Transformada eFIHSMétodo de fusión rápido basado en esta transformación IHS lineal
Probabilidad de que un fotón emitido o reflejado a un frecuencia ν sea detectado por el sensor.Probabilidad de que un fotón emitido o reflejado a un frecuencia ν sea detectado por el sensor.
i
SRF del sensor PAN
SRF de la banda i del sensor MS
La probabilidad de que un fotón a esa frecuencia ν sea detectado por el sensor PAN, en un evento p: P p=∫d
La probabilidad de que un fotón a frecuencia ν sea detectado por el sensor MS, en un evento mi :
P mi=∫i d
Transformada eFIHS-SRFTeniendo en cuenta la Respuesta Espectral de los sensores (SRF)
Métodos basados en sustitución de componentes
La probabilidad de que un fotón detectado por el sensor PAN (evento p) sea también detectado por el sensor MS (evento mi) viene dada por el cociente entre el área intersección de el área total:
P mi / p=P mi∩ p
P p
La probabilidad de que un fotón detectado por el sensor MS (evento mi) sea también detectado por el sensor PAN (evento p):
P p /mi=P mi∩ p
P mi
El número total de fotones detectados simultáneamente por ambos sensores (np,i) es:
n p , i=P mi / p⋅n p
n p ,i=P p /mi⋅ni
Si combinamos ambas ecuaciones se puede predecir, dado el np detectados por el sensor PAN, el número de fotones n'i que debería detectar el sensor MS:
ni'=
P mi / pP p /mi
⋅n p
Métodos basados en sustitución de componentes
Transformada eFIHS-SRF
I=∑i=1
i=4
ni /4 I '=∑i=1
i=4
ni' /4=∑
i=1
i=4 P mi / pP p /mi
14⋅n p
Se estima la imagen I' que observaría el sensor MS si trabajara a la resolución espacial del sensor PAN
=∑i=1
i=4 P mi/ pP p /mi
Depende de la SRF de los sensores PAN y MS
I '=⋅14⋅n p
[ nB'
nG'
nR'
nNIR' ]=[ nB⋅nB/n
nG⋅nG/nnR⋅nR/n
nNIR⋅nNIR /n] n=∑
i=1
i=4
ni /4=I
=I '−I= 14⋅⋅n p−∑
i=1
i=4
ni
Métodos basados en sustitución de componentes
Método de fusión eFIHS-SRFBasado en el FIHS: depende del grado de solape entre curvas del sensor PAN y MULTI
donde
Transformada PCA
● Matriz de covarianza (PCA no estandarizada) o matriz de correlación (PCA estandarizada)
● Autovalores, Autovectores
● Componentes principales
Métodos basados en sustitución de componentes
Análisis de CPs
CP1 CP2 CP3 CP4
RGBNIR
● Con la matriz de varianza-covarianza ΣX
X=〚11 12 1p
21 22 2p
. . .
. . . p1 p2 pp
〛 X i= 1
n∑k=1
n
[ xik−E X i]2
X i X j=1
n∑k=1
n
[x ik−E X i][x jk−E X j]
X=〚11 12 1p
21 22 2p
. . .
. . . p1 p2 pp
〛 X i X j=
X i X j
X i⋅ X j
Métodos basados en sustitución de componentesAnálisis de CPs
● Con la matriz de correlación ρX
Y 1=a1t X =a11 X 1a21 X 2a p1 X p
Y 2=a2t X =a12 X 1a22 X 2a p2 X p
.
.Y p=a p
t X =a1p X 1a2p X 2a pp X p
Var Y 1=1
Var Y 2=2
⋮Var Y p= p
Y=〚1 0 0 00 2 0 00 0 . 00 0 0 p
〛λi son los autovalores
∣ X− I∣=0
∣ X− I∣⋅a iT=0
Sabiendo: Autovalores:
Autovectores:
X =Y⋅A−1
Transformada inversa
ait : autovectores
Y1,Y2,...,Yp,: nuevas CPsX1, . . . , Xp,: variables originales
Cálculo de las CPs
Métodos basados en sustitución de componentes
CP1
Métodos basados en TWD
Las funciones wavelet permiten a través de una transformada integral, descomponer datos o funciones en componentes de distinta frecuencia.
Las funciones wavelet permiten a través de una transformada integral, descomponer datos o funciones en componentes de distinta frecuencia.
● Algoritmo Decimado: TWD mallat
● Algoritmo No Decimado: átrous
En una imagen, componentes de baja frecuencia: zonas o regiones de intensidades (ND) uniformes.
Componentes de alta frecuencia: zonas de cambio brusco de intensidad, bordes→ Detalle Espacial
Nivel 0. Imagen original, “f” y “c”.
Resolución espacial: r
Nivel 1. Aproximación, “f/2” y “c/2”.
Resolución espacial: r/2
Nivel 2. Aproximación, “f/4” y “c/4”.
Resolución espacial: r/4
......
Nivel N. Aproximación, “f/2N” y “c/2N”.
Resolución espacial: r/2N
Métodos basados en TWD
Las imágenes aproximación se obtienen utilizando funciones de escala φ (x) asociadas a unaWavelet Madre Ψ (x).
Las imágenes aproximación se obtienen utilizando funciones de escala φ (x) asociadas a unaWavelet Madre Ψ (x).
Las transformaciones wavelet permiten determinar la diferencia entre dos niveles sucesivos
⇒ el DETALLE ESPACIAL que se pierde al pasar de un nivel a otro
Las transformaciones wavelet permiten determinar la diferencia entre dos niveles sucesivos
⇒ el DETALLE ESPACIAL que se pierde al pasar de un nivel a otro
Algoritmo Mallat
Algoritmo de Mallat
Imagen original A2j (x,y)f,c
Aproximación A2 j1 x , y f /2,c /2
Detalle Vertical D2 j11 x , y f /2,c /2
Detalle horizontal D2 j12 x , y f /2, c/2
Detalle diagonal D2 j13 x , y f /2,c/2
Análisis
Síntesis
Métodos basados en TWD
Filtros h, H: asociados a la función de escala φ (x) , de paso bajo, baja frecuenciaFiltros g, G: asociado a la función wavelet ψ (x), de paso alto, alta frecuencia
Función wavelet: Daubechies “db4”
h :{1−34 2
, 3−342
, 3342
. 1342 }
g :{− 1342
, 3342
,− 3−342
. 1−342 }
Algoritmo de mallatImplementación práctica del algoritmo de Mallat utilizando FPA, FPB
Métodos basados en TWDAlgoritmo de mallat: Fase de análisis
Algoritmo de mallat: Fase de síntesis
Métodos basados en TWD
Método de fusión basado en el algoritmo de mallat
Métodos basados en TWD
Las imágenes aproximación se obtienen utilizando funciones de escala φ
Nivel 0. Imagen original, “f” y “c”.
Resolución espacial: r
Nivel 1. Aproximación, “f” y “c”.
Resolución espacial: r/2
Nivel 2. Aproximación, “f” y “c”.
Resolución espacial: r/4
......Nivel N. Aproximación, “f/” y “c”.
Resolución espacial: r/2N
El detalle espacial que se pierde al pasar de un nivel al nivel consecutivo se obtienedirectamente restando las imágenes aproximación de dichos niveles → Planos wavelet o coeficientes wavelet
Algoritmo átrous
Métodos basados en TWD
Diferencia
FiltradoFunción de escala
Spline B3
Algoritmo atrous
Métodos basados en TWD
Obtención de planos wavelet o coeficientes wavelet
Implementación práctica del algoritmo atrous
C j1x , y =A j x , y −A j1 x , y
A j x , y =A jn x , y∑k=1
n
C jk x , y
Método de fusión átrous AW (additive wavelet)
Métodos basados en TWD
Método Wavelet Aditivo sobre la componente Intensidad (AWI)
Métodos basados en TWD
Método Wavelet Aditivo sobre la Primera Componente Principal (AWPC)
Métodos basados en TWD
Métodos basados en filtros direccionales
Medidas de calidad de las imágenes fusionadas
● Métodos cualitativos (medidas subjetivas)● Métodos cuantitativos
● Coeficiente de correlación● Índice Zhou● Universal image quality index● ERGAS
Método cuantitativos
Método cuantitativos
Coeficiente de correlaciónr=
XY
X⋅Y
De forma práctica:
r=∑
iFUS i−FUS m⋅MS i−MS m
∑iFUS i−FUS m
2⋅∑iMS i−MS m
2
FUSi : valor de intensidad de la banda i de la imagen FUSMSi : valor de intensidad de la banda i de la imagen MSFUSm e MSm : valores de intensidad medios de las imágenes FUS y MS
Calidad Espectral
Método cuantitativos
Índice Zhou
〚−1 −1 −1−1 8 −1−1 −1 −1〛
Filtro laplaciano para extraer la componente paso alto de la PAN y la FUS
r=∑
iFUS i−FUS m⋅PAN i−PAN m
∑iFUS i−FUS m
2⋅∑iPAN i−PAN m
2
Mide la calidad espacial
donde FUSi es el valor de intensidad de la banda i de la imagen fusionada filtrada, PANi es el valor de intensidad de la banda i de la imagen PAN filtrada y FUS
m y PAN
m son los valores de intensidad medios de las imágenes
FUS y PAN filtradas respectivamente
Calidad Espacial
Método cuantitativos
Universal image quality index
Q=4 xy x y
x2 y
2[x 2y2]
● Pérdida de correlación● Distorsión lumínica ● Distorsión del contraste
x=1N ∑
i=1
N
xi , y=1N ∑
i=1
N
yi
x2= 1
N−1∑i=1
N
xi−x 2 , y2= 1
N−1∑i=1
N
y i−y 2
xy=1
N−1∑i=1
N
x i−x y i−y
Q= xy
x y⋅
2⋅x yx 2y2
⋅2⋅ x y
x2 y
2
x : valores de intensidad de la banda i de la imagen FUSy : valores de intensidad de la banda i de la imagen MS
Método cuantitativos
ERGAS espectralMide la calidad espectral de la imagen FUS
ERGAS Espectrak=100⋅hl 1
N ∑i=1
N RMSE Bi2
M MS i2
RMSE Espectral Bi=1n ∑k=1
n
MS i k −FUS i k 2
Donde Mi representa el valor medio de la banda Bi , h la resolución espacial del sensor PAN, y l la resolución espacial del sensor MS, N respresenta el número de bandas y RMSE es:
Calidad Espectral
Método cuantitativos
ERGAS espacialMide la calidad espacial de la imagen FUS
RMSE Espacial Bi=1n ∑k=1
n
PAN i k −FUS i k 2
ERGAS Espacial=100⋅hl 1
N ∑i=1
N RMSE Bi2
M PAN i2
Donde MPAN i representa el valor medio de la imagen PAN, h la resolución espacial del
sensor PAN, y l la resolución espacial del sensor MS, N respresenta el número de bandas y RMSE es:
Calidad Espacial
Inventario de cubiertas vegetales
Índice de vegetación
Normalized Difference Vegetation Index (NDVI)
Permite identificar masas vegetalesPermite identificar masas vegetales
NDVI= Infrarrojocercano−RojoInfrarrojocercanoRojo
Inventario de cubiertas vegetalesA partir del NDVI: Obtenemos imágenes de vegetación
Inventario de cubiertas vegetales
Conclusiones● Las técnicas de fusión permiten mejorar el detalle espacial
de las imágenes multiespectrales.● Se pueden fusionar imágenes procedentes de diferentes
sensores a bordo de un mismo o diferente satélite● Existen infinidad de técnicas y cada una mejora aspectos
distintos de una imagen (detalle espacial ó espectral).● Existen una serie de índices de calidad que permiten medir
la calidad cuantitativa de una imagen aunque no parece que haya consenso entre los investigadores.
● Aplicación principal de estas técnicas es que mejora considerablemente la detección e identificación visual de diferentes cubiertas.
Bibliografía● Choi, M.; A New Intensity-Hue-Saturation Fusion Approach to Image Fusion with a Tradeoff Parameter. IEEE
Transactions on Geoscience and Remote Sensing: 44, 1672-1682 (2006).
● Mitchell H.B.,. Image Fusion: Theories, Techniques and Applications. Berlin: Springer-Verlag, (2010)
● Garzelli, A., F. Nencini y L. Alparone; Pan-Sharpening of Multispectral Images: A Critical Review and Comparison, IEEE International Geoscience and Remote Sensing Symposium, 81-84 (2004).
● Gónzalez-Audicana, M., J. L. Saleta, R. García Catalán y R. García; Fusion of Multiespectral and Panchromatic Images Using Improved IHS and PCA Mergers based on Wavelet Decomposition, IEEE Transactions on Geosciences and Remote Sensing: 42 (6), 1291-1297 (2004).
● Stathaki T., Image Fusion. Algorithms and Applications. London: Elsevier Ltd, (2008)
● González-Audicana, M., X. Otazu, O. Fors y A. Seco; Comparison Between the Mallat’s and the àtrous Discrete Wavelet Transform Based Algorithms for the Fusion of Multispectral and Panchromatic Images, International Journal of Remote Sensing; 26: 597-616 (2005).
● Gonzalo, C. y M. Lillo-Saavedra; Fusión de Imágenes Quickbird Mediante una Representación Conjunta Multirresolución-Multidirección. IEEE Latin America Transaction: 5(1) 32-35 (2007).
● Lillo-Saavedra M. y C. Gonzalo; Spectral or Spatial Quality for Fused Satellite Imagery? A Trade-Off Solution Using Wavelet à trous Algorithm. International Journal of Remote Sensing: 27(7), 1453-1464 (2006).
● Hong, G. and Zhang, Y., Comparison and improvement of wavelet-based image fusion, International Journal of Remote Sensing, 29 (3), 673-691, (2008)
Estado del arte
Anabella Medina Machín
Fusión de imágenes de satélites de muy alta
resolución
Máster Universitario en Tecnologías de Telecomunicación