Structure from Motion 1

3D structure from motion

Tony Jebara, Ali Azarbayejani, Alex Pentland

IEEE signal processing Magazine 16(3)

Structure from Motion 2

Introduccion

• Estructura a partir del movimiento (SfM: Structure from Motion): Cálculo de geometría 3D a partir del flujo óptico o movimiento en 2D.

• Asunciones que simplifican el problema– Los objetos se mueven de forma rígida o, equivalentemente, sólo la cámara se

mueve en el entorno

– Existe un módulo que preprocesa las imágenes para extraer todas las características relevantes en 2D (puntos caracteristicos, esquinas, lineas) en cada trama las caracteristicas se extraen y se obtienen las correspondencias intertrama

– No asumen conocimiento sobre las posiciones 3D, el movimiento de la cámara o la geometría de la cámara

Structure from Motion 3

Structure from Motion 4

Aplicaciones

• Reconstrucciones de modelos 3D: reconstrucción de construcciones arquitectónicas

• Movimiento 3D coordinado (motion matching)– Inserción de objetos virtuales en las escenas (fig 2)

– Animación controlada visualmente (fig 1)

– Juegos, cine, video, medios interactivos. Diseño industrial, visualizacion, realida virtual y realización aumentada virtualmente

• Calibración de cámara: visión activa– Parámetros externos de posición de la cámara

– Parámetros internos como la longitud focal

Structure from Motion 5

Structure from Motion 6

Aplicaciones

• Visión 3D: SfM como subcomponente de aplicaciones de visión 3D

• Interfaces perceptivas: reconocimiento de gestos

• Robótica– Coordinación ojo-mano, navegación, detección de obstaculos

• Codificación 3D de secuencias

• Mosaicos y rectificación: reconocimiento remoto

Structure from Motion 7

Origenes de SfM

• Photogrammetry: extracción de información tridimensional para construcción de mapas. SfM se utilizó originalmente para rectificar y construir mosaicos, y para estimar elevaciones

• Visión– Marr and Poggio reconstrucción 3D a partir de estereo, basado en

emparejamientos de puntos singulares

– Ulman muestra que el emparejamiento de cuatro puntos en tres tramas da una solución única para los parámetros de movimiento y estructura, a través de un algoritmo no-lineal

Structure from Motion 8

Técnicas lineales

• Métodos lineales: – tienen solución directa

– Son más elegantes

– Son inestables numericamente

Structure from Motion 9

Geometría proyectiva

COP: centro de proyección

Proyección de perspectiva

Structure from Motion 10

Geometría epipolar: visión estereo

Plano epipolar

Lineas epipolares: intersección de la imagencon el plano epipolar

F matriz fundamental

Structure from Motion 11

Geometria epipolar: La matriz fundamental F

• Relaciona las dos vistas

• Codifica la geometría intrínseca tanto como el movimiento relativo extrínseco entre las cámaras

• Es una relación lineal

• La estimación de F es independiente de la escena

• Identificar un punto en una imagen nos da una línea epipolar en la otra imagen

Structure from Motion 12

Geometria epipolar: La matriz fundamental F

• Dados ocho puntos observados y emparejados, se plantean 8 ecuaciones que dan un sistema de ecuaciones lineal

• Dados mas de 8 puntos se resuelve por mínimos cuadrados

• La estimación es numericamente inestable, involucra la SVD

• Degeneraciones: coincidencia de los COP, puntos coplanares en la escena, sensibilidad al ruido

Structure from Motion 13

Geometria trifocal

Tensor trifocal con 18 grados de libertad que se pueden estimarpor minimos cudrados

Structure from Motion 14

Tomasi-Kanade factorización

• Basado en la proyección ortográfica

Structure from Motion 15

Tomasi-Kanade

• P puntos seguidos en F tramas en una matriz W de tamaño 2FxP

• Para cada trama los P puntos se registran substrayendo la media

• La matriz resultante es factorizada W=RS

• Inconvenientes: no calcula movimientos hacia delante, movimientos: traslaciones en el plano imagen, rotaciones limitadas de la camara

Structure from Motion 16

Issues for motion sequences

• Seguimiento probabilistico de las caracterísiticas. Es preciso modelar el error de estimación de las caracteristicas (Gausianas)

• Causalidad y recursion:el movimiento de la cámara puede ser tenido en cuenta para añadir robusted

• Los desplazamientos entre los COP (baseline) son pequeños: genera inestabilidades numericas/facilita el seguimiento de caracteristicas

Structure from Motion 17

Proposición

• Recuperación recursiva de estructura 3D, movimiento 3D y geometría de la cámara a partir de correspondencias sobre una secuencia

• Caracteristicas– Integra un modelo dinámico

– Modela el error

– Tiempo real, online

– Da un resultado métrico 3D completo

Structure from Motion 18

El sistema dinámico

• Sistema dinámico definido en el plano imagen, x es el estado interno, y el observable

• La observación es no lineal y corrompida por ruido

• La dinámica interna es lineal y corrompida por ruido, en general se considera un random walk

Structure from Motion 19

Representación interna

• Geometria proyectiva central

Desacopla la inversa de la distanciafocal de la coordenada Z del puntocentral de la image

Structure from Motion 20

Representacion interna

• Modelo 3D: N puntos seguidos en la secuencia de F trama

• Cada punto se representa por su rayo de perspectiva

• Reducida complejidad y mejora de estabilidad numerica

Structure from Motion 21

Representación interna

• Traslacion 3D, definida sobre el sistema centrado en la imagen

• Debido a la sensibilidad de la estimación en el eje Z se usa la transformación que permite observarlo

Structure from Motion 22

Representación interna

• Rotación 3D: mediante un cuaternion unitario que tiene tres grados de libertad.

• Y un cuaternio incremental que permite mantener un estimador de la rotación global

Structure from Motion 23

Extended Kalman filter

• La representación interna es

• Mas un cuaternion de rotación externo al algoritmo

Structure from Motion 24

Experimento 1

Structure from Motion 25

Structure from Motion 26

Experimento 2

Structure from Motion 27

Structure from Motion 28

Real time face tracking

Structure from Motion 29