modelado e iluminación basadas en imagen (ibm,ibr,ibl)

MODELADO E ILUMINACIÓN
BASADAS EN IMAGEN (IBM,IBR,IBL)
Rendering Avanzado
Jorge Lopez Moreno
13 de Abril de 2015
TEMAS
Teórico


La función plenóptica
Fotografía Computacional
Modelado a partir de imágenes




Visual hulls
Reconstrucción de light fields
Reconstrucción 3D a partir de imágenes
Interpolación de vistas
Iluminación basada en imágenes

HDR, tone mapping, estimación de luces,…
MODELADO TRADICIONAL (GEOMÉTRICO)
Modelado  geometría  Simulación  proyección
MODELADO TRADICIONAL (GEOMÉTRICO)
Problema  costes de la producción artística
MODELADO BASADO EN IMAGEN
Imagine visiting your favorite place, taking a few
pictures, and then turning those pictures into a
photorealisic three-dimensional computer model.
--Tesis de Paul E. Debevec
Partimos directamente de imágenes para generar
nuevas imágenes (idealmente nuevos puntos de
vista)
Ejemplo 1: LightStage
Precursores: Impostors, Sprites, Texturas mapeadas
sobre polígonos
DIABLO:Butcher--www.spritersresource.com
Ejemplo 1: LightStage
IDEA: Capturar muchos puntos de vista + una
función base de iluminaciones  Obtener nuevo
punto de vista / iluminación mediante
interpolación con pesos.
Ejemplo 1: LightStage (video)
Ejemplo 2: Multiphoto Navigation
Morphing de superpíxeles para generar nuevos puntos de vista
Input image
Superpixels
Multi view stereo output
Superpixels with no depth
Ejemplo 2: Multiphoto Navigation
Superpixels with similar
color
Superpixels used for
depth interpolation
Warped superpixels at
input image
Final result after blending
Ejemplo 2: Multiphoto Navigation
Morphing de superpíxeles para generar nuevos puntos de vista
Ejemplo 3: Multiview Reconstruction
Software para geometric reconstrucion:
 123DCatch
 Meshlab + Visual SFM
Se basa en :
 Reconocimiento de features (SIFT, SURF) 
Computer Vision
 Eroding / plane constraints
Solo reconstruye geometría
Ejemplo 3: Multiview Reconstruction
Reconstrucción de iluminación e imágenes
intrínsecas
Nuestro trabajo  (Aceptado en ToG)
Ejemplo 3: Multiview Reconstruction
Ejemplo 3: Multiview Reconstruction
Función Plenóptica
Del latín plenus (completa) opticae.
Adelson & Bergen (1991)
Describe toda la información disponible
para el observador en todo punto del
espacio y tiempo.
Es decir, todo aquello que puede ser visto.
FUNCIÓN PLENÓPTICA (I)
Trataremos deducirla por
nosotros mismos, partiendo
del caso más sencillo, con una
persona quieta.
Parametrizaremos todo lo que
pueda ver, y después la
generalizaremos.
P = P (?)
FUNCIÓN PLENÓPTICA (II)
Vista desde un sólo punto
de vista.
En un instante.
Sobre todas las longitudes
de onda del rango visible
(promediadas).
P = P (f,q)
,
FUNCIÓN PLENÓPTICA (III)
Vista desde un sólo punto
de vista.
En un instante.
Como función de la
longitud de onda
P = P (f,q,l)
FUNCIÓN PLENÓPTICA (IV)
Vista desde un sólo punto
de vista.
En el tiempo
Como función de la
longitud de onda
P = P (f,q,l,t)
FUNCIÓN PLENÓPTICA (V)
Vista desde cualquier de
vista.
En el tiempo
Como función de la
longitud de onda
P = P (f,q,l,t, Vx, Vy, Vz)
FUNCIÓN PLENÓPTICA
¿¡¿ y cómo muestreamos ésto ?!?
Esta función describe la intensidad de la luz desde cada
posible orientación y punto de vista en cada instante y
para toda posible longitud de onda
P = P (f, q, l, t, Vx, Vy, Vz)
Podemos reconstruir cualquier posible vista, en cualquier
instante, desde cualquier posición, en cualquier rango de
frecuencias
Contiene cada posible fotografía, película y todo aquello que
pudiera percibir visualmente una persona.
FUNCIÓN PLENÓPTICA
7D
Ideal
6D
Considerando sólo 3 frecuencias (RGB)
5D
Considerando los rayos en la escena sólo en
un instante de tiempo
Considerando sólo líneas a través de la
escena
Restringiendo a unas pocas
direcciones/posiciones
Considerando sólo las posiciones desde el
punto de vista
4D
3D
2D
FUNCIÓN PLENÓPTICA
7D
Ideal
6D
Considerando sólo 3 frecuencias (RGB)
Lumigraph
5D
4D
Lightfields
3D
2D
Considerando los rayos en la escena sólo
en un instante de tiempo
Considerando sólo líneas a través de la
escena
Restringiendo a unas pocas
direcciones/posiciones
Considerando sólo las posiciones desde el
punto de vista
¿QUÉ IMPLICA?
Por ahora nos olvidamos del tiempo y el color. Si suponemos
que la “radiance” (intensidad lumínica) se transmite en línea
recta podemos modelarlo como un rayo, y cada rayo vendrá
definido por 5 parámetros.
P = P (f, q,XX
l, t, Vx, Vy, Vz)
Orientación
Posición 3D
x,y,z
¿QUÉ IMPLICA?
Si además el medio de transmisión es no dispersivo entonces
al no perderse energía estas rectas serán líneas infinitas 
podemos eliminar una dimensión
En dos puntos en espacio libre cualquiera de la recta la
intensidad será la misma. Si no hubiera objetos, bastaría con
un plano para describir toda la escena y “valores” de rayos de
luz.
Orientación + 2D
Posición
2D
4D
¿QUÉ IMPLICA?
Como tenemos objetos, podemos describir la escena
plenóptica (no tiene por qué ser un cubo)
t
s
¿QUÉ IMPLICA?
Para sintetizar nuevas imágenes tendremos que coger
aquellos rayos que incidan sobre ese nuevo punto de vista
Lo podemos coger
directamente en el
punto de vista
(muy complicado de
muestrear)
¿QUÉ IMPLICA?
Para sintetizar nuevas imágenes tendremos que coger
aquellos rayos que incidan sobre ese nuevo punto de vista
Lo podemos coger
directamente en el
punto de vista
(muy complicado de
muestrear)
posición 2D
orientación 2D
Lumigraph
Podemos simplificar el muestreo, si la orientación viene dada
por la posición relativa en un segundo plano (en vez de
ángulos)
Esta forma de representación 4D
es muy eficiente en cuanto a los
cálculos geométricos, ya que la
operación de proyección de las
muestras en (u,v) al plano de la
imagen sólo implica álgebra lineal
(y viceversa).
Coordenadas esféricas o cilíndricas
requieren más cálculos
Abstraemos el
objeto
L(s,t,u,v)
light slab
ó beam
u
s
t
v
Lumigraph
Si el punto de vista está sobre uno de los planos en los
que se ha llevado a cabo el muestreo, el cálculo la
síntesis de la nueva imagen es inmediato
Fijamos s y t
u
s
t
v
Dejamos variar u y
v en función del
ángulo de visión
Lumigraph
La reconstrucción de la imagen se hace como suma lineal del
producto entre una función base y el valor en cada punto de
la maya en el muestreo
• Podemos
guardarlo como
una base de
imágenes 4D 
consulta rápida
• Factor de
compresion
100:1
Adquisición de Lightfields
La idea es tener un “ejercito” de cámaras en el plano (u,v) -o
mover con cuidado una cámara- manteniendo el mismo
campo de visión.
Cada imagen es una “loncha” 2D de la función 4D lightfield
Plano
focal
(s,t)
Adquisición de Lightfields
El array multicamara de Stanford



cámaras sincronizadas streaming
contínuo
30 fps x 128 cámaras x 640 x 480
píxeles
3375 MB/sg !!
Adquisición de Lightfields
Microlentes
135 mm
Focal de 0.5 mm
Adquisición de Lightfields
CAMPO DE LUZ: EJEMPLOS
Control del
enfoque/desenfoque
Acceso a datos de
profundidad
(limitado)
CAMPO DE LUZ: EJEMPLOS
Control del
enfoque/desenfoque
Acceso a datos de
profundidad
(limitado)
CAMPO DE LUZ: EJEMPLOS
Control del
enfoque/desenfoque
Acceso a datos de
profundidad
(limitado)
CAMPO DE LUZ: EJEMPLOS
Control del
enfoque/desenfoque
Acceso a datos de
profundidad
(limitado)
CAMPO DE LUZ: EJEMPLOS
Control del
enfoque/desenfoque
Acceso a datos de
profundidad
(limitado)
Control punto vista
CAMPO DE LUZ: EJEMPLOS
Control del
enfoque/desenfoque
Acceso a datos de
profundidad
(limitado)
Control punto vista
CAMPO DE LUZ: EJEMPLOS
Control del
enfoque/desenfoque
Acceso a datos de
profundidad
(limitado)
Control punto vista
CAMPO DE LUZ: EJEMPLOS
Control del
enfoque/desenfoque
Acceso a datos de
profundidad
(limitado)
Control punto vista
CAMPO DE LUZ: EJEMPLOS
Control del
enfoque/desenfoque
Acceso a datos de
profundidad
(limitado)
Control punto vista
CAMPO DE LUZ: EJEMPLOS
Control del
enfoque/desenfoque
Acceso a datos de
profundidad
(limitado)
Control punto vista
Nvidia Lightfield- glasses (video)
ENVOLTURA VISUAL (Visual Hull)
Técnica muy popular para estimar la forma 3D de
objetos a partir de imágenes de sus siluetas desde
distintos puntos de vista.
Sencilla y fácil de implementar. Baumgart en 1975
inventó casi todas las variantes conocidas. Laurentini
inventó el término 20 años después, definiendo el
máximo volumen compatible con un conjunto de
siluetas
C
1
1
S1
2
S1
C2
C
4
4
S1
3
S1
C3
Supongamos que
sólo disponemos
unas pocas cámaras
ENVOLTURA VISUAL
Ignoran fotometría, se centran en la geometría. Dos
tipos: de superficie y voxelizadas
cuantas más
cámaras mejor
C1
1
S1
C2
2
S1
S
3
S1
C3
1
S1
Podemos autocalibrarlas
con la consistencia de la
silueta
4
1
C
4
C2
2
S1
4
S1
Como el CSG pero
con conos “raros”
3
Una especie de
“volume carving”
con rayos taladradores
S1
C3
C
4
ENVOLTURA VISUAL
De superficie




Mayor complejidad algebraica
Requiere más tiempo de computo
Interseca la proyección de los “conos” generados desde el
punto focal pasando con la línea generatriz por las siluetas
Mayor precisión en la superficie Inestabilidades numéricas en
topologias complejas
Voxelizadas




Voxelizan el espacio  requieren mucha memoria
Aptos para topologías complejas
Arrastran error de cuantificación.
Precisión Vs memoria
ENVOLTURA VISUAL
ENVOLTURA VISUAL
MOSAICOS / PANORAMAS ESFÉRICOS
Algo menos comunes, también pueden ser capturados
con cámaras catadriópticas
P = P( , , , t, Vx, Vy, Vz)
• Se utilizan para simular
espacio abierto en juegos de
ordenador y como mapas de
entorno
• Requiere calibración y HDR
FOTOGRAFÍA COMPUTACIONAL
Computational Photography is a flourishing new field in Image Based
Modelling and Rendering, created by the convergence of computer
graphics, computer vision and photography. Its role is to overcome the
limitations of the traditional camera by using computational imaging
techniques to produce a richer, more vivid, perhaps more perceptually
meaningful representation of our visual
-- Adaptado de Alexei Efros.
FOTOGRAFÍA COMPUTACIONAL
El límite es la luz  (Femto Photography)
FOTOGRAFÍA COMPUTACIONAL
Testeado en seres vivos e investigadores
FOTOGRAFÍA COMPUTACIONAL
El límite es la luz  (Femto Photography)
Referencias
High Dynamic Range Imaging: Acquisition,
Display, and Image-Based Lighting, 2ed. Morgan
Kaufmann 2010
Photo Pop up . Efros (2005)
The Plenoptic Function and the Elements of Early
Vision. Adelson & Bergen 1991
Autodesk 123DCatch
Big names: Paul debevec, Fredo Durand, Ramesh
Raskar

Download Report