MODELADO E ILUMINACIÓN BASADAS EN IMAGEN (IBM,IBR,IBL) Rendering Avanzado Jorge Lopez Moreno 13 de Abril de 2015 TEMAS Teórico La función plenóptica Fotografía Computacional Modelado a partir de imágenes Visual hulls Reconstrucción de light fields Reconstrucción 3D a partir de imágenes Interpolación de vistas Iluminación basada en imágenes HDR, tone mapping, estimación de luces,… MODELADO TRADICIONAL (GEOMÉTRICO) Modelado geometría Simulación proyección MODELADO TRADICIONAL (GEOMÉTRICO) Problema costes de la producción artística MODELADO BASADO EN IMAGEN Imagine visiting your favorite place, taking a few pictures, and then turning those pictures into a photorealisic three-dimensional computer model. --Tesis de Paul E. Debevec Partimos directamente de imágenes para generar nuevas imágenes (idealmente nuevos puntos de vista) Ejemplo 1: LightStage Precursores: Impostors, Sprites, Texturas mapeadas sobre polígonos DIABLO:Butcher--www.spritersresource.com Ejemplo 1: LightStage IDEA: Capturar muchos puntos de vista + una función base de iluminaciones Obtener nuevo punto de vista / iluminación mediante interpolación con pesos. Ejemplo 1: LightStage (video) Ejemplo 2: Multiphoto Navigation Morphing de superpíxeles para generar nuevos puntos de vista Input image Superpixels Multi view stereo output Superpixels with no depth Ejemplo 2: Multiphoto Navigation Superpixels with similar color Superpixels used for depth interpolation Warped superpixels at input image Final result after blending Ejemplo 2: Multiphoto Navigation Morphing de superpíxeles para generar nuevos puntos de vista Ejemplo 3: Multiview Reconstruction Software para geometric reconstrucion: 123DCatch Meshlab + Visual SFM Se basa en : Reconocimiento de features (SIFT, SURF) Computer Vision Eroding / plane constraints Solo reconstruye geometría Ejemplo 3: Multiview Reconstruction Reconstrucción de iluminación e imágenes intrínsecas Nuestro trabajo (Aceptado en ToG) Ejemplo 3: Multiview Reconstruction Ejemplo 3: Multiview Reconstruction Función Plenóptica Del latín plenus (completa) opticae. Adelson & Bergen (1991) Describe toda la información disponible para el observador en todo punto del espacio y tiempo. Es decir, todo aquello que puede ser visto. FUNCIÓN PLENÓPTICA (I) Trataremos deducirla por nosotros mismos, partiendo del caso más sencillo, con una persona quieta. Parametrizaremos todo lo que pueda ver, y después la generalizaremos. P = P (?) FUNCIÓN PLENÓPTICA (II) Vista desde un sólo punto de vista. En un instante. Sobre todas las longitudes de onda del rango visible (promediadas). P = P (f,q) , FUNCIÓN PLENÓPTICA (III) Vista desde un sólo punto de vista. En un instante. Como función de la longitud de onda P = P (f,q,l) FUNCIÓN PLENÓPTICA (IV) Vista desde un sólo punto de vista. En el tiempo Como función de la longitud de onda P = P (f,q,l,t) FUNCIÓN PLENÓPTICA (V) Vista desde cualquier de vista. En el tiempo Como función de la longitud de onda P = P (f,q,l,t, Vx, Vy, Vz) FUNCIÓN PLENÓPTICA ¿¡¿ y cómo muestreamos ésto ?!? Esta función describe la intensidad de la luz desde cada posible orientación y punto de vista en cada instante y para toda posible longitud de onda P = P (f, q, l, t, Vx, Vy, Vz) Podemos reconstruir cualquier posible vista, en cualquier instante, desde cualquier posición, en cualquier rango de frecuencias Contiene cada posible fotografía, película y todo aquello que pudiera percibir visualmente una persona. FUNCIÓN PLENÓPTICA 7D Ideal 6D Considerando sólo 3 frecuencias (RGB) 5D Considerando los rayos en la escena sólo en un instante de tiempo Considerando sólo líneas a través de la escena Restringiendo a unas pocas direcciones/posiciones Considerando sólo las posiciones desde el punto de vista 4D 3D 2D FUNCIÓN PLENÓPTICA 7D Ideal 6D Considerando sólo 3 frecuencias (RGB) Lumigraph 5D 4D Lightfields 3D 2D Considerando los rayos en la escena sólo en un instante de tiempo Considerando sólo líneas a través de la escena Restringiendo a unas pocas direcciones/posiciones Considerando sólo las posiciones desde el punto de vista ¿QUÉ IMPLICA? Por ahora nos olvidamos del tiempo y el color. Si suponemos que la “radiance” (intensidad lumínica) se transmite en línea recta podemos modelarlo como un rayo, y cada rayo vendrá definido por 5 parámetros. P = P (f, q,XX l, t, Vx, Vy, Vz) Orientación Posición 3D x,y,z ¿QUÉ IMPLICA? Si además el medio de transmisión es no dispersivo entonces al no perderse energía estas rectas serán líneas infinitas podemos eliminar una dimensión En dos puntos en espacio libre cualquiera de la recta la intensidad será la misma. Si no hubiera objetos, bastaría con un plano para describir toda la escena y “valores” de rayos de luz. Orientación + 2D Posición 2D 4D ¿QUÉ IMPLICA? Como tenemos objetos, podemos describir la escena plenóptica (no tiene por qué ser un cubo) t s ¿QUÉ IMPLICA? Para sintetizar nuevas imágenes tendremos que coger aquellos rayos que incidan sobre ese nuevo punto de vista Lo podemos coger directamente en el punto de vista (muy complicado de muestrear) ¿QUÉ IMPLICA? Para sintetizar nuevas imágenes tendremos que coger aquellos rayos que incidan sobre ese nuevo punto de vista Lo podemos coger directamente en el punto de vista (muy complicado de muestrear) posición 2D orientación 2D Lumigraph Podemos simplificar el muestreo, si la orientación viene dada por la posición relativa en un segundo plano (en vez de ángulos) Esta forma de representación 4D es muy eficiente en cuanto a los cálculos geométricos, ya que la operación de proyección de las muestras en (u,v) al plano de la imagen sólo implica álgebra lineal (y viceversa). Coordenadas esféricas o cilíndricas requieren más cálculos Abstraemos el objeto L(s,t,u,v) light slab ó beam u s t v Lumigraph Si el punto de vista está sobre uno de los planos en los que se ha llevado a cabo el muestreo, el cálculo la síntesis de la nueva imagen es inmediato Fijamos s y t u s t v Dejamos variar u y v en función del ángulo de visión Lumigraph La reconstrucción de la imagen se hace como suma lineal del producto entre una función base y el valor en cada punto de la maya en el muestreo • Podemos guardarlo como una base de imágenes 4D consulta rápida • Factor de compresion 100:1 Adquisición de Lightfields La idea es tener un “ejercito” de cámaras en el plano (u,v) -o mover con cuidado una cámara- manteniendo el mismo campo de visión. Cada imagen es una “loncha” 2D de la función 4D lightfield Plano focal (s,t) Adquisición de Lightfields El array multicamara de Stanford cámaras sincronizadas streaming contínuo 30 fps x 128 cámaras x 640 x 480 píxeles 3375 MB/sg !! Adquisición de Lightfields Microlentes 135 mm Focal de 0.5 mm Adquisición de Lightfields CAMPO DE LUZ: EJEMPLOS Control del enfoque/desenfoque Acceso a datos de profundidad (limitado) CAMPO DE LUZ: EJEMPLOS Control del enfoque/desenfoque Acceso a datos de profundidad (limitado) CAMPO DE LUZ: EJEMPLOS Control del enfoque/desenfoque Acceso a datos de profundidad (limitado) CAMPO DE LUZ: EJEMPLOS Control del enfoque/desenfoque Acceso a datos de profundidad (limitado) CAMPO DE LUZ: EJEMPLOS Control del enfoque/desenfoque Acceso a datos de profundidad (limitado) Control punto vista CAMPO DE LUZ: EJEMPLOS Control del enfoque/desenfoque Acceso a datos de profundidad (limitado) Control punto vista CAMPO DE LUZ: EJEMPLOS Control del enfoque/desenfoque Acceso a datos de profundidad (limitado) Control punto vista CAMPO DE LUZ: EJEMPLOS Control del enfoque/desenfoque Acceso a datos de profundidad (limitado) Control punto vista CAMPO DE LUZ: EJEMPLOS Control del enfoque/desenfoque Acceso a datos de profundidad (limitado) Control punto vista CAMPO DE LUZ: EJEMPLOS Control del enfoque/desenfoque Acceso a datos de profundidad (limitado) Control punto vista Nvidia Lightfield- glasses (video) ENVOLTURA VISUAL (Visual Hull) Técnica muy popular para estimar la forma 3D de objetos a partir de imágenes de sus siluetas desde distintos puntos de vista. Sencilla y fácil de implementar. Baumgart en 1975 inventó casi todas las variantes conocidas. Laurentini inventó el término 20 años después, definiendo el máximo volumen compatible con un conjunto de siluetas C 1 1 S1 2 S1 C2 C 4 4 S1 3 S1 C3 Supongamos que sólo disponemos unas pocas cámaras ENVOLTURA VISUAL Ignoran fotometría, se centran en la geometría. Dos tipos: de superficie y voxelizadas cuantas más cámaras mejor C1 1 S1 C2 2 S1 S 3 S1 C3 1 S1 Podemos autocalibrarlas con la consistencia de la silueta 4 1 C 4 C2 2 S1 4 S1 Como el CSG pero con conos “raros” 3 Una especie de “volume carving” con rayos taladradores S1 C3 C 4 ENVOLTURA VISUAL De superficie Mayor complejidad algebraica Requiere más tiempo de computo Interseca la proyección de los “conos” generados desde el punto focal pasando con la línea generatriz por las siluetas Mayor precisión en la superficie Inestabilidades numéricas en topologias complejas Voxelizadas Voxelizan el espacio requieren mucha memoria Aptos para topologías complejas Arrastran error de cuantificación. Precisión Vs memoria ENVOLTURA VISUAL ENVOLTURA VISUAL MOSAICOS / PANORAMAS ESFÉRICOS Algo menos comunes, también pueden ser capturados con cámaras catadriópticas P = P( , , , t, Vx, Vy, Vz) • Se utilizan para simular espacio abierto en juegos de ordenador y como mapas de entorno • Requiere calibración y HDR FOTOGRAFÍA COMPUTACIONAL Computational Photography is a flourishing new field in Image Based Modelling and Rendering, created by the convergence of computer graphics, computer vision and photography. Its role is to overcome the limitations of the traditional camera by using computational imaging techniques to produce a richer, more vivid, perhaps more perceptually meaningful representation of our visual -- Adaptado de Alexei Efros. FOTOGRAFÍA COMPUTACIONAL El límite es la luz (Femto Photography) FOTOGRAFÍA COMPUTACIONAL Testeado en seres vivos e investigadores FOTOGRAFÍA COMPUTACIONAL El límite es la luz (Femto Photography) Referencias High Dynamic Range Imaging: Acquisition, Display, and Image-Based Lighting, 2ed. Morgan Kaufmann 2010 Photo Pop up . Efros (2005) The Plenoptic Function and the Elements of Early Vision. Adelson & Bergen 1991 Autodesk 123DCatch Big names: Paul debevec, Fredo Durand, Ramesh Raskar
© Copyright 2024 ExpyDoc