! Stereobildverarbeitung LYTRO LICHTFELDKAMERA Kevin Buchwinkler Lorenz Fichte Malte Müller-Rowold 1 ÜBERSICHT 1. Spezifikationen 2. Aufbau und Funktionsweise 3. Lytro Desktop 4. Reverse Engineering 5. 3D Rekonstruktion 6. Aussicht 2 1. SPEZIFIKATIONEN ISO: 75 - 3200 (auto, manuell) Belichtungszeit: 8s - 1/250s (auto) CMOS Sensor mit Micro Lens Array (MLA) (Typ: Aptina MT9F002) Sensorauflösung: 14.4 Mpx Pixelgröße: 1.4 µm alle Linsen gleiche Brennweite Mikrolinsendurchmesser ~14 µm ca. 328 x 328 = 107’584 Mikrolinsen Frame Size: 3280 x 3280 ~ 10.7 Mpx bei 12 Bit Auflösung Bayer Filter Array [lytro meltdown] 3 2. AUFBAU & FUNKTIONSWEISE sys [lytro meltdown] 4 2. AUFBAU & FUNKTIONSWEISE [Kayvon Fatahalian, Graphics and Imaging Architectures (CMU 15-869, Fall 2011)] 5 3. LYTRO DESKTOP Version 4.0.3 Funktionen Fokus einstellen Exportieren Parallaxen 6 3. LYTRO DESKTOP Export: refokussiert (.jpg, .tiff) 3D Bild (Rot-Cyan, Full Color) .LFR Tiefenkarte (.png) Parallaxen (Live) 7 3. LYTRO DESKTOP Problem: Qualität der Tiefenkarte 8 4. REVERSE ENGINEERING RAW Bild > lfptools > raw2tiff > anzeigbares RAW.tiff hexagonal tiling 9 4. REVERSE ENGINEERING Rotation notwendig (auslesbar aus Rohdaten) x 1. Intensität y y x 2. 1. x-Pixel (bei fixem y) 2. 10 4. REVERSE ENGINEERING eigene pixelweise Umsortierung der RAW-Bilder (“Mauerwerkmuster”) 11 4. REVERSE ENGINEERING Randabfall der Lytro “Mate-Bild” gemitteltes Weißbild 12 4. REVERSE ENGINEERING Software: Lytro Compatible Lytro Desktop ! ! ! ! Auflösung: 328x328 1134x1134 13 5. 3D REKONSTRUKTION Ziel: hochauflösende Tiefenkarte erzeugen 2013, Tao et al. “Depth from Combining Defocus and Correspondence Using Light-Field Cameras” Vorteil: Paper + MATLAB Code Nachteil: nicht reproduzier- bar 14 5. 3D REKONSTRUKTION 2013, Neyman et al., “3D and Image Stitching With the Lytro Light-Field Camera” Vorteil: Report + Python Code (auf Anfrage) Nachteil: fehlerhafter Code, nicht expor- tierbar 15 5. 3D REKONSTRUKTION Untersuchung der Parallaxenverschiebung einer einzelnen Aufnahme Software:Visual SFM gescheitert, da zu geringe Parallaxe viele Ansätze im Netz allerdings teils bessere Hardware vorausgesetzt (Raytrix) 16 5. 3D REKONSTRUKTION finales 3D Modell: Rekonstruktion aus mehreren Aufnahmen ohne Ausnutzung der Lichtfeldinformationen Visual SFM CMPMVS Punktwolke via SURE 17 6. AUSSICHT eigener Ansatz Bestimmung der Parallaxenverschiebung bei verbesserten Umsortierung Upsampling einzelner Parallaxenbilder Erstellung detaillierterer Tiefenkarte andere Ansätze Vertiefung und Debugging andere Hardware (Raytrix) [www.r42.com] [http://www.raytrix.de/] 18 ! Stereobildverarbeitung LYTRO LICHTFELDKAMERA Kevin Buchwinkler Lorenz Fichte Malte Müller-Rowold 19