⾊つき点群処理における ポイントベースドレンダリングとその活⽤ 中川 雅史（芝浦⼯業⼤学） - 点群データ処理の概要と課題 - ポイントベースドレンダリングとその活⽤ - レンダリング - クラスタリング - アブストラクション - そのほか - まとめ SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 点群処理における課題 「実質的な⼿作業が多い」 ⼀般的な点群処理の 流れ ハードウェア データ取得 ⽐較的簡単 ソフトウ ア ソフトウェア ⽐較的簡単 AR 可視化 マッピング 位置合わせ BIM/CIM 3Dモデリング 3Dプリント 実質的な⼿作業が多く⼤変 ニーズ 内容改善のキ ワ ド 内容改善のキーワード ハードウェアとニーズは充実してきたが， ソフトウェアがなかなか追い付いていない SHIBAURA INSTITUTE OF TECHNOLOGY レンダリング クラスタリング グ アブストラクション ブ NAKAGAWA Masafumi : [email protected] 背景・⽬的 点群はそのままレンダリングすることが可能 しかし，各種の3D処理には適さないことが多い この部分が⼤変 点形式 ドロネー三⾓形分割 三⾓形分割 - ドロネ - ⼿編集 ⾯形式 変換 - ポリゴン - TIN - NURBS 点から⾯への変換に関して 点群データ取得→3Dモデリング→レンダリング 点群データ取得→レンダリング→3Dモデリング ・ポイントベースドレンダリング技術 ポイントベ スドレンダリング技術 ・空間フィルタリング技術 処理の順番を変えてみる ○ ○ ○ ○ ノートPCレベルで処理可 ⾯の表裏判定が容易 任意視点からのスケッチ可 汎⽤性⾼ 点群⾃体の質を落とさず 点群処理を軽くする 点群⾃体の質を落とさず，点群処理を軽くする SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 点群レンダリングの課題 透過効果問題と遠近効果問題 Rendered point cloud from a viewpoint (Visualization quality depends on a viewpoint) Occlusion “Far” from a viewpoint ＝ Dense points “Near” from a viewpoint ＝ Sparse points 遠近効果問題 透過効果問題 Caused by rendering hidden points among near-side points Caused by distance differences from the viewpoint to scanned points 任意視点からのスケッチは困難 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] Panoramic layered range image Point cloud projection in Layered image Cylindrical, Spherical, Cubic model, etc.. From 3D space to panoramic image space Measured point (X,Y,Z), (R G B) (R,G,B), (Intensity) Azimuth→ Projected point (X,Y,Z), (R,G,B), (Intensity) Eleva ation ↑ ↓ Panorama model Point cloud to range image (layered range image) SHIBAURA INSTITUTE OF TECHNOLOGY Multi-layered range image ・Simplify viewpoint translation ・Simplify filtering ・Simplify visualization NAKAGAWA Masafumi : [email protected] Pixel-selectable averaging filter using distance values Point cloud interpolation 遠近効果問題の推定 Real surface “Near” from a viewpoint＝ Sparse points “Far” from a viewpoint ＝ Dense points P1 P2 Ro Xo P3 Pnew1 P4 No data space P5 P6 Range g data P9 Rt Xt Generate a new point Pnew* SHIBAURA INSTITUTE OF TECHNOLOGY Pnew2 P8 P7 P10 透過効果問題の推定 Hidden points are visible g near-side p points among NAKAGAWA Masafumi : [email protected] 出⼒例（１）︓遠近効果問題の解決 ⾃然物・⼈⼯物へ同時に適⽤可能 ⾃然物 ⼈⼯物へ同時に適⽤可能 Input Output SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 出⼒例（２）︓透過効果問題の解決 Outdoor建物デ タへの適⽤ Outdoor建物データへの適⽤ Input Output 五稜郭データセット 原データ提供︓リーグルジャパン データ処理 ︓芝浦⼯業⼤学 SHIBAURA INSTITUTE OF TECHNOLOGY Side looking NAKAGAWA Masafumi : [email protected] 出⼒例（３）︓遠近＋透過効果問題の解決 Indoor+Outdoor建物デ タへの適⽤ Indoor+Outdoor建物データへの適⽤ Input Output Side looking SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] Normal vector-based point clustering “Point Point cluster” cluster extraction Range image (panoramic image) Histgram of normal vector Azimuth→ Azimuth Elevation The numer of point [pix]] [p ↓ Each point has a normal vector (norX, norY, norZ) Ele evation Azimuth → Clusters -1 0 -1.0 Normal vector Extracted surface （point clusters） Synchronization ↓ Segments Integration or elimination SHIBAURA INSTITUTE OF TECHNOLOGY 10 1.0 Clustering l i To improve accuracy.. ・Mincut ・Markov Network ・Fuzzy-clustering etc. t NAKAGAWA Masafumi : [email protected] Point cloud rendering and clustering Point cloud clustering for 3D boundary extraction Input (1) Color︓3D Normal vectors R, G and B were assigned as the X, Y and Z directions Edge︓Ground boundary Rock walls Trees Input (2) Steps SHIBAURA INSTITUTE OF TECHNOLOGY Slope NAKAGAWA Masafumi : [email protected] Indoor Mobile Mapping using TIMMS 3D scanned “indoor indoor space” space with Indoor mobile LiDAR Trimble's Indoor Mobile Mapping System Camera LiDAR Point cloud IMU Encoder Trajectory SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] Point cloud → CAD data 660 million pts → 85 view points → 1271 polygons Point cloud Clustering & polygon extraction Extracted Polygon Estimated 85 viewpoints Overall result Z [m] Y [m] X [m] SHIBAURA INSTITUTE OF TECHNOLOGY ・・・ NAKAGAWA Masafumi : [email protected] Laser scanning for Bridge maintenance Hanekura-bridge Hanekura bridge, Saitama VZ-400（RIEGL） ・Range Range up to 600m @ Laser Class 1 ・Measurement rate up to 122,000 pts/sec ・Field of View up to 100°×360° SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected] 属性情報の取得とモデリング Geocoding & Reverse geocoding Real space Location - Geo-tagged documents Document “Geocoding” Map space Document Document - Geo-tagged photos “Reverse geocoding” Document SHIBAURA INSTITUTE OF TECHNOLOGY Document NAKAGAWA Masafumi : [email protected] まとめ 点群処理の課題 ・⼤規模データであるため扱いづらい ・遠近効果問題と透過効果問題 メッシュモデリングにより可視化を実現 × ⼿作業（修正作業）が多い × ⾃動処理コストが極めて⼤きい × ⼤規模データへの対応が困難 ⼤規模デ タへの対応が困難 従来技術とその問題点 点群データ取得→3Dモデリング→レンダリング × × × × - 3D Delaunay - Random Sample Consensus (RANSAC) cube, Voxel modeling, modeling … - Marching cube レンジ画像上でのサーフェスモデリング（スケッチ） メモリ浪費，処理量が莫⼤ メモリ浪費 処理量が莫⼤ 「滑らかなエッジ」問題 「シードポイント」問題 ⾯の表裏を判定が困難 × 視点制約 × 任意視点からスケッチは困難 提案⼿法 点群データ取得→レンダリング→3Dモデリング ポイントベースドレンダリング技術 ＋空間フィルタリング技術 ○ ○ ○ ○ ノートPCレベルで処理可 ⾯の表裏判定が容易 任意視点からのスケッチ可 汎⽤性⾼ 「多視点2D画像処理を適⽤し 精度を落とさず 点群処理を軽くする技術」 「多視点2D画像処理を適⽤し，精度を落とさず，点群処理を軽くする技術」 SHIBAURA INSTITUTE OF TECHNOLOGY NAKAGAWA Masafumi : [email protected]
© Copyright 2024 ExpyDoc
