All images are compressed. The images in this file are not the original ones. Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Wavelet-Texture法：Daubechiesウェーブレットと 反射モデルと円偏光板によるBRDF圧縮 宮崎大輔 柴田卓司 池内克史 （東京大学生産技術研究所） VRモデルの生成システムの需要 • • • • ヴァーチャル・リアリティ エンターテインメント 教育・芸術 デジタルアーカイブ 現実の物体を観測することによるモデル化 Introduction(1/6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Parameter(2) Wavelet(4) Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ VRモデル生成のための３つの要素 幾何情報 レンジデータ 光学情報 カラー画像 環境情報 環境情報 Introduction(2/6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Parameter(2) Wavelet(4) Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ Model Based Texture • 物体の反射を数学的に定式化 反射パラメータ カラー画像 幾何モデル 2 Ks I K d cos i exp 2 cos r 2 VRモデル 反射パラメータ推定 Introduction(3/6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） 合成 Parameter(2) Wavelet(4) Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ Image Based Texture • 撮像された実画像のデータベースを保持 主成分分析など カラー画像 幾何モデル VRモデル 圧縮 Introduction(4/6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） 合成 Parameter(2) Wavelet(4) Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ 提案手法 (Wavelet Texture) • Model Based TextureとImage Based Textureのハイブ リッド カラー画像 幾何モデル 反射パラメータ推定 VRモデル 差分を圧縮 反射パラメータ Introduction(5/6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Parameter(2) 合成 ウェーブレット圧縮 Wavelet(4) Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ 提案手法の特長 Model Based Texture Image Based Texture ○ハイライト成分の再現性に優れている ○データ量が小さい ×反射モデルで表現できない物体もある ○実画像による写実性 ×ハイライト成分の再現が難しい ×データ量が大きくなる 提案手法 (Wavelet Texture) ○ハイライト成分の再現性に優れている ○反射モデルで表現できない物体でも実画像により表現可能 ○データ量が小さい Introduction(6/6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Parameter(2) Wavelet(4) Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ 二色性反射モデル 鏡面反射成分 入射光 法線 鏡面反射 拡散反射 境界 媒質 拡散反射成分 色素 偏光を使って反射成分を分離 Introduction(6) Separation(1/3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Parameter(2) Wavelet(4) Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ 分離の仕組み 右円偏光板 右円偏光板 右円偏光 左円偏光 鏡面反射 Introduction(6) Separation(2/3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Parameter(2) Wavelet(4) 非偏光 拡散反射 Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ 分離結果 通常の画像 Introduction(6) Separation(3/3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） 拡散反射画像 Parameter(2) Wavelet(4) 鏡面反射画像 Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ LambertianモデルとTorrance-Sparrowモデル 2 Ks I K d cos i exp 2 cos r 2 Lambertian （拡散反射） Torrance-Sparrow （鏡面反射） 最小二乗法 法線 視点 入射光 i 二等分ベクトル [反射パラメータ] Kd: 拡散反射率 Ks: 鏡面反射率 : 表面粗さ係数 r 物体表面 Introduction(6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Parameter(1/2) Wavelet(4) Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ 推定された反射パラメータ 拡散反射率 K d Introduction(6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） 鏡面反射率 K s Parameter(2/2) Wavelet(4) 表面粗さ係数 Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ 差分 入力画像 Introduction(6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） レンダリング画像 Parameter(2) Wavelet(1/4) 差分 Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ 差分をウェーブレット圧縮 光学的要因 幾何学的要因 反射モデルに従わない材質 相互反射 幾何データの精度 カメラキャリブレーションの精度 差分も重要なので保持すべき データ圧縮の性能が良い，Daubechiesウェーブレット(N=2)を使用 Introduction(6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Parameter(2) Wavelet(2/4) Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ ポリゴンごとの圧縮 ３次元データ 差分画像 ウェーブレット レベル0 ウェーブレット レベル1 レベル2 分解後の係数を絶対値順に並べ， その上位数％だけを保存 Introduction(6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Parameter(2) Wavelet(3/4) Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ 画像合成 レンダリング画像 Introduction(6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） 圧縮された差分 Parameter(2) Wavelet(4/4) 合成画像 Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ 実験装置 レンジセンサ 光源 カメラ 物体 偏光板 回転台 Introduction(6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Parameter(2) Wavelet(4) Experiment(1/8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ レンダリング結果 通常の画像 Introduction(6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） 提案手法によるレンダリング画像(2%) Parameter(2) Wavelet(4) Experiment(2/8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ 圧縮率ごとのレンダリング精度 通常の画像 Introduction(6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） 5%のデータ を使用した 合成画像 Parameter(2) Wavelet(4) 1.5%のデータ を使用した 合成画像 Experiment(3/8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ 圧縮率ごとのレンダリング精度 画 質 PSNR [dB] 150 100 鏡面反射成分 50 0 Introduction(6) 拡散反射成分 0 25 Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） 50 圧縮率 [%] Parameter(2) Wavelet(4) 75 Experiment(4/8) Ikeuchi Lab, The University of Tokyo 100 Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ Model Based Textureとの比較 通常の画像 Introduction(6) Model Based Texture によるレンダリング画像 Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Parameter(2) Wavelet(4) 提案手法による レンダリング画像(5%) Experiment(5/8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ Model Based Textureとの比較 200 通常の画像 Wavelet Texture (1.5%) Model Based Texture 輝度 150 100 50 0 ピクセル位置 Introduction(6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Parameter(2) Wavelet(4) Experiment(6/8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ Image Based Textureとの比較(2%) Image Based Texture 分離なし・反射モデル不使用 PSNR=33dB 提案手法 分離あり・反射モデル使用 通常の画像 PSNR=38dB 結果 Introduction(6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） 誤差 Parameter(2) Wavelet(4) Experiment(7/8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ 全周の動画(20%) Introduction(6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Parameter(2) Wavelet(4) Experiment(8/8) Ikeuchi Lab, The University of Tokyo Conclusion(2) http://www.cvl.iis.u-tokyo.ac.jp/ まとめ 圧縮法 Eigen Texture [西野,佐藤,池内1999] 古川 [古川,川崎,池内,坂内2002] Tensor Texture [Vasilescu,Terzopoulos2004] Wang [Wang,Wu,Shi,Yu,Ahuja2005] Magnor [Magnor,Ramanathan,Girod2003] Ma [Ma,Chao,Chuang,Chang2005] Phong Nモード特異値分解 out-of-coreテンソル近似 ウェーブレット変換 ラプラス変換 西野 [西野,Zhang,池内2001] 高橋 Lambertian Torrance-Sparrow 色 Lambertian Torrance-Sparrow 視点 Lambertian Torrance-Sparrow 直線偏光 [高橋,佐藤,池内2000] Introduction(6) Lambertian 分離 テンソル積展開 [佐藤,Wheeler,池内1997] (提案手法) 鏡面反射 主成分分析 (KL展開) 佐藤 Wavelet Texture 拡散反射 ウェーブレット変換 Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Parameter(2) Lambertian Torrance-Sparrow 円偏光 Wavelet(4) Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(1/2) http://www.cvl.iis.u-tokyo.ac.jp/ 今後の課題 • 横方向だけでなく、縦方向にもサンプリング • より効果的な反射成分分離 – 直線偏光板と円偏光板の組み合わせ • より効果的なウェーブレットの導入 – マルチウェーブレット • より効果的な反射モデルの導入 – He-Torrance-Sillion-Greenbergモデル • 幾何データの多重解像度分解 (LOD) • Model Based TextureとImage Based Textureの組み 合わせ方の再考 Introduction(6) Separation(3) Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Parameter(2) Wavelet(4) Experiment(8) Ikeuchi Lab, The University of Tokyo Conclusion(2/2) http://www.cvl.iis.u-tokyo.ac.jp/ (c) Daisuke Miyazaki 2006 All rights reserved. http://www.cvl.iis.u-tokyo.ac.jp/ 宮崎大輔, 柴田卓司, 池内克史, "Wavelet-Texture法： Daubechiesウェーブレットと反射モデルと円偏光板による BRDF圧縮," 画像の認識・理解シンポジウム, pp. 269276, 仙台, 宮城, 2006年7月 Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） 偏光 • 光は波なので振動している • 偏光：ある方向にだけ振動 入射 光 非偏光 反射 偏光板 完全偏光 部分偏光 Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Ikeuchi Lab, The University of Tokyo http://www.cvl.iis.u-tokyo.ac.jp/ 偏光 直線偏光 位相が一致 Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） 円偏光 位相が90°ずれている Ikeuchi Lab, The University of Tokyo http://www.cvl.iis.u-tokyo.ac.jp/ 偏光板 直線偏光板 0 ° 0 ° 偏光板を回す Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） 円偏光板 0 ° L L R 90 ° L 偏光板は回さない →ロバスト Ikeuchi Lab, The University of Tokyo http://www.cvl.iis.u-tokyo.ac.jp/ 偏光板による反射成分分離の長所・短所 • 直線偏光板 – 法線と視線のなす角が90°に 近いとき，分離精度が悪くなる – 光源と法線のなす角が何度であ ろうと，分離が可能 – 波長の違いで，分離精度はそれ ほど悪くはならない – 回す必要があり，機械的な誤差 が発生する – 偏光板を取り付けたままで計測 が可能 Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） • 円偏光板 – 法線と視線のなす角が何度であ ろうと，分離が可能 – 光源と法線のなす角が0°に近 いときでないと，分離できない – 波長の違いで，分離精度が悪く なる – 回す必要がなく，機械的な誤差 が発生しない – 偏光板を取り付けた場合と取り 外した場合で計測する必要があ る Ikeuchi Lab, The University of Tokyo http://www.cvl.iis.u-tokyo.ac.jp/ ウェーブレットによる圧縮 • 基底をデータから作るもの – – – – 主成分分析（KL展開） テンソル積展開（外積展開） Nモード特異値分解 スパースコーディング 基底も保存する必要がある • 基底があらかじめ決まってい るもの – フーリエ変換 • 基底はsinとcos – ラプラス変換 • 基底は指数関数 – ウェーブレット変換 • 基底はウェーブレット関数 基底を保存する必要がない ウェーブレットの圧縮性能が高い Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Ikeuchi Lab, The University of Tokyo http://www.cvl.iis.u-tokyo.ac.jp/ 代表的なウェーブレット関数 Haar 多重解像度解析 物体認識 Gabor Daubechies 多重解像度解析 物体認識 画像圧縮 今回はDaubechiesウェーブレットを用いた Wavelet-Texture法（宮崎大輔，柴田卓司，池内克史） Ikeuchi Lab, The University of Tokyo http://www.cvl.iis.u-tokyo.ac.jp/
© Copyright 2024 ExpyDoc
