第２回両眼立体視と明るさ解析 Marr のパラダイム世界座標系表現 3D 表現観測者中心座標系表現 2-1/2D 表現融合・内そう明るさ 3D 特徴抽出モジュール模様線画 2D 画像両眼動き話題 1. 基本概念 2. 両眼立体視基本方程式 3. エピポーラ線 4. 照合のための特徴と戦略両眼立体視一枚の画像ではあいまい A a’ a” ２箇所の異なった場所からの画像より３次元位置が決定視差画像ステレオ方程式物理点左画像点右画像点右画像面左画像面左画像中心焦点距離右画像中心 z 世界座標基線長ステレオ方程式 d+x dx x  z f f x"   ( x  d ) z d-x " x’ x” z=-2df/(x”-x’) x”-x’: 視差 2d : 基線長 f d d z d  x  x'  z f -z f x'   ( x  d ) z f f x  x   ( x  d  x  d )   2d z z " ' ステレオの分類 Marr-Poggio Marr-Poggio-Grimson Nishihara-Poggio MIT group Lucas-Kanade Ohta-Kanade Matthie-Kanade Okutomi-Kanade CMU group Baker Hannah Moravec Stanford group Barnard-Thompson 照合特徴 a. 明るさ b. エッジ c. エッジ間距離 d. インタレスト点 10 11 12 10 11 12 10 11 12 10 11 12 11 15 16 照合戦略 a. 弛緩法 10 10 10 10 5 10 10 10 10 10 10 10 10 5 10 10 10 10 10 10 10 10 10 10 10 10 10 b. 階層法 c. DP法 global optimam local optimam local optimam f ( x1 , x2 , x3 )  f1 ( x1 )  f 2 ( x1 , x2 )  f 3 ( x2 , x3 ) 例１：領域ベース領域ベースステレオハードウエア小松製 9眼ステレオ領域ステレオ処理結果  入力画像列  出力（距離画像）  窓内明るさ照合  エピポーラ拘束  視差限界  明るい点：近い、暗い点：遠い  窓処理のため周辺で拡大  視差制限のため背景がノイズ例２：Marr-Poggio ステレオ人間の両眼立体視機構をシミュレートする (ランダムドットステレオグラム) ランダムドット立体視右画像左画像パッチ内のドットを平行移動あいた部分にはドットでうめる人間が立体視すると動いた部分がせりあがって板が見えるエピポーラ拘束エピポーラ線画像中の１点可能性のある視線基線エピポーラ面対応する点はエピポーラ線上に存在エピポーラ拘束拘束（その１）  エピポーラ拘束： 2次元探索ー＞１次元探索拘束（その２）  唯一性拘束(Uniqueness Constraint): 画像中の1点は１つだけの距離値を持つ可不可例：水面と水中の石拘束（その３）  連続性拘束(Continuity constraint)：隣あった点は同じような距離値を持つ可不可アルゴリズムの定式化  エピポーラ拘束： D E F A B ２D －＞１D A B C C D 視線の関係図 E F アルゴリズム表現各ノードを仮想的な神経細胞と考える各ノードの興奮状態で面の存在を記述唯一性拘束のアルゴリズム化  同一の視線上で1つ以上のノードの興奮を禁止  同一視線（水平線と垂直線）にそって興奮細胞が抑制信号を送る (E-A) A (E-B) B prohibit C (E-C) 連続性拘束のアルゴリズム化  同一視差での興奮を励起  同一視差（斜め線）にそって興奮細胞が興奮信号を送る (D-A) (E-B) 同一視差 (F-C) 全体の定式化閾値関数   ' ' ' '  cn 1 (i, j )     cn (i , j )   cn (i , j ) i ' j 'Ex  i ' j ' Pr 斜めよりの興奮信号水平・垂直よりの抑制信号照合戦略（弛緩法） 10 10 10 10 5 10 10 10 10 10 10 10 10 5 10 10 10 10 10 10 10 10 10 10 10 10 10   ' ' ' '  cn 1 (i, j )     cn (i , j )   cn (i , j ) i ' j 'Ex  i ' j ' Pr ランダムドット得られた距離 Marr のパラダイム世界座標系表現 3D 表現観測者中心座標系表現 2-1/2D 表現融合・内そう明るさ 3D 特徴抽出モジュール模様線画 2D 画像両眼動き明るさ解析表面反射と内部反射表面反射成分：見る方向に応じて微妙に変化内部反射成分：あまり変化せず表面反射と内部反射表面反射内部反射入射光外部物体内部物体表面内部色素表面反射と内部反射  表面反射 = 高い方向性、光源色、偏光  内部反射 = 全ての方向、物体色、非偏光  プラスティックや塗装面は両方  金属面は表面反射内部反射のモデル拡散反射---全ての方向に反射一般的な近似:全ての方向に同一の明るさランバートのコサイン法則反射の強さ=係数 * 幾何項 f (i,e,g) = Kb * cos i ランバートのコサイン法則入力角が入射エネルギーの密度に影響する照度＝エネルギー／面積エネルギー＝１面積＝１／cos i 照度＝ cos i グラディエント空間  面の傾きを点として表現する  物体と光源の距離は無限遠とする  物体とカメラの距離は無限遠とする  実画像空間との双対関係 – – – – 面－点線－線点－面直交関係面の傾き  法線ベクトル (A,B,C)  法線ベクトル法線ベクトルは２自由度しかないどちらを向いているかのみ A B ( A, B, C )  ( , ,1)  ( p, q,1) C C グラディエント空間観測者は常に Z axis （ｐ、ｑ）を座標とする平面（空間）各点が１つの傾きを表現 q  n ( p, q,1) p2  q2 1 p 内部反射モデル   (p,q) に対して N= (p,q,1) 光源方向ベクトル S= ( ps , qs ,1) R( p, q, ps , qs )  cos i  N  S  q p q 等照度曲線 p  ps  q  qs  1 p 2  q 2  1 ps2  qs2  1 ( ps , qs )  (0,0) R ( p, q )  0.8 0.9 1 p  q 1 2 0.5 2 p 光源と観測者位置が異なる場合  Lambertian（均等拡散面） q q p R( p, q, ps , qs )  cos i  N  S  p  ps  q  qs  1 p  q 1 p  q 1 2 2 2 s 2 s Self-shadow line 自分自身の陰になり光が照射されない p 明るさ解析問題内部反射の明るさは，面の傾きにのみ依存する ⇔ 明るさ情報から物体形状（面の傾き）が特定できる明るさ情報 0.8 明るさ方程式 E(x,y)=R(p,q) 明るさ方程式は、グラディエント空間に拘束を１つ与えるだけ＝＞未知数の方が多い！ (p,q,1) 面の傾き 0.8 q p 等照度曲線照度差ステレオ •１つの明るさ方程式は1つの拘束 --- > 複数の方程式を得る！ •視点を変えずに光源方向のみを変えた画像を複数枚撮る •光源方向に応じて異なった反射率地図が得られる •同一地点で複数の明るさ方程式 q q p p 照度差ステレオ３枚以上の画像から，その点の傾きを特定できる解析解  n  (nx , n y , nz )     p p  q 1  S1  ( S1x , S1 y , S1z )     S2  (S2 x , S2 y , S2 z ) 2 2 q , p  q 1 2 p1s p1s  q1s  1 2 2 2 , ,   p 2  q 2  1  1 q1s p1s  q1s  1 2 2 ,   2 2  p1s  q1s  1  1 S3  ( S3 x , S3 y , S3 z )    E1  S1  n  S1x       A   S2 x  E2  S 2  n  E  A  n   S   E3  S3  n   3x  A1  E  A1  A  n   1 n  A E S1 y S2 y S3 y S1z   S2 z  S3 z  •実世界はもう少し複雑な光源＆反射率地図 --- > 参照表法参照表作り Ikeuchi & Horn 83 実行時まとめ  両眼立体視 – 両眼立体視基本方程式 – エピポーラ拘束 – 照合の特徴と戦略  明るさ解析 – 反射率地図の使用法 – 明るさ方程式 – 照度差ステレオ原理