Integrability Disambiguates Surface Recovery in TwoImage Photometric Stereo Ruth Onn, Alfred Bruckstein (Int J Comp Vision 1990) Shape-from-X  一つの画像から物体の形状を得る手法曖昧性が大きい本来、形状を出す事は困難制約条件や仮定複数の画像曖昧性を減らす Shape-from-shading Photometric stereo 本論文の主張  2枚の画像を用いたphotometric stereo  Integrability(直訳：積分可能性）を用いる。（“現実の表面形状は積分可能である”という性質。）曖昧性を除去；一意に表面形状を決定仮定  Self-shadow（対象物体自身の影）が起こらない  対象物体の表面が滑らか  Lambertian反射モデル  カメラで撮影した画像が正投影概要  カメラ固定。異なる点光源で２枚の画像を取得。点光源の位置と明るさは既知。  各点の表面法線を得る。法線から高さのデータを得るのは、既存のアルゴリズムを使う。表面法線  z=H(x,y):高さ  N(x,y):表面法線ベクトル N ( x, y)  [ p( x, y),  q( x, y), 1]  H  p ( x, y )     x   H   q( x, y)    y  画像の明るさ  A=(ax,ay,az):光源1の入射光ベクトル  B=(bx,by,bz):光源2の入射光ベクトル  IA:光源1の下での点(x,y)の画素の明るさ  IB:光源2の下での点(x,y)の画素の明るさ IA   pa x  qa y  a z 1 p  q 2 2 IB   pbx  qb y  bz 1 p  q 2 2 式変形 T  1 p  q 2 2 と定義し、前頁の式を変形 pax  qay  az  I AT pbx  qby  bz  I BT これらはpとqの連立方程式の形をしている。この解は、 p  c pT  d p q  cq T  d q Tは、上にある通り、 T 2  p  q  1 ここにpとqを代入 2 2 K 2T  K1T  K 0  0 2 （KiはIA,IB,ax,ay,az,bx,by,bzの関数）２つの解 K 2T 2  K1T  K 0  0 この式をTについて解くと、２つの解T1とT2を得る  このTを前頁のpとqの解の式に代入すれば、T1 とT2それぞれに対して、(p1,q1)と(p2,q2)を得る  すなわち、N1とN2という２つの法線を得る  この曖昧性をIntegrabilityの性質を使って除去  領域分割  各画素は以下の３つの場合のうちどれか一つに当てはまる V 0 {pointswhereT  T1  T2 } V 1 {pointswhereT  T1  T2 } V 2 {pointswhereT  T2  T1}  V0とself-shadowで領域分割  領域内の全ての点はV1もしくはV2である Integrability  Integrability制約を用いる（下式）  p   q   2H   2H       すなわち、       xy   yx   y   x   (p1,q1)と(p2,q2)の一方のみ上式を満たすただし、例えば 2 H ( x, y)  0 xy が成り立つ時は成立しない H ( x, y)  F ( x)  G( y) が成り立つ時（例：平面）２つの照明がx-z平面にz軸対象で原点方向の場合正しい法線の判定方法  領域Rでは、下式のどちらかが0に近づく 2  p1 q1    dxdy   y x  ( x , y )R  2  p 2 q 2    dxdy   y x  ( x , y )R   左式≒0の時：(p1,q1)が正しい法線、R内の全ての点はV1  右式≒0の時：(p2,q2)が正しい法線、R内の全ての点はV2  両方の式≒0の時：隣りの領域から推測シミュレーションに使用した形状異なる照明における前頁の形状のシミュレーション画像２枚 V0の点とself-shadowの点をプロットした図結果 (c) Daisuke Miyazaki 2001 All rights reserved. http://www.cvl.iis.u-tokyo.ac.jp/