Gradient and curvature from the photometric-stereo method,including local confidence estimation Robert J. Woodham Introduction 照度差ステレオは様々な実験環境において実行され矛盾の無いよい結果をもたらすSPSのための手法様々な認識やlocalization taskに必要 cast shadow 、相互反射において誤差がでやすい Introduction 本稿では以下の２つの手法によって、照度差ステレオをより実用的にする複数画像をビデオレートから同時に得るために、照明条件は変えず、スペクトル多重化を行う LUTにビデオデータ（RGB）を通すため、商用の画像処理ハードウェアを用いる Shape-from-Shading 表面の勾配( p, q)を1枚の画像から得る手法曲面 z  f ( x, y) において、表面の勾配 ( p, q)は p f ( x, y ) f ( x, y ) ,　q  x y よって表面法線ベクトルは [ p, q,1] 一方、画像照度方程式は E ( x, y)  R( p, q) E( x, y) ：画像照度 (1) R( p, q) ：反射率分布図上記の関係式と、表面のなめらか拘束（連続 ( p, q) 性）の仮定から、を導出 Photometric Stereo 照明条件の異なる複数枚の画像から局所的に表面の勾配を決定 Ei ( x, y)  Ri ( p, q)　i  1,2,3 (2) E3 形状が既知の物体を較正に用いて、観測画像濃度値[E1, E2 , E3 ] に対応する面の勾配 ( p, q)の参照表（lookup table）をつくる。 E1 E2 Albedo Variation 表面の反射率が一様でないとき、反射係数 を考慮した場合の画像照度方程式 ( x, y) Ei ( x, y)   ( x, y) Ri ( p, q)　i  1,2,3 完全拡散反射面の場合式（３）は線形他は非線形（唯一の解が保証されない） (3) Two-Dimensional Surfaces in the ThreeDimensional Shape of Measured Intensities 式（２）において2次元の表面のパラメータ p, q E1 , Eを軸とする3次元空間で決定さは 2 , E3 れる。反射率が一様で、cast shadow,相互反射がない場合の観測画像濃度値は [ E1, E2 , E3 ] は2次元の表面形状によって拘束される（2次元の表面しだいある） Lambertian Reflectance 理想ランバート面では、画像照度は cos(i )に比例する。 i は入射角画像照度[ E1, E2 , E3 ] の離散プロット光源方向 E1 ( x, y ) : (0.7,0.3), E2 ( x, y) : (0.7,0.3), E3 ( x, y) : (0,0) Phong Reflectance 拡散反射成分と鏡面反射成分をもつ反射モデル。次式が成り立つ。 cos( j )[(1   )   cosn ( s / 2)] I cos(g / 2) i ：入射角 g ：位相角 n ：鏡面反射成分のピークの鋭さ  ：鏡面反射の割合 0    1 s ：off-specular angle(視線ベクトル及び、光源ベクトルと法線ベクトルの関係によって定義される） n, は物質の特性によって変化する Phong Reflectance Phongモデルにおける画像照度[ E1, E2 , E3 ] の離散プロット光源方向は図１と同様 (  0.75, n  20) Surface Curvature（表面曲率）滑らかな曲面における曲率の自由度は３ ⇒曲率を求めるのに３つのパラメータが必要曲面 z  f ( x, y ) のヘッセ行列 H を表わす  px p y  H  q x q y  ただし  2 f ( x, y )  2 f ( x, y ) px  , py  2 x xy  2 f ( x, y )  2 f ( x, y ) qx  , qy  yx y 2 滑らかな表面では H は対称行列： p y  qx Surface Curvature ヘッセ行列 H および表面の勾配 ( p, q) から視線方向によらない曲率の表現が可能 2  q  1　 pq 2 2 3 / 2 曲率行列： C  (1  p  q )  H 2   pq　p  1  行列 H の固有値を k1 , k 2 、固有ベクトルを 1 ,  2 とすると k1 , k 2 は主曲率となる（方向は 1 ,  2 ） (4 ) Surface Curvature ガウス曲率（全曲率）：主曲率の積 1 K  k1k 2  det(C)  det(C) 2 2 (1  p  q ) 平均曲率：主曲率の平均 H  (k1  k2 ) / 2  1 / 2tr(C) (6) (5) Determining the Hessian 画像照度方程式 E ( x, y)  R( p, q) Rp  Ex  E   H   y  Rq  を x, y で偏微分 (7) 式（７）だけではH は決定できない 2光源照度差ステレオにおいて  E1x E 2 x   R1 p R2 p  H   E E R R  1 y 2 y   1q 2 q  1 (8) Determining the Hessian 3光源照度差ステレオでは  E1 x E 2 x E 3 x  H R   E1 y E 2 y E 3 y  ただし R  M(MT M) 1 (9)  R1 p R1q    M   R2 p R2 q  R R   3 p 3q  3光源以上にも拡張可能 Determining the Hessian ˆ は、厳密にい式（９）よりヘッセ行列の推定値 H えば表面の勾配 ( p, q) に独立でない行列 R は勾配( p, q)の誤差につよい。(robust) ヘッセ行列の推定値が重複決定される曲率の推定値（勾配の推定値）の信頼できない位置を検出できる Determining the Hessian 曲率行列 C を推定する前にヘッセ行列を以下の式で与える ˆ H ˆT H （対称行列） 2 ˆ の妥当性の評価に以下の式を用いるまた、 H 誤差行列：  E1x E 2 x E3 x  ˆ  R1 p R2 p R3 p  E  H   E E E R R R  1y 2 y 3y   1q 2 q 3 q  Implementation 実験環境 Sony DXC-755 3 CCD 24-bit RGB camera Newport MP-1000 Moire projector×3 spectral filter Datacube image–processing system etc.... Implementation y object z y x RGB camera x filter light source フィルターを使用し、スペクトルの異なった3つの光源 red,green,blueを用いた投影を行う（スペクトル多重化） Implementation スペクトル多重化異なった光源下で撮影した複数枚の画像と同様のものを、同時に（一度に）得ることができる RGBカメラから3枚の白黒画像を得る実験に用いた物体キャリブレーション用：陶器の楕円体実物体：陶器のdoll face 反射特性は同じ Calibration 半径ｒの楕円体を用いる x 2  (y ) 2  z 2  r 2 楕円体上の点 ( x, y )における Light source 1 Light source 2 勾配及びヘッセ行列は x 2 y p   ,　q   z z 1 H 3 z  r 2  2 y 2 2 xy   2 2 2 2   xy　 ( r  x ) Light source 3 Calibration 楕円体における画像照度[ E1, E2 , E3 ] の離散プロット Lookup Table for Real-Time Photometric Stereo R G 6bits LUT (p,q) colour index 8bits 6bits B 18 6bits 2 entries 8bits d gray level ハードウェアは 218 entriesを一度に持つことができないので、 16 長さ 2 のlookup tableを４つのハードウェアで実装する Lookup Table for Real-Time Photometric Stereo Lookup tableを用いた復元キャリブレーション物体を様々な光源条件（３）のもとで撮影し、ある特定の点から得た観測画像濃度値 [ E1, E2 , E3 ] が、表の項目を決定し、適切な場所に、計算によって求められた表面の勾配 ( p, q)（あるいは単位法線ベクトル）を格納キャリブレーション物体のサンプリング間隔により表内に隙間が生じる場合は、線形補間を用いて値を補う補間によって求めた値と項目に存在した値との表内での距離を d とし評価に用いる Experiment Result 実験に用いた物体（384×256） Light source 1 (red) Light source 2 [green] Light source 3 [blue] Experiment Result Doll faceにおける画像照度[ E1, E2 , E3 ] の離散プロット Experiment Result 相互反射 cast shadows Experiment Result １．表面の勾配 slope angle: tan 1 ( Slope p2  q2 ) Aspect aspect angle: t an1 (q / p) Confidence estimate d Experiment Result １.表面の勾配（カラー画像） Experiment Result ２.表面曲率 k1 k2 Confidence estimate 1 , 2 Discussion and Conclusion 照度差ステレオは異なる照明条件で撮影された複数の画像から、物体の3次元形状を得る手法表面の勾配と、表面曲率の推定値を得ることができるスペクトル多重化を使用して、照明条件を変化させずに同時に複数枚の画像を獲得したビデオストリームを参照表に通して送るため、商用のハードウェアを使用した