Gradient and curvature from the photometric

Gradient and curvature from the
photometric-stereo method,including
local confidence estimation
Robert J. Woodham
Introduction
照度差ステレオは
様々な実験環境において実行され矛盾の無いよ
い結果をもたらすSPSのための手法
様々な認識やlocalization taskに必要
cast shadow 、相互反射において誤差がでやす
い
Introduction
本稿では以下の2つの手法によって、照度差
ステレオをより実用的にする
複数画像をビデオレートから同時に得るために、
照明条件は変えず、スペクトル多重化を行う
LUTにビデオデータ(RGB)を通すため、商用の
画像処理ハードウェアを用いる
Shape-from-Shading
表面の勾配( p, q)を1枚の画像から得る手法
曲面 z  f ( x, y) において、表面の勾配 ( p, q)は
p
f ( x, y )
f ( x, y )
, q 
x
y
よって表面法線ベクトルは [ p, q,1]
一方、画像照度方程式は
E ( x, y)  R( p, q)
E( x, y) :画像照度
(1)
R( p, q) :反射率分布図
上記の関係式と、表面のなめらか拘束(連続
( p, q)
性)の仮定から、
を導出
Photometric Stereo
照明条件の異なる複数枚の画像から局所的
に表面の勾配を決定
Ei ( x, y)  Ri ( p, q) i  1,2,3
(2)
E3
形状が既知の物体を較正に用
いて、観測画像濃度値[E1, E2 , E3 ]
に対応する面の勾配 ( p, q)の
参照表(lookup table)をつくる。
E1
E2
Albedo Variation
表面の反射率が一様でないとき、反射係数
を考慮した場合の画像照度方程式
( x, y)
Ei ( x, y)   ( x, y) Ri ( p, q) i  1,2,3
完全拡散反射面の場合式(3)は線形
他は非線形(唯一の解が保証されない)
(3)
Two-Dimensional Surfaces in the ThreeDimensional Shape of Measured Intensities
式(2)において2次元の表面のパラメータ
p, q
E1 , Eを軸とする3次元空間で決定さ
は
2 , E3
れる。
反射率が一様で、cast shadow,相互反射がない場合
の観測画像濃度値は [ E1, E2 , E3 ] は2次元の表面形
状によって拘束される(2次元の表面しだいある)
Lambertian Reflectance
理想ランバート面では、画像照度は cos(i )に比例する。
i は入射角
画像照度[ E1, E2 , E3 ] の離散プロット
光源方向
E1 ( x, y ) : (0.7,0.3), E2 ( x, y) : (0.7,0.3), E3 ( x, y) : (0,0)
Phong Reflectance
拡散反射成分と鏡面反射成分をもつ反射モ
デル。次式が成り立つ。
cos( j )[(1   )   cosn ( s / 2)]
I
cos(g / 2)
i :入射角
g :位相角
n :鏡面反射成分のピークの鋭さ
 :鏡面反射の割合 0    1
s :off-specular angle(視線ベクトル及び、光源ベクト
ルと法線ベクトルの関係によって定義される)
n, は物質の特性によって変化する
Phong Reflectance
Phongモデルにおける 画像照度[ E1, E2 , E3 ] の離散プロット
光源方向は図1と同様
(  0.75, n  20)
Surface Curvature(表面曲率)
滑らかな曲面における曲率の自由度は3
⇒曲率を求めるのに3つのパラメータが必要
曲面 z  f ( x, y ) のヘッセ行列 H を表わす
 px p y 
H

q x q y 
ただし
 2 f ( x, y )
 2 f ( x, y )
px 
, py 
2
x
xy
 2 f ( x, y )
 2 f ( x, y )
qx 
, qy 
yx
y 2
滑らかな表面では H は対称行列: p y  qx
Surface Curvature
ヘッセ行列 H および表面の勾配 ( p, q) から
視線方向によらない曲率の表現が可能
2

q
 1  pq
2
2 3 / 2
曲率行列: C  (1  p  q ) 
H
2
  pq p  1 
行列 H の固有値を k1 , k 2 、固有ベクトルを 1 ,  2
とすると k1 , k 2 は主曲率となる(方向は 1 ,  2 )
(4
)
Surface Curvature
ガウス曲率(全曲率):主曲率の積
1
K  k1k 2  det(C) 
det(C)
2
2
(1  p  q )
平均曲率:主曲率の平均
H  (k1  k2 ) / 2  1 / 2tr(C)
(6)
(5)
Determining the Hessian
画像照度方程式
E ( x, y)  R( p, q)
Rp 
Ex 
E   H 
 y
 Rq 
を x,
y で偏微分
(7)
式(7)だけではH は決定できない
2光源照度差ステレオにおいて
 E1x E 2 x   R1 p R2 p 
H


E
E
R
R
 1 y 2 y   1q 2 q 
1
(8)
Determining the Hessian
3光源照度差ステレオでは
 E1 x E 2 x E 3 x 
H
R

 E1 y E 2 y E 3 y 
ただし
R  M(MT M) 1
(9)
 R1 p R1q 


M   R2 p R2 q 
R R 
 3 p 3q 
3光源以上にも拡張可能
Determining the Hessian
ˆ は、厳密に い
式(9)よりヘッセ行列の推定値 H
えば表面の勾配 ( p, q) に独立でない
行列 R は勾配( p, q)の誤差につよい。(robust)
ヘッセ行列の推定値が重複決定される
曲率の推定値(勾配の推定値)の信頼できな
い位置を検出できる
Determining the Hessian
曲率行列 C を推定する前にヘッセ行列を以下の式で与える
ˆ H
ˆT
H
(対称行列)
2
ˆ の妥当性の評価に以下の式を用いる
また、 H
誤差行
列:
 E1x E 2 x E3 x  ˆ  R1 p R2 p R3 p 
E
 H


E
E
E
R
R
R
 1y 2 y 3y 
 1q 2 q 3 q 
Implementation
実験環境
Sony DXC-755 3 CCD 24-bit RGB camera
Newport MP-1000 Moire projector×3
spectral filter
Datacube image–processing system
etc....
Implementation
y
object
z
y
x
RGB camera
x
filter
light source
フィルターを使用し、スペクトルの異なった3つの光源
red,green,blueを用いた投影を行う(スペクトル多重化)
Implementation
スペクトル多重化
異なった光源下で撮影した複数枚の画像と同
様のものを、同時に(一度に)得ることができる
RGBカメラから3枚の白黒画像を得る
実験に用いた物体
キャリブレーション用:陶器の楕円体
実物体:陶器のdoll face
反射特性は同じ
Calibration
半径rの楕円体を用いる
x 2  (y ) 2  z 2  r 2
楕円体上の点 ( x, y )における
Light source 1
Light source 2
勾配及びヘッセ行列は
x
2 y
p   , q  
z
z
1
H 3
z
 r 2  2 y 2 2 xy 
 2
2
2
2 
 xy  ( r  x )
Light source 3
Calibration
楕円体における 画像照度[ E1, E2 , E3 ] の離散プロット
Lookup Table for Real-Time
Photometric Stereo
R
G
6bits
LUT
(p,q) colour index
8bits
6bits
B
18
6bits
2
entries 8bits
d gray level
ハードウェアは 218 entriesを一度に持つことができないので、
16
長さ 2 のlookup tableを4つのハードウェアで実装する
Lookup Table for Real-Time
Photometric Stereo
Lookup tableを用いた復元
キャリブレーション物体を様々な光源条件(3)のもとで撮影
し、ある特定の点から得た観測画像濃度値 [ E1, E2 , E3 ] が、
表の項目を決定し、適切な場所に、計算によって求められた
表面の勾配 ( p, q)(あるいは単位法線ベクトル)を格納
キャリブレーション物体のサンプリング間隔により表内に
隙間が生じる場合は、線形補間を用いて値を補う
補間によって求めた値と項目に存在した値との表
内での距離を d とし評価に用いる
Experiment Result
実験に用いた物体(384×256)
Light source 1
(red)
Light source 2
[green]
Light source 3
[blue]
Experiment Result
Doll faceにおける 画像照度[ E1, E2 , E3 ] の離散プロット
Experiment Result
相互反射
cast shadows
Experiment Result
1.表面の勾配
slope angle: tan 1 (
Slope
p2  q2 )
Aspect
aspect
angle:
t an1 (q / p)
Confidence
estimate d
Experiment Result
1.表面の勾配(カラー画像)
Experiment Result
2.表面曲率
k1
k2
Confidence
estimate 1 , 2
Discussion and Conclusion
照度差ステレオは異なる照明条件で撮影された
複数の画像から、物体の3次元形状を得る手法
表面の勾配と、表面曲率の推定値を得ることが
できる
スペクトル多重化を使用して、照明条件を変化さ
せずに同時に複数枚の画像を獲得した
ビデオストリームを参照表に通して送るため、商
用のハードウェアを使用した