Oren-Nayar反射モデルに基づく反射特性の推定

Oren-Nayar反射モデルに基づく
反射特性の推定
九州芸術工科大学大学院修士２年
芸術工学研究科芸術工学専攻
木村
達治
研究の背景
研究の背景
仮想物体の見えをCGでリアルに表現するた
めに、一般に数学的な反射モデルが利用さ
れる．
しかしながら、現実物体の反射パラメータの
値を決めることは難しく、現状ではこれらの
値を人が試行錯誤しながら選ぶことが多い．
そのため、CGコンテンツの作成に膨大なコ
ストがかかっている．
研究の背景
コンピュータビジョンの分野において、実物
体の形状や色、質感などを数値化し、仮想世
界で表現するための研究が盛んにおこなわれ
ている．
画像中の物体に関する情報や撮影環境につい
ての情報を得ることに役立つ．
仮想環境や任意視点・任意光源状況下での見
え方のバリエーションにも幅広く対応するこ
とができる．
研究の目的
研究の目的
手軽に実物体の数値化モデルを
得ることを可能にする
↓
インバースレンダリングが有効
インバースレンダリング
撮影された画像群から照明や視線の影響の
ない物体固有の反射特性を推定する過程
研究の目的
一般に拡散反射物体のインバースレンダリ
ングには、モデル式がシンプルなことから
Lambertモデルが利用されている．
しかし、Lambertモデルは表面が粗い物体に
おいては実画像と異なった見え方をする．
実画像
Lambertモデルを仮定した合成画像
研究の目的
表面が粗い物体に対して、反射特性の正確
な推定はまだなされていない．
研究の目的
1992年、粗い表面に対して有効な
Oren-Nayar反射モデルが開発される．
本研究では、このOren-Nayar反射モデルに基
づく物体のインバースレンダリング推定手法
を提案する．
粗い表面をもつ物体を任意視点・光源状況下
で、より忠実にCGで再現できることを示す．
可視光領域における反射の原理
反射の原理
物体表面における反射
• 鏡面反射（specular reflection）
• 拡散反射（diffuse reflection）
反射の原理
反射の原理
反射の原理
拡散反射モデル
拡散反射モデル
Lambertモデル
L  I 0 K d cos i
視点の位置には影響を受けず，どこから見ても同じ色となる．
拡散反射モデル
（a） Lambert拡散反射
（b）一般拡散反射
拡散反射モデル
Oren-Nayar反射モデル
拡散反射モデル
Oren-Nayar反射モデルの式
L(i,r ,r i; )  Kdc I0c cosi ( A B*Max0,cos(r i ) sin  tan  )

2 


A  1  0.5 * 
  2  0.33 



2 


B  0.45  
  2  0.09 


σ＝0 のとき
Ａ＝1，Ｂ＝0となり，
Lambertモデルと一致する．
cos(r  i )  Normalize(e  (n  e)n)  Normalize(l  (n  l )n)
cos  max(n  l, n  e)
cos   min( n  l, n  e)
Oren-Nayar 反射モデルに基づく
反射特性パラメータの推定手法
インバースレンダリングにおいて反射
パラメータを推定する際、物体の幾何
形状が必要となる．
本研究では、視体積交差法とMarching
Cubes法を用いて、物体の幾何形状を取
得する．
形状復元
視体積交差法
ボクセルへの投票
Oren-Nayar反射モデルの式
L(i ,r ,r i; )  KdcI0c cosi ( A  B* Max0,cos(r i ) sin  tan  )
I ijc  K dc ij ( )
L
0,cos(  ) sin  tan  )
Iijc  c

(

)

cos

(
A

B
*
Max
r
i
i 

I ， ij
0
推定するパラメータは
g
b
c
r
，
K
K
K（
K
d
d ， d， d ）
オクルージョン考慮のため、画像（画素）
バッファを用意し、座標番号を記録．
ij ( )
σ＝0.0
STD
ij ( )
σ＝0.1
+
I ijc
Input
image
・
・
・
+
ij ( )
σ＝0.9
ij ( )
σ＝1.0
STD
STD
I ijr
ij ( )
I ijg
ij ( )
I ijb
ij ( )
最小の標準偏差と
なるσをσ*とする
c*
このσ*の下で K d を求める
c
c*
σ*の下で画素値の平均二乗誤差を最小とする K d を K d
とする．
K dr* 
* r
{

(

ij ij ) Iij }
ij {ij ( * )}2
* g
{

(

) I ij }

ij
ij
g*
Kd 
ij {ij ( * )}2
c*
* b
{

(

) I ij }

ij
ij
b*
Kd 
ij {ij ( * )}2
今度はこの３つの K d のもとでσをまた0から0.1刻みで変え
ながら，そのたびに入力画像と合成画像の誤差を求め，こ
の値を最小にするするようなσを探索し，このσをあらた
めて， σ*とする．
r
g
b
このようにして得られたσ*に対して K d ，K d ，K d ，
を初期推定のときの方法と全く同様にして更新し，
それぞれ K dr*，K dg*，K db* とする．
以上の計算手続きを各パラメータ
の値が収束するまで繰り返す．
収束したら， の探索幅を小さくして，また同じ作業を
繰り返す．
任意の探索幅まで進んだら終了する．ここで、最終的に
c
得られた  ，K d が推定値となる．
不均一な反射特性を持つ物体のOren-Nayarモデルに
基づく反射特性パラメータの推定手法への拡張
MC法によって生成されたパッチの頂点ごとに粗
さ係数  および，拡散反射係数 K dc を推定する．
 K dc
 K dc
 K dc
実験結果
シミュレーション実験Ⅰ
シミュレーション実験における３次元シーンモデル
焦点距離f = 2000，視点位置（0,0,1000）, 光源位置（0,0,10000）
円柱モデルの半径r＝50，高さh＝100
画像サイズ 400×400
頂点数
パッチ数
54317
113220
MC法により復元されたsurface modelとwire-frame model
σの真値 0.45516
0.350
0.300
標準偏差
0.250
0.200
0.150
0.100
0.050
0.000
0.0
0.1
0.2
0.3
0.4
0.5
0.6
粗さ係数σ
0.7
0.8
c
σ*を求めるための
I ij
ij ( )
の標準偏差
0.9
1.0
400
IKij ( )
c*
誤差の2乗平均
350
300
250
200
150
100
50
0
0.0
0.1
0.2
0.3
0.4
0.5
0.6
粗さ係数σ
新たなσ*を求めるための
0.7
0.8
0.9
1.0
cr , g ,b i, j {Iijc  K dc*ij ( )}2
画素数  3
4
誤差の2乗平均
3.5
3
2.5
2
1.5
1
0.5
0
0.1
0.01
0.001
粗さ係数σの探索幅
1E-04
探索幅による真値(入力画像画素値)と推定値の平均２乗誤差の推
移.
0.06
K
各真値係数との差
0.05
0.04
σ
Kr
Kg
Kb
0.03
0.02
0.01
0
0.1
0.01
0.001
0.0001
σの探索幅
探索幅による真値係数と推定値係数との差の推移.
探索幅
σ
Kｒ
Kｇ
Kｂ
0.1
0.4
0.81017
0.42812
0.27368
0.01
0.42
0.81829
0.43242
0.27643
0.001
0.425
0.82034
0.43350
0.27712
0.0001
0.4255
0.82054
0.43360
0.27719
0.45516
0.835294
0.442745
0.284039
真値
input
Lambert
OrenNayar
input
Lambert
Sum of RGB error
ERROR
120
O-N
ERROR
0
シミュレーション実験Ⅱ
4分割領域円柱モデルに関する数値データ．
54317個の座標データ
113220個の三角パッチ
上下閾値  48
上下越え数 17157
cosi <= 0となる点 18671
cosi > 0となる点 18489
投影画像枚数の閾値 18枚
推定可能点数 18467
推定不可能点数 22
σ ：0.2674
Kr：0.7162
Kg：0.7477
Kb：0.2234
σ：0.6374
Kr：0.3162
Kg：0.4477
Kb：0.7234
σ ：0.4674
Kr：0.3162
Kg：0.8477
Kb：0.2234
σ：0.0674
Kr：0.9162
Kg：0.4477
Kb：0.3734
400×400 pixel 72枚
1.0
Roughness σ
0
粗さ係数σマップ
実画像実験
撮影システム
（画像サイズ640×480，72枚）
実際の撮影風景
29615個の座標データ
76340個の三角パッチ
推定可能点 27211
推定不能点 2404（ cos<=
0となる点を含む）
i
推定された各σの個数
σ<0
0.0=<σ< 0.1
0.1=<σ< 0.2
0.2=<σ< 0.3
0.3=<σ< 0.4
0.4=<σ< 0.5
0.5=<σ< 0.6
0.6=<σ< 0.7
0.7=<σ< 0.8
0.8=<σ< 0.9
0.9=<σ< 1.0
1.0 <σ
0
6316
24
1485
16757
2191
280
36
19
24
79
0
0.0%
23.2%
0.1%
5.5%
61.6%
8.1%
1.0%
0.1%
0.1%
0.1%
0.3%
0.00%
合計
27211
100.0%
(＝推定可能点個数)
input
Lambert
OrenNayar
input
Lambert
120
Sum of RGB error
ERROR
O-N
ERROR
0
MOVIE
任意始点
σマップ
任意光源
MovieはMovie
フォルダにまとめ
ています。
まとめ
まとめ
本研究において，Oren-Nayar反射モデルに基
づく物体の反射パラメータの推定手法について
述べた．
Oren-Nayarモデルにおける物体の反射特性を物
体領域に対して密に推定する事で，領域ごとに
異なる反射特性を持つ物体に対しても，詳細な
反射特性を推定することができた．
従来CG・CV等で用いられる代表的なLambert拡散
反射モデルよりも，物体を忠実に再現できるこ
とを示した．
今後の課題
今後の課題
1. 反射パラメータ推定時における光源位置の特定の自動化.
2. 推定後におけるリアルタイムレンダリング処理.
3. 鏡面反射の領域を含んだ物体の反射特性の推定．
4. 物体間の相互反射を考慮した場合の反射特性の推定．
5. 入力画像枚数による反射特性の推定精度の分析．
6. 物体幾何形状の精度による反射特性の推定精度の分析．
7. 各処理における閾値決定等の自動化．
8. パラメータ推定の時間短縮．
実画像を用いた実験における反射特性推定までの処理時間
画像枚数 72枚
29615個の座標データ
76340個の三角パッチ
Pentium4 2.8GHz 1G Memory
三次元形状復元
23.05s
MC法によるポリゴン化 3.39s
ラベリング
頂点平滑化
法線算出
反射特性推定
合計
18.54s
132.25s (2.2m)
21.54s
748.96s (12.5m)
947.73s (15.8m)
未
Oren-Nayar反射モデル
形状復元
2次元画像から3次元への拡張
失われてしまった奥行き情報を見つけ出す。
復元手法の種類：
・ステレオマッチング法
・照度差ステレオ法（フォトメトリックステレオ法）
・等高線観測法（モアレトポグラフィ法,干渉縞法）
・Shape From Silhouette（物体のシルエットを利用）
・Voxel Coloring（ボクセルの色の一貫性を利用）
・etc
形状復元
2次元画像から3次元への拡張
失われてしまった奥行き情報を見つけ出す。
復元手法の種類：
・ステレオマッチング法
・照度差ステレオ法（フォトメトリックステレオ法）
・等高線観測法（モアレトポグラフィ法,干渉縞法）
・Shape From Silhouette（物体のシルエットを利用）
・Voxel Coloring（ボクセルの色の一貫性を利用）
・etc
形状復元
ピクセル
ボクセル
What is a Visual Hull?
形状復元
形状復元
すなわち
c
c*
2
{
I

K

(

)}
cr , g ,b i , j ij d ij
画素数  3
を最小化するσをσ*とする．
（全画像中における物体領域の画素値（RGB）の
総和あたりの差の２乗の最小値）
Z
Y
X
今回の実験で用いたキャリブレーション用パタンボード
•
•
•
•
円柱中央部推定エラー
局所的最適解からの脱出
cosθiによるK＞１
物体表面にノイズ
２次元画像からの３次元形状復元

Download Report