Principal Components Analysis and Neural Network

Principal Components Analysis and Neural Network
Implementation of Photometric Stereo
Yuji Iwahori, Robert J. Woodham,
Ardeshir Bagheri (1995)
1 Introduction
Photometric Stereo(照度差ステレオ)の実装
Principal Components Analysis (主成分分析)
ある空間から、次元を落として部分空間を抽出す
るための線形処理テクニック。計算能力の問題
(ill-conditioned)を解決するために用いる。
Neural Network
非パラメットリック関数を近似する特性を利用し
て、入力空間とそれに対応する表面配向のマッ
ピングを学習する。データは校正球面から得る。
影や相互反射の影響による信頼性の評価に用
いる。
2 Photometric Stereo (1)
物体の表面
z  f ( x, y)
：Z方向は観察者への方向
正射影によって、２次元画像に投影される
表面法線ベクトル
[n1, n2, n3]
：ベクトル長は１とする
画像照度方程式
E( x, y)  R(n1, n2 , n3 )
E( x, y) ：画像照度
R(n1 , n2 , n3 ) ：反射率マップ
2 Photometric Stereo (2)
p方向からの光源によって、p画像を使用する時の
画像照度方程式
E1 ( x, y )  R1 (n1 , n2 , n3 )
E2 ( x, y )  R2 (n1 , n2 , n3 )

E p ( x, y )  R p (n1 , n2 , n3 )
全ての照明の方向がほぼ同一線上にあった場合
問題発生(ill-conditioned)
Principal Components Analysis（主成分分析）
3 Principal Components Analysis (1)
PCAは多変量解析の手法の一つ。もとの変数間
の類似性に基づいて、新たな少数の変数へと集
約する。
新たな変数
主成分
主成分は対象データの「分散」を最大化するよう
に設定される。また、主成分同士は互いに独立で
ある。
最終的に変数を集約するために、もとの変数より
も少ないだけの主成分を抽出する。
3 Principal Components Analysis (2)
主成分を求めるために、共分散行列の固有方
程式を解き、固有値と固有ベクトルを求める。
2
共分散行列は、対角要素が各変量の分散 si 、そ
れ以外の第ij要素はi番目の変量とj番目の変量の
共分散 sij となっている行列のこと。
 s12

 s12
S 
 
s
 1p
s12
s2
2

s2 p
 s1 p 

 s2 p 

  
2
 s p 
3 Principal Components Analysis (3)
1. p入力画像からp×pの共分散行列 K を計算する。
2. 固有ベクトル kと固有値 kを求める。(k  1,2,..., p)
列が k であるp×p行列を とする。
画像照度を [ E1, E 2, E3,...,Ep] とする。
主成分: [ A1, A2, A3,..., Ap]
主成分Akの分散の
 A1 
 E1 
A 
E 
 2   T  2 
  
  
 
 
 Ap 
 E p 
全体に占める割合
k

p
i 1
i
4 NN Functional Approximation
4.1 RBF Networks and OLS Learning (1)
Radial Basis Function neural network
多次元解析に用いられる非関数近似の方法の一つ。学習
によってフィードフォワードネットワークを構成する。
基底関数
ガウス関数
基底関数の出力を線形結合することによって
ネットワークの出力とする。
Orthogonal Least Squares (直交最小２乗法)
近似値と観測値との残差の２乗を求め、それを最小とする
ような近似関数を求める方法。基底関数の中心を選択す
るのに適用される。十分なネットワークが構成されるまで、
その手続きは繰り返される。
4 NN Functional Approximation
4.1 RBF Networks and OLS Learning (2)
RBFネットワークは２層から
成る(図はPの隠れ層と、３つ
の出力層から成る)。
１度の学習手続きによって、
ニューロンが１つずつネット
ワークに追加される。２乗和
誤差が目標値に達するか、
またはニューロンの数が最
大になるまで繰り返される。
図: Radial Basis Function
Neural Network
本手法では２つのRBFネットワークを構成
第１のネットワークは入力から表面配向を予測
[ A1 , A2 , A3 ]
[n1 , n2 , n3 ]
4 NN Functional Approximation
4.2 A 2nd Network Estimates Confidence
さらに入力を逆に予測するようなネットワークを生成
第２のネットワークは出力された表面配向から入力を予測
[ A1 , A2 , A3 ]
[n1 , n2 , n3 ]
実際の入力と逆予測された入力を比較し、信頼評価を行う
（影や相互反射に影響される領域）。
A1
A2
A3
'
n1
n2
n3
RBF
NN 1
RBF
NN 2
A1
'
A2
'
A3
d  ( A1  A1 ) 2  ( A2  A2 ) 2  ( A3  A3 ) 2
'
'
'
5 Experiments
5.1 Experimental Setting
5.2 Calibration
陶器の球体（キャリブレーション用）と陶器の男性の顔を
使用する。ともに同じ物質であり、同じ反射特性を持つ。
光学台に対象物を取り付け、光源の角度を約２度ずつず
らしながら７方向からの画像を撮影する。
5 Experiments
5.3 Results (1)
共分散行列 K 、固有ベクトル 、固有値 k は以下となる。
1.5058
1.4394

1.4006

K  103  1.4009
1.4003

1.4372
1.4288

1.4394 1.4006 1.4009 1.4003 1.4372 1.4288
1.3937 1.3712 1.3337 1.3224 1.3795 1.3731
1.3712 1.3687 1.2887 1.2664 1.3462 1.3423

1.3337 1.2887 1.3209 1.3303 1.3412 1.3329
1.3224 1.2664 1.3303 1.3531 1.3403 1.3336

1.3795 1.3462 1.3412 1.3403 1.3862 1.3874
1.3731 1.3423 1.3329 1.3336 1.3874 1.4073
0.3597  0.0392 0.2414
0.3799 0.2899 0.2344

0.3709 0.6472 0.2223

  0.3694  0.3248 0.2213
 0.3693  0.6235 0.1592

 0.3801 0.0056  0.2307
0.3796 0.0355  0.8426

1 7   103  9.5662
0.7499
0.3628  0.2608
0.0893  0.0331 0.6855
 0.4604 0.1362  0.3658
 0.1585  0.2822 0.3555
 0.4020 0.2612  0.2233
 0.1699  0.7745  0.3521
 0.0459
0.3179
0.1671
0.1470
 0.4875
0.1728

0.6913
 0.4120

 0.2228
0.1168
0.1166 0.0398 0.0084 0.0024 0.0012 0.0009
固有値の大きい順に３つの主成分を用いる
5 Experiments
5.3 Results (2)
キャリブレーションによって得られた値をプロット
照度(E1,E2,E3)は直線に沿って集中し高い相関がある。
一方、主成分(A1,A2,A3)は相関が低くなっている。
図(a) Plot of (E1,E2,E3)
図(b) Plot of (A1,A2,A3)
5 Experiments
5.3 Results (3)
RBFネットワークの学習
キャリブレーションによって得た、(A1,A2,A3)と
(n1,n2,n3)の対応を各ネットワークに学習させる。
第１のネットワーク
一般化
第２のネットワーク
妥当評価
５０世代まで学習
１００世代まで学習
図(a) (A1,A2,A3) to (n1,n2,n3) 図(b) (n1,n2,n3) to (A1,A2,A3)
5 Experiments
5.3 Results (4)
観察者（カメラ）の方向を向いた像の画像の場合
(a) ７つの入力画像の一つ
(b) 勾配角度（表面法線ベクトルと観察方向のベクトル間の角度）
(c) アスペクト（表面法線ベクトルのXY平面上への射影）
(d)信頼評価d（明るい領域は信頼が低い、影や相互反射）
(a) Boy-1 image
(b) Boy-1 slope
(c) Boy-1 aspect
(d) Boy-1 confidence
5 Experiments
5.3 Results (5)
位置を変更した像の画像の場合
(a) ７つの入力画像の一つ
(b) 勾配角度（表面法線ベクトルと観察方向のベクトル間の角度）
(c) アスペクト（表面法線ベクトルのXY平面上への射影）
(d)信頼評価d（明るい領域は信頼が低い、影や相互反射）
(a) Boy-2 image
(b) Boy-2 slope
(c) Boy-2 aspect
(d) Boy-2 confidence
6 Conclusion
照度差ステレオの新しい実装方法を提案
•主成分分析によって対象データの次元を減少させる。
•RBFニューラルネットワークとOLSによって、入力空間
と表面法線ベクトルとの対応マッピングを生成。
•RBFニューラルネットワークによって、影や相互反射の
影響を受けている領域の信頼評価。
この実装方法は、経験的な手法によってのみ行われ、
光源方向や反射率等の条件を必要としない。対象物
体と同じ物質（同じ反射率）からなる物体の校正による
データさえあればよい。

Download Report