分かりやすいパターン認識

分かりやすいパターン認識
発表日：５月２３日
担当：脇坂恭志郎
第６章特徴空間の変換
６．４線形判別
[３] 線形判別法と空間変換
線形判別法
線形判別法とは
→空間の線形変形によりクラス内分散・クラス間分散比
を最大にする d~ 次元部分空間法を求める方法。
~
→識別を考慮した特長空間の変換法。変換には（ d , d ）
行列のＡを用いる。
変換行列Aは A  A1 A2 の二段階に分割可能。
空間変換 ①
W は対称行列なので A1t W A1  I d を満たすｄ次正方行列 A1 が
存在する。（ただし、 I d はｄ次単位行列）
~
~
t
ここで A1  B A1 の d 個の固有ベクトルを列とする (d , d )行列を
A2とし、対応する固有値を成分とする d~ 次元対角行列を  とおくと、
( A1t  B A1 ) A2  A2 
A2t A2  I d~
が成り立つ。
こうして定義した A1 , A2 を用いて、さらに A  A1 A2 と定義すると、
このＡは以下の二式で示した固有値問題の条件を満たす。（ｐ１２６）
~
W  A t W A  I  (1)
 B A   W A  ( 2 )
評価関数の
最大化問題
Ａが固有値条件を満たす理由は？
前出の式 A1t W A1  I d を用いて
~
W  At W A  A2t ( A1t W A1 ) A2
 A2t I d A2  A2t A2  I d~ ( 3)
となり、（１）式が示される。さらに、
( A1t )1  W A1
となるので、これを ( A1  B A1 ) A2  A2 の両辺に対応して
掛けると
t
 B A  W A
これによって、（２）式が成り立つ。
空間変換 ②
・第一の変換
A1 は、クラス内分散 W の正規化を行う変換。
白色化（whitening）
・第二の変換
A2 は、 A1 で正規化された空間でのクラス平均
A1t W A1  I d に対するＫＬ展開法を行う変換。
・Ａは、（３）式と
~
 B  At  B A  A2t ( A1t  B A1 ) A2  A2t A2  
より、 W ,  Bを同時に対角化する変換。
同時対角化（simultaneous diagonalization）
線形判別法における２段階の空間変換
A1 , A2の変換を具体例で図解したものが、下図である。
(a)は２次元特徴空間上での２クラスの特徴ベクトルの分布を表す。
X2
X2
2
1
 m1
(a) 特徴空間
1 2
 m2
X1
X1
(b)
まず、(a)の特徴空間上での  1,  2の分布を、(b)のように重心が
一致するように重ね、これを分布  1 2とする。
A1 変換後の正規化空間
分布 1,  2が(d)のように各軸に対して等方的になるような、すなわち
分布の共分散行列が単位行列の定数倍になるような変換 A を求める。
1
(a) をA1 変換
L1 
1
 m1
(b) をA1 変換
Z1
1 2
2
 m2
Z1
DN
L2 
(c) 正規化空間
Z2
(d)
Z2
次に原空間(a)に対して変換 A1 を施すことにより、空間(c)が得られる。
この変換によって得られる正規空間の軸は Z1 , Z 2となり、この空間に
おける各クラス平均 m1 , m2 に対してＫＬ展開法を施す。
A2変換後の判別空間Ａ
ＫＬ展開法を施す場合、 m1 , m2 の二点しかないので、求められる部分空間
二点を結ぶ軸 D N となる。これにより判別空間(e)が得られる。（空間軸はＹ）
X2
D
L2 

1

2
(e) 変換後の空間（判別空間）
Y

1

L1 
1
X1
D
(f) 特徴空間と判別軸
(c)の線分 L1 L2 を正規化空間上で考え、原空間に移すと(f)の L1 L2となる。
線分 L1 L2 は判別空間上では同じ点に写像されるので、求める判別軸は
これに垂直な軸であり、Ｄが得られる。（ D  は二クラスを分ける決定境界）
Coffee break !!
・砂時計型ニューラルネットワーク
~
d 個の入力層と出力層、d 個の中間層からなり、入力と同じ値を
出力するような恒等写像を、学習によって実現。学習後の中間層
~
ユニットの出力は d 次元ベクトルとして実現され、d 次元特徴ベク
トルの次元圧縮された表現とみなす事が出来る。（下図は５層）
＜利点＞
・歪んだ分布を持つ特徴ベクトルに対し、
「歪んだ軸」を決めることが可能
＜欠点＞
・任意の写像を任意の精度で実現するのに
無限個のパラメータが必要。
・この方法によって変換された特徴空間
の特徴について不明な点が多い。
5
2  (d  1)
1
d
4
3
1
~
d
2
1
1
2  (d  1)
d

Download Report