わかりやすいパターン認識

わかりやすいパターン認識
第9章学習アルゴリズムとベイズ決定側
〔3〕最小2乗法とベイズ決定側
発表：2003年7月4日
時田陽一
線形モデルの場合（1）
最小二乗法による線形識別関数と
ベイズ決定側との関係について調べる
式（9.7）において b1  1, b2  1 とすると、
L( w )  P( 1 )  ( w t x  1) 2 p ( x | 11 )dx  P( 2 )  ( w t x  1) 2 p( x |  2 )dx
ベイズ識別関数は、
g 0 ( x)  P( 1 | x)  P( 2 | x)

p( x |  1 ) P( 1 )  p( x |  2 ) P( 2 )
p ( x)
線形モデルの場合（2）
L ( w ) は、以下のように表される

L( w )   ( w t x  g 0 ( x)) 2 p( x)dx  1   g 02 ( x) p( x)dx

上の式より L ( w ) の第2項はwによらない
｛第1項を最小にするw｝⇒｛ L ( w )を最小にするw｝
線形識別関数 g ( x)  w x は、
ベイズ識別関数 g0 ( x) を最小二乗近似する線形識別関数
t
Coffee break
最小二乗学習によって
ベイズ識別関数を最小二乗近似する線形識別関数が得られる
誤識別率を最小にする理想的な識別関数であるかに見える
2
1
最小二乗学習によって
得られる境界
誤識別率最小の境界
二乗誤差最小という基準を用いると、パターン数の
多いところ[p（x）の大きいところ]の寄与が大きくなってしまう
ベイズ識別関数を最小二乗近似する線形識別関数は
誤識別率という観点から見て必ずしも最良ではない
非線形モデルの場合(1)
前節で示した非線形モデルの最適解
c
y   ( x)   P( i | x)ti
*
*
i 1
最小二乗法とベイズ決定則を
結びつける重要な関係式
事後確率の関係
c
P( i | x)  0 かつ  P( i | x)  1
i 1
より、これに注意すると、
各パターン x は、最適写像 * ( x) により各クラスの代表点 t i を
そのベイズ事後確率の比で内分する点に移される
非線形モデルの場合(2)
y* の張る空間は、c次元空間上でc個のクラスの代表点 ti (i  1,, c) を
通る(c  1) 次元超平面( (c  1) 次元射影平面)となる
i に対する教師ベクトル t i
第i成分が1でその他が全て0とな
るc次元座標単位ベクトル
ti  (0,,0,1,0,,0)t
を選ぶことができる
パターンxは最適写像 y*  * ( x) により第i成分をクラスi の
事後確率とするベイズ確率ベクトルにうつされる
def
 ( x)  P(1 | x),, P( c | x)   B ( x)
*
t
最適写像 y*  * ( x) で定まる決定規則は
ベイズ決定則と完全に一致する
最小二乗法による判別写像(1)
2
1
t2  (0,1,0)t
y*  * ( x)
3
ベイズ境界
特徴空間 F  R d
t3  (0,0,1)
t
ベイズ境界
t1  (1,0,0)t
判別空間 D  R 3
d次元特徴空間Fで分布する3クラスのパターン x  R
⇒ 最適判別写像  * により t1 , t2 , t3 を頂点とする
三角形の内部もしくは周上にうつされる
d
最小二乗法による判別写像(2)
*
判別平面上で y と t i との二乗距離 Di2 を計算
D  y  ti
2
i
*
2
2
 y *  2 P( i | x)  1
二乗距離 Di2のiに関する最小化は事後確率 P(i | x) の
iに関する最大化と同値
特徴空間Fでは、ベイズ決定則は事後確率が最大となるクラス選択を意味する
判別空間Dにおいては y と t i との二乗距離が最小となるクラス選択となっている
特徴空間Fにおけるベイズ境界は
(c-1)次元単体では単純な重心分割境界となり、
Fでは複雑な境界もDでは単純な線形識別境界となる
最小二乗法による
非線形判別写像の例(1)
●1次元特徴で2クラスの場合
P(1 ) P( x | 1 )
P(2 ) P( x |  2 )
1
y5*
t2  (0,1)t
y4*
ベイズ境界
2
y*  * ( xi )
ベイズ境界
y2*
y3*
x1
特徴空間 F
x2 x4 x5
x3
判別空間 D
y1*
t1  (1,0)t
xi  R は最適判別写像 y*  * ( x) により、2点 t1 ,t2 を結ぶ線上にうつされる
y2* 、 y4* はそれぞれ 1 、  2 のクラスであるが、
二乗距離の計算および図から逆のクラスと誤識別されることがわかる
最小二乗法による
非線形判別写像の例(2)
●1次元特徴で3クラスの場合
ベイズ境界
1
P(1 ) P( x | 1 )
2
t2  (0,1,0)t
P(2 ) P( x |  2 )
y5*
3
P(3 ) P( x | 3 )
*
7
y
*
6
y
y4*
y3*
y2*
*
8
y
y1*
*
9
y
t3  (0,0,1)
特徴空間 F
y   ( x)
*
*
t
ベイズ境界
判別空間 D
パターン xi は最適判別写像により、3点 t1 , t2 , t3 を頂点とする
三角形の周上および内部にうつされる
t1  (1,0,0)t

Download Report