わかりやすいパターン認識
第６章 特徴空間の変換
６.3 ＫＬ展開
[3] 平均二乗誤差最小基準
平成１５年５月30日（金）
大城 亜里沙
原空間から部分空間への変換
平均二乗誤差最小という基準を用いて最良な部分空間
を求める。Aによって変換したベクトル
y( At x ( y1 ,...yd~）t )
元の座標系
Ay( y1u1 ... yd~ud~ )
Ay と x との距離は変換Aによって生じた誤差
これを最小にするAは特徴ベクトルの元の分布を最もよく保
存した変換であるとみなせる。
平均二乗誤差最小基準によって変換Aを求める。
平均二乗誤差最小基準（１）
ー R：自己相関行列
1
t
(
Ay
x
)
( Ay x)
( A)
n
1
t
t
t
t
(
y
A
x)
( AA x x) ( AA x x)
n
t t
1
t
t
( x x ( A x) A x)
n
最小となるAを求める。
1
t
t
(tr ( xxt ) tr ( At xxt A))
x
x
tr
(
xx
)
n
(6.54)
trR tr ( At RA)
2
自己相関行列Rと共分散行列∑との関係
自己相関行列R
def
1
R
n
t
xx
自己相関行列Rと共分散行列∑
1
t
t
(
x
m
)(
x
m
)
R
mm
n
(6.56)
※ 自己相関行列Rは、相関係数行列（相関行列）
とは異なるので注意!!
平均二乗誤差最小基準（２）
平均二乗誤差を最小にする。
At A I 制約の下に tr( At RA) を最大にする。
― Rの固有値を i (1 2 ... d ) とする。
式 (6.54) より
d
min{ ( A)} trR i
2
i 1
分散最大基準によって
求まるAとは異なる。
特徴ベクトルの分布の違い
Pa
:分散最大基準によっても求まる軸
X2
Pa
x
Pa
Pa '
Pb
の視点を重心ではなく空間の原点
に置いているから。
m
X1
x
0
：平均二乗誤差最小基準に
Pb
よって求まる軸
異なる理由
特徴ベクトルの分布を見るときの
原点を平行移動した後の平均二乗誤差
原点をｍだけ平行移動した後に平均二乗誤差最小基準
に基づく変換を求める。
式（6．56）にm＝0を代入すると、Σ＝Rとなり式（6．54）より
t
trR
tr
(
A
RA)
( A)
tr tr ( At A)
2
このとき求まるAは分散最大基準によって
求まるAに等しい。
平行移動の最適性（１）
平行移動したmは最適な平行移動なのだろうか？
平行移動を x0として平均二乗誤差最小基準を
満たす x0とAを求める。
t
― x は変換によって y A ( x x0 ) に写る。
― 逆にこのyを原空間の座標系で見ると Ay x0 となる。
( Ay x0 ) x AAt ( x x0 ) x0 x
( AAt I )(x x0 )
平行移動の最適性（２）
t
ここで Q I AA と置くと、
t
At A I より Q Q Q であるから、平均二乗誤差 2 ( A, x0 ) は
2 ( A, x0 ) 1 (Q( x x ))t Q( x x )
0
0
n
1
( x x0 )t Q t Q( x x0 )
n
1
( x x0 )t Q( x x0 )
n
(6.64)
となる。
平行移動の最適性（３）
一般に１次独立なm個のn次元ベクトルを列とする(n，m)
行列をAとするとき、
def
P A( At A) 1 At
PをAで張られる部分空間への直交射影行列、Pxをxの正
t
t
射影と呼ぶ。 ここで、 A A I より P AA であり、
Q I AAt I P
P
a
これは、Aの張る部分空間の直行空間（図の ）への直交
射影行列となる。
平行移動の最適性（４）
ここで、 2 を x0 で偏微分して0と置くと
2 1
n
x0
(2Qx
0
2Qx)
2Q ( x0 m)
0
となるので
Qx0 Qm
(6.73)
が得られる。これを式（6．64）に代入する。
平行移動の最適性（５）
2 ( A) 1 (Q( x m))t Q( x m)
n
1
( x m) t Q ( x m)
n
1
((x m) t ( I AAt )(x m))
n
1
(tr ( x m)(x m) t tr ( At ( x m)(x m) t A))
n
tr tr ( At A)
したがって、原点の平行移動を許した上で ( A) を最大にする変換行
~
d
列AはΣの上位 個の固有値 1...,d~に対応する正規直交固有ベ
クトルを列とする行列である。部分空間の軸は図の例では Pa
2
ＫＬ展開のまとめ
パターン認識のための次元削減法として用いら
れるＫＬ展開は、分散最大基準もしくは原点移動
を許した平均二乗誤差最小基準により求まる部
分空間，すなわち共分散行列Σの上位固有値に
対応する固有ベクトルを基底とする部分空間を
使う方法である。
© Copyright 2026 ExpyDoc
