わかりやすいパターン認識第６章特徴空間の変換６.3 ＫＬ展開 [3] 平均二乗誤差最小基準平成１５年５月30日（金）大城亜里沙原空間から部分空間への変換  平均二乗誤差最小という基準を用いて最良な部分空間を求める。Aによって変換したベクトル y(　 At x  ( y1 ,...yd~）t ) 元の座標系 Ay( y1u1  ... yd~ud~ ) Ay と x との距離は変換Aによって生じた誤差これを最小にするAは特徴ベクトルの元の分布を最もよく保存した変換であるとみなせる。平均二乗誤差最小基準によって変換Aを求める。平均二乗誤差最小基準（１）ー R：自己相関行列 1 t  ( Ay  x ) ( Ay  x)  ( A)  n 1 t t t t (  y  A x)   ( AA x  x) ( AA x  x) n t t 1 t t   ( x x  ( A x) A x) n 最小となるAを求める。 1 t t   (tr ( xxt )  tr ( At xxt A))   x x  tr ( xx ) n (6.54)  trR  tr ( At RA) 2  自己相関行列Rと共分散行列∑との関係  自己相関行列R def 1 R  n  t xx  自己相関行列Rと共分散行列∑ 1 t t  ( x  m )( x  m )  R  mm  n (6.56) ※ 自己相関行列Rは、相関係数行列（相関行列）とは異なるので注意!! 平均二乗誤差最小基準（２）平均二乗誤差を最小にする。 At A  I 制約の下に tr( At RA) を最大にする。 ― Rの固有値を i (1  2  ...  d ) とする。式 (6.54) より d min{ ( A)}  trR   i 2 i 1 分散最大基準によって求まるAとは異なる。特徴ベクトルの分布の違い Pa :分散最大基準によっても求まる軸 X2 Pa x Pa Pa ' Pb の視点を重心ではなく空間の原点に置いているから。 m X1 x 0 ：平均二乗誤差最小基準に Pb よって求まる軸異なる理由特徴ベクトルの分布を見るときの原点を平行移動した後の平均二乗誤差  原点をｍだけ平行移動した後に平均二乗誤差最小基準に基づく変換を求める。式（6．56）にm＝0を代入すると、Σ＝Rとなり式（6．54）より t  trR  tr ( A RA)  ( A)  tr   tr ( At  A) 2 このとき求まるAは分散最大基準によって求まるAに等しい。平行移動の最適性（１）  平行移動したmは最適な平行移動なのだろうか？平行移動を x0として平均二乗誤差最小基準を満たす x0とAを求める。 t ― x は変換によって y  A ( x  x0 ) に写る。 ― 逆にこのyを原空間の座標系で見ると Ay  x0 となる。 ( Ay  x0 )  x  AAt ( x  x0 )  x0  x  ( AAt  I )(x  x0 ) 平行移動の最適性（２） t ここで Q  I  AA と置くと、 t At A  I より Q Q  Q であるから、平均二乗誤差  2 ( A, x0 ) は  2 ( A, x0 )  1 (Q( x  x ))t Q( x  x )  0 0 n 1   ( x  x0 )t Q t Q( x  x0 ) n 1   ( x  x0 )t Q( x  x0 ) n (6.64) となる。平行移動の最適性（３）  一般に１次独立なm個のn次元ベクトルを列とする(n，m) 行列をAとするとき、 def P  A( At A) 1 At PをAで張られる部分空間への直交射影行列、Pxをxの正 t t 射影と呼ぶ。ここで、 A A  I より P  AA であり、 Q  I  AAt  I  P  P a これは、Aの張る部分空間の直行空間（図の）への直交射影行列となる。平行移動の最適性（４）ここで、 2 を x0 で偏微分して0と置くと  2  1 n x0  (2Qx 0  2Qx)  2Q ( x0  m) 0 となるので Qx0  Qm (6.73) が得られる。これを式（6．64）に代入する。平行移動の最適性（５）  2 ( A)  1  (Q( x  m))t Q( x  m) n 1   ( x  m) t Q ( x  m) n 1   ((x  m) t ( I  AAt )(x  m)) n 1   (tr ( x  m)(x  m) t  tr ( At ( x  m)(x  m) t A)) n  tr   tr ( At  A) したがって、原点の平行移動を許した上で  ( A) を最大にする変換行 ~ d 列AはΣの上位個の固有値 1...,d~に対応する正規直交固有ベクトルを列とする行列である。部分空間の軸は図の例では Pa 2 ＫＬ展開のまとめ  パターン認識のための次元削減法として用いられるＫＬ展開は、分散最大基準もしくは原点移動を許した平均二乗誤差最小基準により求まる部分空間，すなわち共分散行列Σの上位固有値に対応する固有ベクトルを基底とする部分空間を使う方法である。