わかりやすいパターン認識第６章特徴空間の変換６・３ＫＬ展開１．次元削減のための基準２．分散最大基準２００３年５月９日結城隆 (1)次元削減のための基準ＫＬ展開・線形空間における特徴ベクトルの分布を最もよく近似する部分空間を求める方法・統計学の一分野である多数量解析における主成分分析と数学的にほとんど等価二つの評価基準を用いてＫＬ展開による次元削減について・分散最大基準・平均二乗誤差最小基準次元削減のための評価基準図 X2 X2 Y Y 0 分散最大基準どちらも Y  Y Y X1 X1 0 平均二乗誤差最小基準よりも Y のほうがよりよい部分空間である。 (2)分散最大基準 ~ 変換後の d ( d )次元部分空間においてパターンのばらつきがより大きい方が現空間でのパターン分布の特徴をより良く保存した空間変換後のパターン分布の分散を最大にするという分散最 ~ 大基準を用いて d 次元部分空間とその変換行列を求める元の特徴空間から部分空間への変換 ~ ~ d ( d ) 次元部分空間を張る d 個の d 次元ベクトルからなる正規直交規定をとする。 u1 ,  , u ~  d  基底の正規直交性から u u   t  ij はクロネッカーのデルタ ij i j ij 元の特徴空間から部分空間への変換行列Ａはは t   特徴ベクトル x A   u1 ,  , u ~  d   ~ また 1  0 def yAx if i j otherwise に変換 A A  I が成立し I は d 次元単位行列である。 t 部分空間でのパターンの分散元の特徴空間から部分空間への変換より、このとき 1 m y n y ~ 1   At x n x ~ 2   A  よって、部分空間でのパターン分散 ~2   At m は 1 ~ t  y  m   A    y  m n y n:パターン数 m：原特徴空間でのバターン平均 ~ ：部分空間での m バターン平均 ~    t 1 t   A x  m At x  m n x t 1 t t   tr A x  m A x  m n x      tr At  A  はパターン集合の原特徴空間における共分散行列  1 t       xm xm n x 分散を最大にするＡ def      J  A  tr A  A  tr A A  I  t t ~ ：d 次元対角行列 Aで偏微分して0と置く 2 A  2 A  0 At  A   Aは  を対角化する行列である。  の d 個の固有値を       ...   とすると  i   1  2 d   max ~ 2 A  max tr At  A  maxtr ~ d  i i 1    Aを最大にする変換行列Aはの ~ d 1 ,...,d に対上位個の固有値 ~ 応する d 個の正規直交固有ベクトルを列とする行列として求める ~2 KL展開による特徴空間の変換 X2 Pa Pa ' Pb x Y  a P m 0 x0 X1 図では分散最大基準によって得られる最適１次元空間の軸は Paである。