わかりやすいパターン認識第６章特徴空間の変換６・６空間変換の計算例２００３年６月１３日結城隆空間変換の計算ここでは第６章で述べてきた特徴空間の変換法を具体例を用いて計算し理解を深めることを目的として進めていく。２クラス２次元特徴ベクトルの具体例クラス 1 に属するパターンを x1  (1,0)t , x2  (3,2)t , x3  (2,1)t , x4  (1,2)t , x5  (0,1)t クラス  2に属するパターンを x6  (1,0)t , x7  (1,2)t , x8  (0,1)t , x9  (3,2)t , x10  (2,1 このとき，n1  n2  5, n  n1  n2  10，であり m1  1,0 , m2  1,0 , m  0,0 t となる。 t t 具体例の図２クラスの特徴ベクトルの分布 X2     10   8  Z1 DN 6 x10 3 x6 5 x8 0 x1 x4 (a).特徴空間 m2' 2 x5 2 x9 x2 x7 2 x3 3 X 1 1 3 3 0 ' 1 m 2 6 1 （ｂ）.正規化空間 5 Z2  10     8    (a)変動行列，分散行列の算出(1) Si と，共分散行列 i を求めると  5 3 2  5 3 1 , 1   2     S1 S1  S2  2 5  3 5 5  3 5 変動行列 15 6  1 15 6  1 , T     ST ST  2 5  6 5  10  6 5 5 3  10 0  , S B    SW  4  3 5  0 0 (a)変動行列，分散行列の算出(2) ここでは Pi   ni / n を仮定する。すると共分散行列はそれぞれ 2  5 3 , W   5  3 5 1 0    B    0 0 今までの式において T  W   B , ST  SW  SB が成立 1 t t またm=0であるので    x  m  x  m   R  mm より n R  T  mm  T t が成り立つ (b)KL展開による主軸全共分散行列 T の固有値 1 , 2 とそれに対応する正規直固有ベクトル u1 , u2 を求める 19 6 1  , 2  5 5 1 3 1  2  , u2    u1  13  2  13   3 となりKL展開によって定まる主軸は(3,2)方向であり，図２(a)のPとなる。これはパターン全体の主軸である。 (c)線形判別法による判別軸 SW , W の逆行列より 5  5 0    B  S S   32   3 0  1 W 1 W B i   ni / n これが成立するのは P 仮定したためこのとき 1 W  Bの固有ベクトルと固有値を求めると 25 1  , 2  0 32  0 1  5  , u2    u1  34   3  1 とこの固有ベクトル u1 の方向は図2(c)におけるDの方向であり、クラス内分散・クラス間分散比最大という基準において二つのクラスを識別するのに最も適した軸図２：種々の線形変換によって得られる１次元部分空間と決定境界 P X2 X2 P 3 S2 S S1 2 2 3 0 2 X2 3 X 1 3 m1 D 3 X 1 2 2 (b).主軸からの距離 5 3 0 (a) KL展開 m2 0 3 X1 (c) 線形判別法 D 2 3 (d) J の最大値とマハラノビス汎距離各クラスの平均と全平均とのマハラノビス汎距離の平均値  Pi D mi , m    Pi m  mi  m  mi  c 2 M i 1 c t i 1 25  32 W1B の最大固有値に等しいまた、クラス 1,2の平均間マハラノビス汎距離は  2  25 D m1 , m2   2, 0    0 8 2 M 1 W (e) 第一の変換行列 A1 (1) 線形判別によって求まる変換行列Aは ~ d, d 行列 A1 とd, d  行列 A2 とに分解できる A  A1 A2 クラス内共分散行列 W の固有値と正規直交固有ベクトルを求めると 19 6 1  , 2  5 5 1 1 1 1  , u2    u1  2 1 2   1 (e) 第一の変換行列 A1 (2) A1t W A1  I d から第一の変換行列 A1は  1 0   A1  u1 , u2   0 2  現空間上の点上での座標 z x  x1, x2  t  z1 , z2  は t 1/ 2 を 10 1 2     8 1  2  A1で変換した点，すなわち正規化空間 x  z1  10  x1  x2  t 1     A1      8  2 x1  2 x2   z2   x2  (f) 第二の変換行列 A2 (1) 正規化空間上での各クラスの平均 m1' , m2' に対してKL展開クラス平均の共分散行列  N の固有ベクトルを求める 1 c ' 5 1 2  ' ' ' t t   N   mi  m mi  m  A1  B A1   c i 1 32  2 4     固有値と正規直交固有ベクトル 25 1  , 2  0 32 1 1  1  2  , u2    u1  5  2 5   1 (f) 第二の変換行列 A2 (2) 1 1    A2  5  2 2 3    A  A1 A2  8   5  25    1     とすると  32  def A1 が直行変換でないため DN は A B A   t ' 1 m ,m m1 , m2 を通るとは限らないことに注意正規化空間上で DN に垂直な方向 A  1 t 1 ' D 2を通るが，原空間上でが DN は、原空間上では 10  2 1 1  2  2  3        u2  32  2  1 5   1 32  5  (ｇ) 決定境界 (a).KL展開によって定まる１次元空間の最適な決定境界 P  (b).各クラスの分布の主軸 S1 , S 2 からの距離によって識別した場合の決定境界 S (c).線形判別法によって定まる１次元空間の最適な決定境界 D この三つの決定境界を比べると・与えたれた10個の特徴ベクトルに対して誤識別をするのはどれにおいても各クラス１パターンずつ計２パターン・分布全体の中で誤識別を引き起こす領域を比べてみると，この例では，(c)の D  が最も良い決定境界 