わかりやすいパターン認識第６章特徴空間の変換６．１特徴選択と特徴空間の変換６．２特徴量の正規化平成１５年５月２３日（金）発表者藤井丈明 6.1特徴選択と特徴空間の変換特徴ベクトルの問題点 • スケーリング（単位の取り方）・特徴ベクトルの各成分はそれぞれ異なる単位で計測されたもの・スケール（尺度）（scale）を変えると特徴空間でのパターン分布は一変 • 次元数識別機を設計する場合、特徴を増やしすぎるという傾向に陥りやすいが、この事は必ずしも得策ではない・特徴数を増やすほど相関の高い特徴の組が混入する可能性が高まる・特徴空間の次元の増大は計算量の爆発を引き起こす次元の呪い・有限個の学習パターンから識別機を設計する際、次元を高くしていくと誤識別率が上昇ヒューズの現象対策スケーリングの問題、次元数の問題に対して以下のような処理が必要となる・スケーリング特徴ベクトルの正規化（normalization）・次元数特徴空間の次元削減（dimensionality reduction）特徴選択（featureselection）ある基準にのっとって特徴空間の次元削減を行うこと方法・d 次元の特徴ベクトルから有用な成分だけ拾い出し d~ (  d ) 次元の特徴ベクトルを構成・原特徴ベクトルを特定の基準のもとにより小さな次元の特徴ベクトルに変換特徴空間の変換（１）（transformation of feature space） • 正規化や特徴選択など、原特徴ベクトルをその後の処理に適した形に変換することであり、多くの場合次式のような線形変換として表される t y A x ・ x ：原特徴ベクトル（d 次元） ~ ・ y ：変換後のベクトル（d 次元） ~ ・ A ：変換行列（d , d ）特徴空間の変換（２）（transformation of feature space）正規化の場合 ~ ・ A は対角行列（d = d ）特徴選択の場合 ~ ・ A のd 個の列ベクトルの対応する要素のみを１、後は０とする 6.2 特徴量の正規化単位の選び方の問題 x2 x2 x1 x2 x3 x4 (a ) [] x[㎜] 1 x1 x 2 x3 x 4 (b ) [㎝] x1 単位の取り方（スケーリング）により、パターン相互の距離関係は大幅に変わる正規化する必要がある正規化の方法（１）パターン相互の距離を最小化する・パターン集合：n 個 t ・ p 番目のパターン：x p= ( x p 1 , x p 2 ,  x pd ) ・変換行列：  a1   A  0  a2  0      a d  正規化の方法（２）・ yp  A xp y p ：正規化により得られたパターン t 要素ごとに書くと以下のように書ける・ y pj  a j x pj ( p  1, 2 ,  , n j  1, 2 ,  , d ) 正規化の方法（３）・正規化後の x pと他の ( n  1) 個のパターンとの平均距離 n d 1 2 2 rp  ( y pj  y qj )   n  1 q 1 j 1 ・正規化後の各パターンの平均距離 xj R  2 1 n r  n 2 p 1 n d (y    n ( n  1)  p 1 p 1 q 1 j 1 d  2 a j  2 j 1 n 2 j 特徴 x j の分散 pj  y qj ) 2 正規化の方法（４） R を最小化する a j を以下の制約条件の下 2 で求める d a j 1 j 1 ラグランジュの未定乗数法より 1  aj     k  j  k 1 d    1 d 正規化の方法（５）  d     k  は各特徴軸に共通であるので、a jは 1   k 1  に比例  aj  j 1  j 各特徴軸を標準偏差で正規化し、平均の回りの分散（パターンの広がり）を等しくする処理となっている