わかりやすいパターン認識第７章：部分空間法 7.1 部分空間法の基本 7.2 ＣＬＡＦＩＣ法６月13日（金）大城亜里沙部分空間法の基本   前章特徴空間を線形変換することにより特徴選択を行う方法。後段に識別機を設けることにより認識系が構成される。本章特徴選択と識別を分離することなく、特徴空間の線形変換そのものを利用して識別する手法。部分空間法部分空間法（subspace method)  部分空間法とは，各クラスごとにそのクラスを表現する低次元の部分空間を用意し、未知パターンがどの部分空間で最もよく近似表現できるかを比較することにより未知パターンを識別する手法。 (部分空間は，学習パターンからKL展開などにより各クラスごとに独立に求める。) CLAFIC法（CLAss-Featuring Information Compression)  ＣＬＡＦＩＣ法では、クラスごとにKL展開により部分空間を作成し、この部分空間を用いて未知パターンを識別する。特徴ベクトルがクラスごとに異なる低次元部分空間で近似できるとすれば、CLＡFIC法により入力パターンが識別できるわけである。 d 次元特徴空間から di 次元部分空間への変換ｰ Ai ：クラス i に着目し、d 次元特徴空間から di 次元部分空間への変換を表す行列 Ai  (ui1 ,...,uidi ) 正規直交性より Ait Ai  I が成り立つ。 ― (7.4) 元の空間から部分空間への変換  元の空間から部分空間 Li への変換は直交射影行列 di pi  Ai A   uij uijt t i j 1 によって表すことができる。 d次元特徴ベクトル Ait xを元 i の d次元空間でみると Ai Ait x となる。 Pi Pi  Ai Ait Ai Ait  Pi ― (7.6） Pi t  ( Ai Ait ) t  Ai Ait  Pi ― (7.7）が成り立つ。 xの部分空間 Li への正射影 xの部分空間 Li への正射影はその長さの二乗 Pi x Pi x 2 2 Pi x であり、は  ( Pi x) t ( Pi x)  x t Pi t Pi x  x t Pi Pi x －( Pi t  Pi )  x t Pi x －( Pi Pi  Pi ) この長さは未知ベクトル x とクラス i との類似度とみなすことができる。類似度ー Si (x) ：類似度 Si x   xt Pi x この類似度を用いると、識別規則は次式のように表される。 max {S i  x }  S k ( x )  x   k i 1, . . . c , ― (7.11) 特徴ベクトルは最大の射影成分を持つ部分空間のクラスに識別される。 {g i ( x)}  g k ( x)  x   k 式（2.3） max 識別関数 i 1, . .c と比較することにより、式(7.11)の Si (x) が識別関数として使えることがわかる。部分空間法の計算実際の部分空間法の計算は射影行列を使うよりかは正規直交ベクトルを利用するほうが効率的に行うことができる。式(7.8）は  Pi x 2  x t Pi x  di t  x  u u  ij ij   j 1 t  di  x     ( x uij )(x uij ) j 1 t t t di x t j 1  t uij uij x di t 2 ( x u )  ij j 1 この値が最大となるクラスに識別することになる。各クラスの次元設定部分空間法において、各クラスの次元をどのように設定するかは重要な問題!! 自己相関行列 Ri の（大きい順に並べたときの）固有値 ij は、 j が大きくなるに従って徐々にゼロに近づくので、部分空間の次元を適当な値で打ち切ってもよい。 ― 次元をあまり低くすると、各クラスを表現できる近似精度は低下する。 ― 次元をあまり高くすると、クラス間で部分空間同士の重なりが増加し識別力が低下する。  最適な次元数は実験に頼るしかない。最適な次元数クラス i ごとに異なる次元数 di で打ち切って最適な次元数を求める場合 di を決定する一つの方法に累積寄与率を用いる方法があり  di a(d i )   j 1 d ij  j 1 ij すべてのクラスに対して共通なパラメータ k を選んで a(di )  k  a(di  1) となる次元数 di を各クラスごとに選択する手法である。リジェクトの導入法（１）  未知ベクトルがどのクラスにも属さないと判定しなくてはならない場合がある。この判定をリジェクトと呼ぶ。式(7．11)ではリジェクト判定がないのでリジェクトを導入することを考える。ノルムで正規化したベクトル x をすべての部分空間へ射影し、その長さの最大値  x t Pi x  max  t  i  x x  があるしきい値よりも小さいときにリジェクトと判定する方法。リジェクトの導入法（２）２クラス問題の場合では，もし xt P1 x  t x P2 x ならば、 x は 1 に属すると判定し x t P1 x 1  t x P2 x  ならば、 x は  2 に属すると判定し、それ以外ならばリジェクトするという方法。（  ：忠実度（fidelity value) と呼ぶ。）