「わかりやすいパターン認識」第９章：学習アルゴリズムとベイズ決定則９．１最小二乗法による学習〔2〕最小二乗法と判別法判別写像 L() の最小化は判別空間 D の上に適当に配置された教師ベクトル t i の周りに、各クラスのパターン x を y  (x) により写像した時の平均二乗誤差の最小化を意味する。このときの  を判別写像と言い、線形モデルでは線形判別写像、非線形モデルでは非線形判別写像と言う。特徴空間 F 判別空間 D t1　 1の教師ベクトルクラス1 t2  2の教師ベクトルクラス 2 判別写像 y  (x) 最小二乗法と線形判別写像教師信号として b1  1, b2  1 としたときの線形モデルでの最適解は教科書の（9.22）式の と 0 を用いて ( x)   x  0 t と書ける。教科書の（6･129）式を用いると    (m1  m2 ) 1 W これは2クラスの場合、最小二乗法により学習によって求まるがフィッシャーの方法（識別関数法）によってもとまる射影軸と同一である事を示している。最小二乗法だと ( x)   t x  0  0 の時、判別境界と 1 か 2 が求まる。最小二乗法と非線形判別法非線形判別法ではクラス間分散の最大化とクラス内分散の最小化の同時追及が要請され、その最適解は最小二乗法と同様な形になる。 c  ( x)   P(1 | x)tˆi i 1 但し、ベクトル tˆi は次式で定義される交差行列 S  [sij ] sij   P( j | x) p ( x | j ) dx  P ( j |  i ) の固有値問題から求められる。sij はクラス i のパターンx が与えられた時、それがクラス  j と認識される確率である。非線形判別写像非線形判別法での最適解は式（9.27）式と教師ベクトルの部分を除いて同じ値になる。最小二乗法では教師ベクトルをあらかじめ固定し写像点とその教師ベクトルとの二乗誤差 y p  i(i  1,, c)  y p  ti 2 が最小化される。 p ,i これはクラス間分散をあらかじめ固定し、クラス内分散を小さくする事である。非線形判別写像は教師ベクトルを tˆi とした場合、非線形判別法と完全に一致する。