わかりやすいパターン認識４・１パラメトリックな学習とノンパラメトリックな学習２００３年５月２日結城隆４・１パラメトリックな学習とノンパラメトリックな学習・確率密度関数・認識対象としているパターンの生起確率を示したもの px | i  i  1,.....c  ・クラス i に属する x の生起確率を表す事前確率と事後確率 x p(x) クラスによらないの生起確率事前確率 pi  クラス i の生起確率事後確率 p i | x が生起したとき、そのクラスが i である確率 x   ベイズ決定則ベイズの定理 px | i  Pi | x   Pi  p x  i  1,.....c  Pi | x  は、未知パターンが入力されたとき、クラスが  である確かさしらをしめしている x i パターンを識別する際に事後確率 px | i  が最大となる i を識別結果として出力する x ベイズ決定則・ベイズの決定則 maxPi | x  Pk | x x  k Pi | x  を最大とするクラスが k ならば、 x は kと識別される・ベイズ決定則における識別関数 Px は各クラスに共通の因子であるので、最大となる Pi | x  めるのに関与しない識別関数 g i x  gi x  px | i Pi  を決 i  1,....c または右辺の対数をとって gi x  log px | i   log Pi  i  1,....c 正規分布の例確率密度関数 px | i  が正規分布で表される場合 1  1  t px | i   exp x  mi  i x  mi  1/ 2 d /2  2  2  i 1 i  1,...,c  ここで mi 、i はそれぞれクラスi の平均ベクトル、共分散であり 1 mi  x ni xX i 1 t i   x  mi x  mi  ni xX i ni はクラスi のパターン数、X i はクラス i のパターン集合正規分布の例 1 1 l g i  x     x  mi  i  x  mi  2 1 d  log  i  log 2  log Pi  2 2 1 t 1 1 t 1 1 t   x i x  x i mi  mi i mi 2 2 1 d  log  i  log 2  log Pi  2 2 確率密度関数 Px | i が正規分布で表される場合、識別関数はの２次関数となる x 線形識別関数共分散行列が全クラスで等しい場合 gi x   x t  1 0 1 t 1 mi  mi 0 mi  log Pi  2 x の２次の係数は定数となるので、識別関数は線形となり線形識別関数である。最小距離識別法特徴間の相関がなく分散が等しい（共分散行列が単位行列）事前確率 Pi  が各クラスで等しく 1 P i   c 最小距離識別法 i  1,...,c  1 g i x   m x  mi 2 t i 2 パラメトリックとノンパラメトリックパラメトリック学習パターンを用いて確率密度関数のパラメータ推定を行い識別部を構成するような方法ノンパラメトリック確率密度関数の形を想定せずに、学習パターンから直接識別関数を求めている方法