「わかりやすいパターン認識」第５章：特徴の評価とベイズ誤り確率５・３：ベイズ誤り確率とは男女の性別判定問題 • 男女の特徴の違いには様々な物がある。 • それらの特徴を用いても男女の判別が正しく行われ事は難しい。例）男女の身長の平均は男性のほうが高いが、必ず男性が女性より高いとは限らない →特徴そのものの不完全さ 2クラス問題の定式化 1＝男、 2 ＝女、特徴ベクトル x  ( x1, x2 ,･･･, xd ) P (1 )  P ( 2 )  1 P (1 | x )  P ( 2 | x )  1 p ( x )  P (1 ) p ( x | 1 )  P ( 2 ) p ( x |  2 ) ベイズの定理より P ( x | 1 ) P (1 | x )  P (1 ) p( x) P( x |  2 ) P ( 2 | x )  P ( 2 ) p( x) 誤り確率 • 入力 x に対する誤り確率は Pe (x) P( 2 | x) x  1と判定したとき Pe ( x)   P(1 | x) x   2と判定したとき • 起こりうる全ての x に対する誤り確率 Pe Pe   Pe ( x) p ( x)dx ベイズ決定則 • Pe を最小にするには以下の判定方法を取る  P(1 | x)  P( 2 | x) x  1  P( 2 | x)  P(1 | x) x   2 • これは事後確率 P(i | x) を最大にするi を結果として出力する。 →ベイズ決定則ベイズ誤り確率 • Pe (x) の最小値を eB (x)で表す。 eB ( x)  min Pe ( x) →条件付ベイズ誤り確率  min{P(1 | x), P(2 | x)} • 同様に Pe の最小値を eb で表す。 eb  min Pe →ベイズ誤り確率   eB ( x) p ( x)dx   min{P(1 | x), P( 2 | x)} p ( x)dx 多クラスの場合ベイズ決定則 ※以下のどちらでもよい P( k | x)  P( i | x) (i  k ) x   k max{P(1 | x)}  P( k | x) i 1,･･･,c x k ベイズ誤り確率 eB   min{1  P(i | x)}p( x)dx i 識別関数 • ベイズ決定則の式より P(i | x)が識別関数として使用できる。 gi ( x)  P(i | x)　(i  1,･･･, c) →ベイズ識別関数 Coffee break：エントロピー（１） • エントロピー：不確定度（曖昧さ） x の観測前のエントロピー c H 0  i 1 P( i ) log P( i ) x の観測後のエントロピー c H ( x)  i 1 P( i | x) log P( i | x) x によってもたらされる情報量 I (x) I ( x)  H 0  H ( x) I   I ( x) p ( x)dx Coffee break：エントロピー（２） • を観測することにより確率の偏りが出来、これがエントロピーの減少つまり情報となって現れる。 • ベイズの定理は事前確率を事後確率に変換する式だと考えることが出来る。 p( x |  i ) P( i | x)  P( i ) p ( x)