パターン認識
http://www.cs.miyazaki-u.ac.jp/~date/lectures/pattern/
伊達 章
宮崎大学 工学部 情報システム工学科
2014 年 10 月 29 日
1 / 12
講義のスケジュール（案）
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11
12.
13.
14.
15.
講義の概要 10/1
準備：確率・統計の基礎 10/22
準備：octave の使い方 10/22
教師あり学習．識別関数 10/29
最大事後確率則，最小誤識別則，ベイズ決定則 11/5
最尤推定法 1：ガウスモデル 11/12
最尤推定法 2：線形判別分析 11/19
線形判別分析により手書き文字認識 1
線形判別分析により手書き文字認識 2
混合ガウスモデルの最尤推定 1
混合ガウスモデルの最尤推定 2
ノンパラメトリックな手法 (1)：カーネル密度推定法
ノンパラメトリックな手法 (2)：k-最近傍則
ノンパラメトリックな手法 (3)：パーセプトロン
定期試験，解説
2 / 12
教師あり学習
パターン認識の問題
識別関数 f (x) を作ること
x = (x1 , x2 , · · · , x256 ) → y = f (x)
0
1
2
3
k
100 · · · 0
x
00· · · 00000000
00· · · 00000001
00· · · 00000010
00· · · 00000011
..
.
00· · · 11101011
..
.
11 · · · 1111111
y
f (x0 )
f (x1 )
f (x2 )
f (x3 )
f (xk ) = 5
f (x10000···0 )
4 / 12
パターン認識
教室付き学習
’5’ →
生成
→ y: ’5’
認識
訓練標本（例題）
： (x1 , y2 ), (x1 , y2 ), · · · , (xn , yn )
5 / 12
主成分分析
主成分分析
1∑
1∑
=
(xi − µ)(xi − µ)T , µ =
xi
n i=1
n i=1
n
V
n
V ej = λj ej , ∥ej ∥ = 1, j = 1, 2, · · · , 256
•
•
•
•
•
V はデータの分散共分散行列．対称，正定値
n · · · 例題の数．
λ1 > λ2 > λ3 > · · · > 0
e1 · · · 第 1 主成分， e2 · · · 第 2 主成分．
(e1 · xi , e2 · xi ), i = 1, · · · , n （図 3.2）
x ≈
10
∑
(ei · x)ei
i=1
7 / 12
手書き文字データの分布（主成分分析）
(e1 · xi , e2 · xi ), i = 1, · · · , 500(×4) （図 3.2）
6
1
2
3
5
4
2
0
-2
-4
-6
-8
-15
-10
-5
0
5
8 / 12
手書き文字データの主成分
e1 ∼ e5
0
0
0
0
0
2
2
2
2
2
4
4
4
4
4
6
6
6
6
6
8
8
8
8
8
10
10
10
10
10
12
12
12
12
12
14
14
16
14
16
0
2
4
6
8
10
12
14
16
14
16
0
2
4
6
8
10
12
14
16
2
4
6
8
10
12
10,50,100
∑
x ≈
14
16
0
14
16
16
0
2
4
6
8
10
12
14
16
0
2
4
6
8
10
12
14
16
(ei · x)ei
i=1
0
0
0
2
2
2
4
4
4
6
6
6
8
8
8
10
10
10
12
12
12
14
14
16
14
16
0
2
4
6
8
10
12
14
16
16
0
2
4
6
8
10
12
14
16
0
2
4
6
8
10
12
14
16
9 / 12
識別関数の良さを測る基準
• 訓練標本を用いた識別関数の学習
• 最大事後確率則：yˆ = argmax p(y|x)
y
• 最小誤識別率則
• ベイズ決定則： 条件付きリスク最小則
yˆ = argmin R(y|x)
y
• 生成モデルに基づくパターン認識
10 / 12
確率的生成モデルに基づくパターン認識
’5’ →
生成
→ y: ’5’
認識
y ∼ p(y) → データ x ∼ p(x|y) → 認識 yˆ = argmax p(y|x)
y
モデル化： p(y) と p(x|y) を設計する！
11 / 12
終
12 / 12

統計的機械学習