ｽﾗｲﾄﾞﾀｲﾄﾙなし

教師がコミティマシンの場合の
アンサンブル学習
三好誠司
原一之
神戸市立高専
都立工業高専
岡田真人
東大, 理研, 科技機さきがけ
背景（１）
• アンサンブル学習
– 精度の低いルールや学習機械を組み合わせて精度
の高い予測や分類を行う
• 教師が１個の単純パーセプトロンで
生徒がK個の単純パーセプトロンの場合の解析
（三好，原，岡田，2003-2004）
Teacher
Students
1
2
K
2
背景（２）
• 教師が１個の非単調パーセプトロンで
生徒が１個の単純パーセプトロンの場合の解析
（Inoue & Nishimori, Phys. Rev. E, 1997)
（Inoue, Nishimori & Kabashima, TANC-97, cond-mat/9708096, 1997)
Teacher
Students
sg n( ul )
B1
x1
BN
xN
J1
x1
JN
xN
3
• アンサンブル学習の特徴
– 多数決などで生徒を組み合わせることにより，単一の
生徒では表現できない入出力関係を実現できる
目的
• 教師がコミティマシンで生徒がK個の単純パーセ
プトロンの場合のアンサンブル学習をオンライン
学習の枠組みで解析
Teacher
Students
sgn( u1 l)
J11
x1
1
J1N J21
xN x1
sgn( u2 l)
2
J2N
xN
sgn(uKl)
JK1
x1
K
J KN
xN
4
モデル（１）
Teacher Bm
Students
sgn( u1 l)
J11
x1
•
•
•
•
1
J1N J21
xN x1
J1 ,J2 , ・・・ ,JK
sgn( u2 l)
2
J2N
xN
sgn(uKl)
JK1
x1
K
J KN
xN
同じ入力 x が同じ順序で提示される
一度使った入力 x は廃棄される（オンライン学習）
独立に学習
多数決
5
モデル（２）
• 入力：
• 教師：
• 生徒：
生徒の長さ
6
汎化誤差
新たな入力に対して教師と異なる答を出す確率
多重ガウス分布
7
教師中間層と生徒の
類似度
生徒間の類似度
8
生徒の長さ
教師と生徒の類似度
l , R, q を記述する微分方程式
生徒間の類似度
入力
教師の出力
10
11
l , R, q を記述する微分方程式
汎化誤差
新たな入力に対して教師と異なる答を出す確率
多重ガウス分布
13
ヘブ学習
パーセプトロン学習
アダトロン学習
14
0.5
生徒の数
K=1
K=3
K=5
K=7
K=9
0.4
0.3
Gene ralization Error
Generali zation Erro r
汎化誤差のダイナミクス（ヘブ学習）
教師中間層
M =9
M =3
0.2
0
10
20
30
Time
理論
40
50
0.5
K=1
K=3
K=5
K=7
K=9
0.4
0.3
M =9
M =3
0.2
0
10
20
30
40
50
Time
計算機シミュレーション
(N=1000)
15
0.5
1
K=1
K=3
K=5
K=7
K=9
0.4
0.3
M =9
M =3
0.2
0
10
20
30
Time
40
q
0.8
Similarity
Generali zation Erro r
汎化誤差のダイナミクス（ヘブ学習）
50
0.6
0.4
R (M=3)
0.2
R (M=9)
0
0
10
20
30
40
Time
16
50
0.5
Generalization Erro r
Generali zation Erro r
汎化誤差のダイナミクス（パーセプトロン学習）
K=1
K=3
K=5
K=7
K=9
0.4
0.3
M=9
M=3
0.2
0
10
20
30
Time
理論
40
50
0.5
K=1
K=3
K=5
K=7
K=9
0.4
0.3
M =9
M =3
0.2
0
10
20
30
40
50
Time
計算機シミュレーション
(N=1000)
17
0.5
1 q (M=3)
K=1
K=3
K=5
K=7
K=9
0.4
q (M=9)
0.8
Similarity
Generali zation Erro r
汎化誤差のダイナミクス（パーセプトロン学習）
0.3
M=9
M=3
0.2
0.6
0.4
R (M=3)
0.2
R (M=9)
0
0
10
20
30
Time
40
50
0
10
20
30
40
50
Time
18
0.5
Gener aliza tion E rror
Gene raliza tion Error
汎化誤差のダイナミクス（アダトロン学習）
K=1
K=3
K=5
K=7
K=9
0.4
M=9
0.3
M=3
0
10
20
30
Time
理論
40
50
0.5
K=1
K=3
K=5
K=7
K=9
0.4
M=9
0.3
0
M=3
10
20
30
40
Time
計算機シミュレーション
(N=1000)
19
50
1
0.5
K=1
K=3
K=5
K=7
K=9
0.4
M=9
0.3
M=3
0
10
20
30
Time
q
0.8
Similarity
Gene raliza tion Error
汎化誤差のダイナミクス（アダトロン学習）
40
50
0.6
0.4
R (M=3)
0.2
R (M=9)
0
0
10
20
30
40
Time
20
50
Residual Generalization Error
残留汎化誤差
生徒の数
0.3
AdaTron
0.25
Perceptron
0.2
Hebbian
K=1
K=3
K=5
K=7
K=9
0.15
3
5
7
9
M
教師中間層
21
Rとqが定常に達した後の生徒
Similarity
1
ヘブ学習
0.8
パーセプトロン学習
0.6
アダトロン学習
0.4
0.2
0
100
110
120
130
140
150
Time
（M=3, 計算機シミュレーション）
22
Rとqが定常に達した後の生徒
B2
B2
J 1J 2
θ J3
θ
θ
B1
B3
B2
J1
J1 J2 J3
J2
J3
B1
B3
ヘブ学習
パーセプトロン学習
B1
B3
アダトロン学習
23
まとめ
• 教師がコミティマシンの場合のアンサンブル
学習をオンライン学習の枠組みで解析・議論
• ヘブ学習 → 生徒が教師中間層の中央に漸近
• パーセプトロン学習 → アンサンブルの効果が残る
• アダトロン学習 → 過学習が起こる
24

Download Report