ｽﾗｲﾄﾞﾀｲﾄﾙなし

教師が非単調な場合の
アンサンブル学習
三好誠司
原一之
神戸市立高専
都立工業高専
岡田真人
東大, 理研, 科技機さきがけ
背景（１）
• アンサンブル学習
– 精度の低いルールや学習機械を組み合わせて精度
の高い予測や分類を行う
• 教師が１個の単純パーセプトロンで
生徒がK個の単純パーセプトロンの場合の解析
（三好，原，岡田，2003-2004）
Teacher
Students
1
2
K
2
背景（２）
• 教師が１個の非単調パーセプトロンで
生徒が１個の単純パーセプトロンの場合の解析
（Inoue & Nishimori, Phys. Rev. E, 1997)
（Inoue, Nishimori & Kabashima, TANC-97, cond-mat/9708096, 1997)
Teacher
Students
sg n( ul )
B1
x1
BN
xN
J1
x1
JN
xN
3
• アンサンブル学習の特徴
– 多数決などで生徒を組み合わせることにより，単一の
生徒では表現できない入出力関係を実現できる
目的
• 教師が非単調パーセプトロンで生徒がK個の単純
パーセプトロンの場合のアンサンブル学習をオン
ライン学習の枠組みで解析
4
モデル（１）
Teacher
Students
sgn((v-a)v(v+a))
B1
x1
•
•
•
•
BN
xN
sgn( u1 l)
J11
x1
1
J1N J21
xN x1
sgn( u2 l)
2
J2N
xN
sgn(uKl)
JK1
x1
K
J KN
xN
同じ入力 x が同じ順序で提示される
一度使った入力 x は廃棄される（オンライン学習）
独立に学習
多数決
5
モデル（２）
• 入力：
• 教師：
• 生徒：
生徒の長さ
6
汎化誤差
新たな入力に対して教師と異なる答を出す確率
多重ガウス分布
7
教師と生徒の類似度
生徒間の類似度
8
生徒の長さ
教師と生徒の類似度
l , R, q を記述する微分方程式
生徒間の類似度
教師の出力
入力
+
10
11
生徒の長さ
教師と生徒の類似度
l , R, q を記述する微分方程式
生徒間の類似度
汎化誤差
新たな入力に対して教師と異なる答を出す確率
多重ガウス分布
13
代表的な二つの学習則
ヘブ学習
パーセプトロン学習
14
ヘブ学習
15
パーセプトロン学習
16
汎化誤差のダイナミクス（ヘブ学習）
0.7
0.6
a=1.0
0.5
a=0.6
0.4
0.3
a=1.8
0.2
0.1
0.0
0.1
a=1.4
a=0.2
1
10
100
-a
1000
Generalization Error
Generalization Error
0.7
0
10000
0.6
a=1.0
0.5
a=0.6
0.4
a=1 .4
0.3
a=1.8
0.2
0.1
0.0
0.1
+a
a=0 .2
1
10
100
t=m/N
t=m/N
K=1
K=3
v
1000 10000
教師のしきい値
生徒の数
17
Similarity R
1.0
a=0.2
a=0.6
a=1.0
a=1.4
a=1.8
0.5
0.0
-0.5
Similarity q
Rとqのダイナミクス（ヘブ学習）
-1.0
0.1
1
10
100
1000
t=m/N
R
教師と生徒の類似度
10000
1.0
0.8
a=0.2
a=0.6
a=1.0
a=1.4
a=1.8
0.6
0.4
0.2
0.0
0.1
1
10
100
1000 100 00
t=m/N
q
生徒間の類似度
18
汎化誤差のダイナミクス（パーセプトロン学習）
0.4
a=1.4
a=1.0
a=1.8
0.3
a=0.6
0.5
Generalization Error
Generalization Error
教師のしきい値
0.2
a=0.2
0.1
0.1
1
10
100
1000
0.5
a=1.4
a=1.0
0.4
a=1.8
0.3
a=0.6
0.2
a=0.2
0.1
0.1
1
10
t=m/N
t=m/N
K=1
K=3
生徒の数
100
1000
19
0.5
0.4
K=3
K=11
0.3
0.2
K=1
K=31
0.1
0.0
0
1
2
3
Threshold a
4
5
Improvem ent by Ensem ble ( t=1000)
Generalization Error (t=1000)
t=1000 の汎化誤差（パーセプトロン学習）
1.0
K=1
0.9
K=3
0.8
K=11
K=31
0.7
0
1
2
3
4
5
Threshold a
生徒の数
20
Rとqのダイナミクス（パーセプトロン学習）
a=0.2
0.5
a=0.6
0.0
a=1.0
a=1.4
-0.5
a=1.8
Similarit y q
Similarity R
1.0
-1.0
0.1
a=0.2
1.0
0.8
a=0.6
a=1.8
a=1.0
a=1.4
0.6
0.4
0.2
0.0
1
10
100
1000
0.1
1
10
t=m/N
t=m/N
R
q
教師と生徒の類似度
100
1000
生徒間の類似度
21
Rとqが定常に達した後の生徒
B
B
J1
B
J
J
J
3
232 JJ32J
2321
J
J2
J3
J33
J
J
JJJ
312
J
212
J
1
1
J
1
JJ23J311
J
1
J
1
J
3
J2
J 1JJ12
J2 J3
J1 J2 J3
ヘブ学習
パーセプトロン学習
22
まとめ
• 教師が非単調な場合のアンサンブル学習を
オンライン学習の枠組みで解析・議論
• ヘブ学習
→ 生徒の多様性が残らないのでアンサンブルの
効果は消滅する
• パーセプトロン学習
→ 生徒の多様性が残るのでアンサンブルの効果
が残る
23

Download Report