オンライン学習理論に基づく単純パーセプトロンのアンサンブル学習の解析三好誠司神戸市立工業高専原一之岡田真人都立工業高専理研,科技団さきがけ 1 はじめに • アンサンブル学習 – 精度の低いルールや学習機械を組み合わせて精度の高い予測や分類を行う – 線形パーセプトロンの理論解析［原、岡田］ • 非線形パーセプトロンの学習則としてはヘブ学習、パーセプトロン学習、アダトロン学習がよく知られている 2 学習 Teacher Student 更新の式 3 アンサンブル学習 Teacher Students 1 • • • • 2 K 同じ入力 x が同じ順序で提示される一度使った入力 x は廃棄される（オンライン学習）独立に学習多数決 4 アンサンブル学習（２） • 入力： • 教師： • 生徒：生徒の長さ 5 汎化誤差新たな入力に対して教師と異なる答を出す確率 6 教師の内部状態生徒の内部状態 7 汎化誤差新たな入力に対して教師と異なる答を出す確率 8 Rとq 教師と生徒の類似度生徒間の類似度 9 B Jk J k' B B Jk Rqk R Jk k k'k' qが大きい → アンサンブル効果小 J k' q k k' J k' qが小さい → アンサンブル効果大アンサンブル学習においては生徒の多様性が維持されていることが重要 → R と q の関係が本質的 10 l と R を記述する微分方程式 11 q を記述する微分方程式の導出 12 ヘブ学習パーセプトロン学習アダトロン学習 13 初期状態 B Jk' Jk 14 R と q のダイナミクスヘブ学習パーセプトロン学習アダトロン学習 15 Generaliz ation Error 汎化誤差のダイナミクス 0.4 Theory (K=1) Theory (K=3) Simulation (K=3 ) 0.5 Theory (K=1) Theory (K=3) Simulation (K=3) 0.5 0.4 0.4 0.3 0.3 0.3 0.2 0.2 0.2 0.1 0.1 0.1 0 2 4 6 Time ヘブ学習 8 10 0 2 4 6 8 Theory (K=1) Theory (K=3) Simulation (K=3) 0.5 10 Time パーセプトロン学習 0 2 4 6 8 Time アダトロン学習 16 10 まとめ非線形パーセプトロンによるアンサンブル学習をオンライン学習の枠組みで議論ヘブ学習，パーセプトロン学習，アダトロン学習は「生徒の多様性維持」という点で異なった性質を有しており，アダトロン学習がもっとも優れている 17