オンライン学習理論に基づく非線形単純パーセプトロンのアンサンブル学習の解析三好誠司神戸市立工業高専原一之岡田真人都立工業高専理研,科技団さきがけ 1 はじめに • アンサンブル学習 – 精度の低いルールや学習機械を組み合わせて精度の高い予測や分類を行う – 線形パーセプトロンの理論解析［原、岡田］ • 非線形単純パーセプトロンの学習則としてはヘブ学習、パーセプトロン学習、アダトロン学習がよく知られている 2 アンサンブル学習教師 B 生徒 J1 ,J2 , ・・・ ,JK sgn( u1 l) sgn(v ) • • • • B1 BN J11 x1 xN x1 1 J1N J21 xN x1 sgn( u2 l) 2 J2N xN sgn(uKl) JK1 K J KN x1 xN 同じ入力 x が同じ順序で提示される一度使った入力 x は廃棄される（オンライン学習）独立に学習多数決 3 アンサンブル学習（２） • 入力： • 教師： • 生徒：生徒の長さ 4 汎化誤差新たな入力に対して教師と異なる答を出す確率 5 Rとq 教師と生徒の類似度生徒間の類似度 6 Rとq B Jk Rk R k' Jk' B Jk J k' q k k' 7 B J1 q大 J2 B J1 J2 q小アンサンブル学習においては生徒の多様性が維持されていることが重要 → R と q の関係が本質的 8 l と R を記述する微分方程式 9 q を記述する微分方程式の導出 10 ヘブ学習パーセプトロン学習アダトロン学習 11 初期状態 B Jk' Jk 12 1 ヘブ 0.8 パーセプトロン q 0.6 0.4 アダトロン 0.2 0 0 0.2 0.4 0.6 0.8 1 R 13 Generaliz ation Error 汎化誤差のダイナミクス 0.4 Theory (K=1) Theory (K=3) Simulation (K=3 ) 0.5 Theory (K=1) Theory (K=3) Simulation (K=3) 0.5 0.4 0.4 0.3 0.3 0.3 0.2 0.2 0.2 0.1 0.1 0.1 0 2 4 6 Time ヘブ学習 8 10 0 2 4 6 8 Theory (K=1) Theory (K=3) Simulation (K=3) 0.5 10 Time パーセプトロン学習 0 2 4 6 8 Time アダトロン学習 14 10 まとめ非線形単純パーセプトロンによるアンサンブル学習をオンライン学習の枠組みで議論ヘブ学習，パーセプトロン学習，アダトロン学習は「生徒の多様性維持」という点で異なった性質を有しており，アダトロン学習がもっとも優れている 15