時間方向アンサンブル学習の解析 － 教師と生徒が線形な場合 － 三好 誠司 上江洌 達也 岡田 真人 神戸市立高専 奈良女子大学 東大, 理研, さきがけ 背 景 （１） • アンサンブル学習 – 精度の低いルールや学習機械を組み合わせて精度 の高い予測や分類を行う (Hara & Okada, JPSJ, 2005) (Miyoshi, Hara & Okada, PRE, 2005) Teacher B1 x1 BN xN Students J11 x1 J1N J21 xN x1 J2N xN JK1 x1 J KN xN 2 背 景 （２） Teacher Student sg n( ul ) B1 x1 BN xN J1 x1 JN xN (Inoue & Nishimori, PRE, 1997) (Inoue, Nishimori & Kabashima, TANC-97, cond-mat/9708096, 1997) • 教師と生徒の出力特性の違いやノイズの存在などの ため汎化誤差がゼロに漸近しないモデルにおいては 生徒が一方向に収束せず動き続ける場合がある． (三好，原，岡田，IBIS2004. 三好，原，岡田，信学技報，2005) 3 背 景 （３） B J Learnable Case B J Unlearnable Case 4 背 景 （４） 5 • 空間領域での組合せ→（通常の）アンサンブル学習 • 時間領域での組合せ→時間方向アンサンブル学習 目 的 • 時間方向アンサンブル学習の汎化能力 をオンライン学習の枠組みで統計力学 的手法を用いて解析 6 モデル（１） 生徒の長さ 7 モデル（２） ノイズあり線形パーセプトロン 教師の出力 生徒の出力 8 モデル（３） 二乗誤差 勾配法 f 9 汎化誤差 多重ガウス分布 誤差 10 巨視的変数のダイナミクスを記述する連立微分方程式 t = m/N 11 巨視的変数のダイナミクスを記述する連立微分方程式 サンプル平均 12 巨視的変数の解析解 13 汎化誤差 多重ガウス分布 誤差 14 ノイズ無し ノイズ有り (σB2=σJ2=0.2) 15 （η=1，σB2=σJ2=0.2） t1 t2 t1 t2 t t t1 t2 t1 t2 t t 16 0.25 ( CK=1/K, σJ2=σB2=0.5, t1→∞， tk+1 - tk→∞ ) 17 まとめ • 空間領域での組合せ→（通常の）アンサンブル学習 時間領域での組合せ→時間方向アンサンブル学習 • ノイズ有り線形パーセプトロンの汎化能力をオンライ ン学習の枠組みで統計力学的手法を用いて解析 • 通常のアンサンブル学習の２倍の効果 18
© Copyright 2024 ExpyDoc
