多数の疑似システムを用いたシステム同定の統計力学三好誠司岡田真人神戸高専東大，理研 1 学習観測データだけを使って，その背後にあるデータ生成過程をモデル化すること 2 学習女教師生徒 3 学習男教師生徒 4 学習男教師生徒 5 学習女教師生徒 6 学習 A Teacher Student J J J 7 学習 • バッチ学習 – – – – 与えられたいくつかの例題を繰り返し使用すべての例題に正しく答えられる長い時間が必要例題を蓄えておくメモリが必要 • オンライン学習 – – – – 一度使った例題は捨ててしまう過去の例題に必ず正しく答えられるとは限らない例題を蓄えておくメモリが不要時間的に変化する教師にも追随 8 適応信号処理（システム同定）学習システム同定 Teacher Student ＋＋－適応アルゴリズム未知システム適応フィルタよく似ている！入力 9 今回扱うモデル＋＋－適応アルゴリズム未知システム疑似システム疑似システム疑似システム適応フィルタ A B1 B2 BK J 入力 10 今回扱うモデル未知システム BK Bk' A B1 Bk 疑似システム • A, B1,B2,・・・ ,J はトランスバーサルフィルタ • J は A の出力を直接観測することはできない • J は B1,B2,・・・の出力を順番に使う J 適応フィルタ 11 目的未知システム， K個の疑似システム，適応フィルタからなるモデルの二乗平均誤差を計算する． BK A B1 Bk' Bk J 特に，疑似システムの個数K，疑似システム集団の多様性と二乗平均誤差の関係について議論する． 12 トランスバーサルフィルタ N Output Out put   J i xi i 1 Σ Tap Weights Inputs J1 J2 x1 x2 JN xN 13 モデル出力にノイズが乗るトランスバーサルフィルタ BK A B1 Bk' Bk J 14 モデル • • • • 入力: 未知システム: 疑似システム: 適応フィルタの初期値: • N→∞ (熱力学的極限) • 巨視的変数 – 適応フィルタの長さ – 方向余弦 15 未知システム BK A B1 Bk Bk' RB k 疑似システム qkk' RBkJ RJ J 適応フィルタ 16 モデル二乗誤差 LMSアルゴリズム fkm 適応フィルタはK個の疑似システムの出力を順番に使う 17 二乗平均誤差 • 本研究の目的は二乗平均誤差を理論的に求めること • 二乗平均誤差 = 新しい入力とノイズに関する二乗誤差の平均 18 巨視的変数のダイナミクスを記述する決定論的連立微分方程式 19 熱力学的極限における自己平均性にもとづき巨視的変数のダイナミクスを記述する微分方程式を決定論的な形で導出１．解析を容易にするため補助的巨視的変数を導入 20 モデル二乗誤差 LMSアルゴリズム fkm 適応フィルタはK個の疑似システムの出力を順番に使う 21 熱力学的極限における自己平均性にもとづき巨視的変数のダイナミクスを記述する微分方程式を決定論的な形で導出１．解析を容易にするため補助的巨視的変数を導入２． Jm+1 = Jm + f1m xm の両辺にAを乗ずる３． NrJm+1 = NrJm NrJm+2 = NrJm+1 + f1m ym + f2m+1 ym+1 Ndt inputs + NrJm+Ndt = NrJm+Ndt-1 + fkm+Ndt-1 ym+Ndt-1 < >はサンプル平均を表す 22 巨視的変数のダイナミクスを記述する決定論的連立微分方程式 23 解析的に得られた巨視的変数 24 二乗平均誤差 • 本研究の目的は二乗平均誤差を理論的に求めること • 二乗平均誤差 = 新しい入力とノイズに関する二乗誤差の平均 25 二乗平均誤差，RJ ，lのダイナミクス 1.2 q=1.00 q=0.80 q=0.60 q=0.49 1.0 0.8 1.0 O r d er P ar a me te r s n E rr o r e n er a liza tio Error G Mean-Squared （η=0.3, K=3, RB=0.7, σA2=0.0, σB2=0.1, σJ2=0.2） Student Adaptive Filter 0.6 0.4 Ensemble False System teachers 0.2 0 5 10 t=m/N 15 20 l 0.8 0.6 RJ 0.4 q=1.00 q=0.80 q=0.60 q=0.49 0.2 0.0 0 5 10 t=m/N 20 15 26 解析的に得られた巨視的変数 27 定常状態の解析（ t → ∞ ）・ η＜０あるいは η＞２ならば二乗平均誤差は発散してしまう・０＜η＜２ならば η＜１ならば，疑似システムの多様性が豊かであるほどまた疑似システムの数Kが多いほど二乗平均誤差は小さくなる． η＞１ならば，疑似システムの多様性が乏しいほどまた疑似システムの数Kが少ないほど二乗平均誤差は小さくなる． 28 二乗平均誤差，RJ の定常値 J （K=3, RB=0.7, σA2=σB2=σJ2=0.0） 29 二乗平均誤差，RJ の定常値 J （q=0.49, RB=0.7, σA2=σB2=σJ2=0.0） 30 まとめ未知システム，K個の疑似システム，適応フィルタから構成されるモデルのシステム同定について解析した．適応フィルタの二乗平均誤差を統計力学的手法を用いて理論的に計算した結果，ステップサイズがη<1 のときには疑似システムの個数が多いほど，また，疑似システムの多様性が豊かであるほど適応フィルタの二乗平均誤差は小さくなるが，η>1 の場合には全く逆であるという興味深い結果を得た． K個の疑似システムの多様性が十分に豊かである場合には，そして，そのときに限り， η→0，K→∞において雑音の有無によらず完全なシステム同定が達成される． 31 The Independence Theory (S.Haykin, Adaptive Filter Theory) • The statistical analysis of the LMS algorithm based on the following fundamental assumption. – The tap-input vectors x1, x2,・・・, xm constitute a sequence of statistically independent vectors. – At time m, the tap-input vector xm is statistically independent of all previous samples of the desired response, namely y1,y2,・・・,ym-1. – At time m, the desired response ym is dependent on the corresponding tap-input vector xm, but statistically independent of all previous samples of the desired response. – The tap-input vector xm and the desired response ym consist of mutually Gaussian-distributed random variables for all m. 32