独立成分分析１．問題は何か：例：解法：全体の見通し 2007/10/１７名雪勲独立成分分析とは？  例会議室の３箇所にマイクを仕掛けたとする。そこへ３人の人が来て会話をし始めた。後で録音したものを聞くと３人の声が同時に混ざっていて聞き取りにくい。これをそれぞれ３人の話を別々に分離して聞きたい。独立成分分析の数理的表現(1/5)  独立な信号を発生する情報源がｎ個あったとして、これをs ,・・・,s 、まとめてｎ次元の縦ベクトル 1 n s  (s1,, sn ) T T とする。  信号は離散時間ｔ＝１，２，３、・・・に出るものとし、時間ｔのｎ個の信号をまとめてs(t)と書く。独立成分分析の数理的表現(2/5) これらの信号が線形に混ざってしまったものがｎ箇所から観測されたとして、観測値をx ,・・・,x とする。ベクトルにまとめてx=(x ,・・・,x ) T である。混ざり方の係数をAijとすれば 1 1 xi   j 1 Aij s j n となる。 n n 独立成分分析の数理的表現(3/5) A=(A )というｎ×ｎ行列を考えれば、これを x=As と書くと簡単である。行列Aは一応時間ｔにはよらないとすれば、 x(t)=As(t) がt=1,2,・・・で観測される。ここでx(1),x(2),・・・を観測してs(1),s(2),・・・を復元しようというのが問題である。 ij 独立成分分析の数理的表現(4/5) Aもわからず、s(t)もわからない。ただx(t)だけが利用できる問題をblind source separationという。この問題を解く手掛かりは信号s1、・・・ｓ２は確率的に発生するものとして、ｓ１、・・・ｓｎは全て互いに独立とする。つまりｓの確率密度関数をr(s)とすると、各成分が独立ならこれは r(s)=r1(s1)r2(s2)・・・rn(sn) という積の形をしている。独立成分分析の数理的表現(5/5)  観測値ｘ（ｔ）は混合物だから、x1(t),・・・,xn(t)の分布は独立になっていない。その中に含まれる独立な成分を探すので独立成分分析という。独立成分分析の具体的解法（1/3) フランスのHeraultとJuttenによる解法を紹介する。 y(t)=Wx(t) 1 とおく。W= A ならうまくいくが、Aがわからないので適当にWを選んでその結果、y(t)の各成分 y1(t),・・・,yn(t)が独立になっているかを見ていく。 W(t)の変化分を ΔW(t)=W(t+1)-W(t) とする。  独立成分分析の具体的解法（2/3) y(t)を見るごとに 3 ΔWij(t)=-η{yi(t)} yj(t) のように変える。ηは小さい正の定数とする。ここで各siの平均値を０とすると期待値は E[si]=0 定数ηが小さければ Wij(t)=  ⊿Wij (t ) t はどこかへ収束してその周りで微小振動する。独立成分分析の具体的解法（3/3) 収束先では⊿Wijは収束点の周りでふらつくので E[Wij ]  E[ y y ]  0 3 i i となりWの収束先ではyiとyjがすべて独立となる。独立と相関これまでの話ではyiとyjの相関がないことからyiとyj は独立としている。独立しているならば相関はないが、相関がないからといって独立と言ってもいいのだろうか？そこで相関と独立の関係について例を挙げて検証してみる。相関と独立の例(1/5) 例 s1とs２が独立で区間[-1,1]上の一様分布とする。確率密度関数r(s)は図のようにs1-s2平面の正方形上に一様に分布する。  s1 s2 相関と独立の例(2/5) s1とs2を混ぜ合わせて 1 x1  ( s1  s2 ) 2 1 x2  ( s1  s2 ) 2 とするとx1とx2の相関は 1 E[ x1 x2 ]  E[ s12  s22 ]  0 2 相関と独立の例(3/5) しかしxの分布は図のように正方形を45°回転したものです。 x2 A x1 相関と独立の例(4/5) この場合は観測したxのうちx1の値が大きく、 2 に近いとするとxは角Aの近くにあるので、X2の方は０に近いことがわかる。よってX1を知ることでX2の情報が得られるので独立ではない。ここでまとめると、 y=Wx で観測信号xから元の独立信号の候補yを求めるとすると、Wが A 1 になるように調整していくものだった。様々な不定性を取り除くと正しいWは求められることになっている。ここでJuttenとHeraultは勘で ⊿Wij  yi3 y j とおいた。相関と独立の例(5/5) データx(1)とx(2)を見ながらこれをy(t)=W(t)x(t)に変換し、このyを使ってW(t)を⊿Wだけ変えていくことにした。これを後に多くの人が ⊿wij  ( yi ) のように一般化したり、式の理論的根拠を求めてよりよいアルゴリズムを作ろうと努力してきた。独立成分分析は主成分分析に代わる新しい信号分析の手法として脚光を浴びている。この分野を学ぶには確率・統計、情報理論がかかわってくる。