独立成分分析

独立成分分析
1.問題は何か:例:解法:全体の見通し
2007/10/17 名雪 勲
独立成分分析とは?

例
会議室の3箇所にマイクを仕掛けたとする。そこへ
3人の人が来て会話をし始めた。
後で録音したものを聞くと3人の声が同時に混ざっ
ていて聞き取りにくい。これをそれぞれ3人の話
を別々に分離して聞きたい。
独立成分分析の数理的表現(1/5)

独立な信号を発生する情報源がn個あったとし
て、これをs ,・・・,s 、まとめてn次元の縦ベクトル
1
n
s  (s1,, sn )
T
T
とする。
 信号は離散時間t=1,2,3、・・・に出るものとし、
時間tのn個の信号をまとめてs(t)と書く。
独立成分分析の数理的表現(2/5)
これらの信号が線形に混ざってしまったものがn
箇所から観測されたとして、観測値をx ,・・・,x
とする。
ベクトルにまとめてx=(x ,・・・,x ) T である。
混ざり方の係数をAijとすれば
1
1
xi   j 1 Aij s j
n
となる。
n
n
独立成分分析の数理的表現(3/5)
A=(A )というn×n行列を考えれば、これを
x=As
と書くと簡単である。行列Aは一応時間tにはよらな
いとすれば、
x(t)=As(t)
がt=1,2,・・・で観測される。
ここでx(1),x(2),・・・を観測してs(1),s(2),・・・を復元
しようというのが問題である。
ij
独立成分分析の数理的表現(4/5)
Aもわからず、s(t)もわからない。ただx(t)だけが
利用できる問題をblind source separationという。
この問題を解く手掛かりは信号s1、・・・s2は確率
的に発生するものとして、s1、・・・snは全て互い
に独立とする。
つまりsの確率密度関数をr(s)とすると、各成分が
独立ならこれは
r(s)=r1(s1)r2(s2)・・・rn(sn)
という積の形をしている。
独立成分分析の数理的表現(5/5)

観測値x(t)は混合物だから、x1(t),・・・,xn(t)の
分布は独立になっていない。その中に含まれる
独立な成分を探すので独立成分分析という。
独立成分分析の具体的解法(1/3)
フランスのHeraultとJuttenによる解法を紹介す
る。
y(t)=Wx(t)
1
とおく。W= A ならうまくいくが、Aがわからないの
で適当にWを選んでその結果、y(t)の各成分
y1(t),・・・,yn(t)が独立になっているかを見ていく。
W(t)の変化分を
ΔW(t)=W(t+1)-W(t)
とする。

独立成分分析の具体的解法(2/3)
y(t)を見るごとに
3
ΔWij(t)=-η{yi(t)} yj(t)
のように変える。ηは小さい正の定数とする。
ここで各siの平均値を0とすると期待値は
E[si]=0
定数ηが小さければ
Wij(t)=  ⊿Wij (t )
t
はどこかへ収束してその周りで微小振動する。
独立成分分析の具体的解法(3/3)
収束先では⊿Wijは収束点の周りでふらつくので
E[Wij ]  E[ y y ]  0
3
i i
となりWの収束先ではyiとyjがすべて独立となる。
独立と相関
これまでの話ではyiとyjの相関がないことからyiとyj
は独立としている。
独立しているならば相関はないが、相関がないか
らといって独立と言ってもいいのだろうか?
そこで相関と独立の関係について例を挙げて検証
してみる。
相関と独立の例(1/5)
例
s1とs2が独立で区間[-1,1]上の一様分布とする。
確率密度関数r(s)は図のようにs1-s2平面の正方形上に一
様に分布する。

s1
s2
相関と独立の例(2/5)
s1とs2を混ぜ合わせて
1
x1 
( s1  s2 )
2
1
x2 
( s1  s2 )
2
とするとx1とx2の相関は
1
E[ x1 x2 ]  E[ s12  s22 ]  0
2
相関と独立の例(3/5)
しかしxの分布は図のように正方形を45°回転したものです。
x2
A
x1
相関と独立の例(4/5)
この場合は観測したxのうちx1の値が大きく、 2 に近いとするとxは
角Aの近くにあるので、X2の方は0に近いことがわかる。
よってX1を知ることでX2の情報が得られるので独立ではない。
ここでまとめると、
y=Wx
で観測信号xから元の独立信号の候補yを求めるとすると、Wが
A 1 になるように調整していくものだった。
様々な不定性を取り除くと正しいWは求められることになっている。
ここでJuttenとHeraultは勘で
⊿Wij  yi3 y j
とおいた。
相関と独立の例(5/5)
データx(1)とx(2)を見ながらこれをy(t)=W(t)x(t)に変換し、このyを
使ってW(t)を⊿Wだけ変えていくことにした。
これを後に多くの人が
⊿wij  ( yi )
のように一般化したり、式の理論的根拠を求めてよりよいアルゴリズ
ムを作ろうと努力してきた。
独立成分分析は主成分分析に代わる新しい信号分析の手法として
脚光を浴びている。この分野を学ぶには確率・統計、情報理論が
かかわってくる。