PCAからICAへ？

1
PCAからICAへ？
狩野裕＋清水昌平
（大阪大学人間科学部）
日本行動計量学会：東京大学平成12年10月
2
ICAとは (1)
• Independent Component Analysis
(独立成分分析)
• Jutten-Herault(1991)：２つの音声を分離
• 情報検索によると
日本海外
ICA：PCA＝1：8（日本）
ICA：PCA＝1：4（海外） ICA
23 2877
PCA
日本行動計量学会：東京大学平成12年10月
176 11514
3
ICAとは (2)
• 成分が独立な多次元信号sを線型混合した
観測値 v から，s を再生するための方法
v(t )  A s(t )
(t  1,2, )
 s(t )  [ s1 (t ),, s n (t )]T
 v (t )  [v1 (t ), , vm (t )]T
 A : m  n 混合行列
• v からAを推定し，ｓを再生する
日本行動計量学会：東京大学平成12年10月
4
BSS と ICA
独立
• BSS
– Blind Source Separation
v(t )  A s(t )
音源S１

(t  1,2, )
音源Sn
aij
 s(t )  [ s1 (t ),, s n (t )]T
 v (t )  [v1 (t ), , vm (t )]T
 A : m  n 混合行列
観測V1
日本行動計量学会：東京大学平成12年10月

観測Vm
5
カクテルパーティー効果
周りの雑音に関係なく、会話できる。
♪
♪
♪
日本行動計量学会：東京大学平成12年10月
6
カクテルパーティー効果とICA
• 音源の物理的な位置・音響
路の差異などの特性が違う
• 観測される信号の重なり方
が左右の耳で違う
• その違いから，ふたつの
信号を復元する
• ICAでは独立性を利用
障害物
音源1
日本行動計量学会：東京大学平成12年10月
音源2
左
耳
人間
右
耳
7
実際のカクテルパーティー効果は
• 選択的注意
– ある情報を選択的に自覚した意識状態
• 話のコンテックスト
• 欠落音の補完
– 音の冗長性を利用
– 断片情報から全体を復元
日本行動計量学会：東京大学平成12年10月
8
ICAの仮定
• 正規分布に従う独立成分は高々１つ
– ｓが正規分布だと分離不可能
– 非正規性に依拠する方法
• m≧n
– 観測変数の次元の方が大きい
– そうでないモデルもある
• 混合行列 A は full column rank
• その他
– E(s) = 0, V(s) = In，モーメント存在の条件
これらの下で A を一意に決定できる
日本行動計量学会：東京大学平成12年10月
9
主成分の回転
V ( v)  V ( As)  AAT
AAT から Aを決定することはでき
ない（回転の自由度）
• PCA．．．．分散の大きな成分を抽出
• ICA．．．．非正規性を最大にする成分を抽出
• ICAは高次統計量を用いた因子回転の一種
• なぜ，独立成分の抽出と非正規性最大化が
対応するのか？
日本行動計量学会：東京大学平成12年10月
観測変数を球状化 by PCA
10
非独
正立
尖度の最大化
max kurt(w T Mv )  max kurt(w T MAs) 規成
w: w 1
w: w 1
性分
m
最
の
T
4
 max kurt(z s)  max  z i kurt( si )
抽
z: z 1
z: z 1
大
i 1
化出
kurt( s1 )  ...  kurt( s m )とすると
と
T
最大化はz  [1,0,..., 0] で達せられる．即ち
V ( Mv )  MAAT M T  I n
max kurt(w T Mv )  s1
w: w 1
日本行動計量学会：東京大学平成12年10月
11
独立成分の抽出と射影追跡
• 尖度の最大化 => 非正規独立成分の同定
max{ kurt( s1 ), kurt( s2 )}  2max
2
 kurt( z s  z s ) 
z1  z 2 1
4
1 1
4
2 2
• 独立成分の和は非正規性を小さくする
• この同値性が独立成分抽出と非正規性
最大化を結ぶ
• ICAとPP（射影追跡）を結ぶ
日本行動計量学会：東京大学平成12年10月
12
射影追跡（PP）
• データの興味深さ・面白さ
（interestingness）を表す軸（超平面 wTv）を
同定
• Interestingness を非正規性として捉える
• Freedman の指標・Hallの指標が有名
• 岩崎（1991）を参照
日本行動計量学会：東京大学平成12年10月
13
ICAのプロセス
• ICAでは，非正規性の尺度を定めると，
それを最大化する wTMv によって独立
成分を同定することができる
• ２番目の独立成分は，ｓを取り除いてから
同プロセスを繰り返す
Mx  ws1  MAs  MAe1s1  MA[0, s2 ,..., sm ]T
日本行動計量学会：東京大学平成12年10月
14
非正規性の尺度
• 尖度や高次キュムラント
– 外れ値に弱い
• Entropy 最小化
• Mutual Information 最小化
• PPで提案されている非正規性の尺度
日本行動計量学会：東京大学平成12年10月
15
Entropy 最小化
y  w T Mv
w
 1
pdf of y ..... f ( y )
z～N (0,1)

entropyof y ..... H ( y )   f ( y ) log f ( y )dy
negentropyof y ..... J ( y )  H ( z )  H ( y )
max J ( y )
w
日本行動計量学会：東京大学平成12年10月
 0
16
Negentropy の近似
Jones  Sibson(1987)


1
1
3 2
2
J ( y) 
E[ y ]  kurt( y )
12
48
Hyvarinen(
1998)
p
J ( y) 

k i E[Gi ( y )]  E[Gi ( z )]
i 1
日本行動計量学会：東京大学平成12年10月
2
17
Mutual Information 最小化
y  W Mv, W  O(m)
MutualInformation :
m
I (y ) 

i 1


H ( yi )  H (y )    f (y ) log




m
i 1
f (y )
m
 const
f i ( yi )
 J(y )
i
i 1
min I (y )
W
日本行動計量学会：東京大学平成12年10月


dy  0


18
Noisy ICA (IFA)
• 測定に誤差が伴う場合
v(t )  A s(t )  u(t )
(t  1,2, )
 s(t )  [ s1 (t ),, s n (t )]T
 v(t )  [v1 (t ),, vm (t )]T
 u(t )  [u1 (t ),, u m (t )]T
 A : m  n 混合行列
日本行動計量学会：東京大学平成12年10月
19
セミパラメトリックモデル
• Amari-Cardoso(1997), 川鍋-村田(2000)
v(t )  A s(t )  u(t )
(t  1,2,)
 si (t )～ i ( si )
 u(t )～N (0,  )

m
 (s )ds
f ( v | A, ,  i )  N ( v | As,  )
i
i 1
日本行動計量学会：東京大学平成12年10月
i
20
モデル間の関係
noisy モデル
v = As+u
非正規データ
高次統計量
正規データ
２次統計量
noisy ICA
IFA
FA
noise-free モデル
PP
v = As
noise-free ICA
川鍋-村田(1999)より
日本行動計量学会：東京大学平成12年10月
PCA
21
ICA と PP
• 両者とも観測変数の線型結合の中で
非正規性を最大にするものを探す
• ICAにおける指標とPPにおける指標は
相互乗入れ可能と思われる
• データが独立な信号（潜在変数）の線型和
ならば，ICAやPPは独立成分を同定．そう
でない場合は，興味ある軸を同定
• ICAはPPの一つの特徴づけ
日本行動計量学会：東京大学平成12年10月
22
例１．一様分布
PPがICAになる場合
V2
S2
S1
V1
球状化した観測変数の分布
ICA or PPによって変換した
変数の分布
日本行動計量学会：東京大学平成12年10月
23
例２．混合正規分布
PPがICAにならない場合
V2
S2
V1
球状化した観測変数の分布
S1
ICA or PPによって変換した
変数の分布
  b b 2
 b b 2

  a  
 a  
0
   2 N , 
 1 N   ,     2 N   ,  
 1 N   , 

0
2



a

a
0
0
2
b
 
 
  
 日本行動計量学会：東京大学
 
  平成12年10月
    0
0  

2b 2  
24
応用
• BSS
• 脳磁図・脳電図の分析
• いままでPCAないしはFAで分析していた
対象をICAで分析してみたという例が多い
• 社会科学への応用は今から
日本行動計量学会：東京大学平成12年10月
25
まとめ
• (noise-free or noisy) ICAは軸の変換である
– PCAは分散が大きくなるよう軸を変換
– ICAは独立成分を同定するよう軸を変換
• 独立成分同定 ⇔ 非正規性最大化
– ICA ⇔ PP
– ICA・PPは独立成分が隠れているとそれを同定
• FAとの関連では，ICAは新しい直交回転解を
与える
– 独立性が一番大きくなるように回転
日本行動計量学会：東京大学平成12年10月
26
PCAからICAへ？
• PCAとICAはまったく異なり，一方が他方を
凌駕するというものではない
– 目的によって使い分ける
– 分散最大化 vs 非正規性最大化（独立成分の同定）
– ２次統計量 vs 高次統計量
• 方法論の研究に関しては，ICAが“燃えている”
• ICAの社会科学での適用可能性は未知
日本行動計量学会：東京大学平成12年10月

Download Report