音情報処理論Ⅱ 独立成分分析によるブラインド音源分離とその音声処理への応用奈良先端科学技術大学院大学情報科学研究科音情報処理学講座猿渡洋（2002年2月8日）猿渡担当分の講義資料について講義資料は以下から各自入手すること /mandara/lecture/sawatari/OTO2/lecture＊.ppt （注）PowerPointとプリンタの相性により、配布資料形式では一部数式が文字化けしていることがあるので、必ず上記から資料を入手し「1ページ１枚のモード」でプリントアウトしてみてください。本日の講義内容研究背景の概説独立成分分析とブラインド音源分離 • 独立成分分析の基礎 • 独立成分分析によるブラインド音源分離 • 実際の音場への応用独立成分分析における問題点 • 周波数帯域分割数と独立性の関係 • 反復学習の収束性改善法マイクロホンアレー研究の背景マイクロホンアレーとその応用 • 高性能な hands-free 通信 • 雑音にロバストな音声認識古典的アプローチ：ビームフォーミング • 遅延和型：低サイドローブの実現が困難 • 適応型：目的音の方位・無音区間情報が必要さらに自由度の大きい技術の開発が必要マイクロホンアレーの問題点遅延和型：素子係数により指向特性を制御目的音雑音も同時に拾ってしまう θ 適応型：雑音の到来方向に指向特性を適応目的音を指定雑音のみを観測する時間が必要死角 θ ブラインド音源分離の登場 Blind Source Separation (BSS) • 複数の音源信号が混合されて観測された場合、観測信号のみから音源信号を推定する技術 • 目的音の方位・無音区間情報が不要独立成分分析（ICA）に基づくBSS J. Cardoso, 1989 C. Jutten, 1990 （高次無相関化） P. Common, 1994 （ICAという言葉を定義） A. Bell et al., 1995 （infomaxによる定式化）「独立」とは何か？数学における「独立」の定義： • 2つの確率事象に関する同時確率密度分布 p( x1 , x2 ) が，それぞれの事象における周辺密度分布 p( x1 ), p( x2 ) の積で書ける場合を「（統計的に）独立」と呼ぶ．つまり独立  p( x1 , x2 )  p( x1 )  p( x2 ) 独立である場合の例 x2 x2 p( x1 , x2 )  p( x1 )  p( x2 ) 同時確率密度 p( x2 ) x1 周辺確率密度周辺確率密度 p( x1 ) x1 独立ではない場合の例 x2 x2 p( x1 , x2 )  p( x1 )  p( x2 ) 同時確率密度 p( x2 ) x1 と x2 に強い関連がある x1 周辺確率密度周辺確率密度 p( x1 ) x1 独立成分分析（ICA）とは何か？独立な成分の抽出： • 複数の確率信号が混合された観測系列から，統計的に独立な個々の確率過程を分解抽出する．特徴： • 独立性は「無相関性」よりも厳しい尺度であり，確率信号同士の確率密度構造が問われる． →情報幾何学と呼ばれる →「独立⇒無相関」であるが、「無相関⇒独立」は必ずしも成り立たない．独立成分分析と主成分分析主成分分析（PCA）： • 複数要因の混合で表現されるものの中から，分散の大きなものの順に成分を取り出す． • エネルギーの大きな因子を優先した成分分解法 → エネルギーが大＝影響が大と見なす一方，独立成分分析は… • エネルギーの大小とは無関係に，「独立」なもの同士に分解する．小さな成分でも他と独立性が高ければそれを抽出することが可能． • 取り出される因子の順番は問わない． ICAに基づくBSS とは？既知おはよう Human 1 Source 1 Microphone 1 互いに独立 Microphone 2 こんにちは Source 2 Human 2 音源信号を推定 Observed signal 1 Observed signal 2 ICAに基づくBSSの定式化線形混合過程  A11     AL1    A1K   s1 (t )   x1 (t )                ALK   s K (t )  xL (t )  混合行列分離過程コスト関数独立? 音源信号分離信号観測信号分離行列  y1 (t )   W11         y K (t ) WK 1  W1L   x1 (t )            WKL   xL (t ) 最適化 ICAにおける様々なコスト関数分離信号ベクトル：無相関化 y (t )   y1 (t ),..., y2 (t ) T Ey (t ) y (t )  diag T • 信号間相関を最小化（複数時間区間利用）非線形関数１ Ey (t ) y (t )  diag 3 T • 高次相関をも最小化非線形関数２ EΦ  y (t )  y (t )  diag • 源信号確率密度関数を仮定 Φ : シグモイド関数等 T 非線型関数2の導出独立⇒Kullback Leibler Divergenceの最小化問題 • 一般にKullback Leibler Divergenceとは2分布間の距離 p( z ) KL (v , z )   p ( z ) log dz p (v ) 上式において… p( z)  p( y1 ,, yK ) K p(v)  k 1 p( yk ) 分離信号 y(t ) の同時分布密度関数周辺分布密度関数の積とおき，これらのKLを分離行列Wに関して最小化すれば独立 p( y) KL (W )   p ( y ) log K dy k 1 p ( yk ) 最小化非線型関数2の導出（cont’d） p( y) KL (W )   p ( y ) log K dy k 1 p ( yk ) K   H (Y ;W )   H (Yk ;W ) k 1 1. 結合エントロピー 2. 周辺エントロピー和 H (Y ;W )    p( y ) log p( y )dy    p( x )(log p( x )  log W )dx  H ( X )  log W ( p( y)  p( x) / | W |) H (Yk ;W )    p( y ) log p( yk )dy    p( x ) log p( yk )dx ( p( x)dx  p( y)dy) 非線型関数2の導出（cont’d） KL(W ) の W に関する勾配を求め，その逆方向に W を更新学習 KL (W ) W    (W T ) 1   p( x) ( y ) x T dx  W  (W T ) 1  E x  ( y ) x T    I  E y  ( y ) y T  W  T 1 非線型関数2 ⇒ 0に至れば更新終了・収束ただしここでは   log p( y1 )  log p( y K )   ( y)   , ...,   y  y   1 K T 音声の場合はSigmoid 関数で近似可能 ICAに基づく BSSの応用先は? 時間差を扱わない混合過程のみに限定 → 混合行列は実定数の場合のみ． → 複数信号が単に定数で混合されて観測されるというシチュエーションは実在するのか？数学上の「トイモデル」を解いているだけであり，なんら実際に生じる混合問題を解決していない実環境音場への応用マイクロホンアレーへの適用 → 到来信号は各受音点（マイク）間にて時間差を持つ． → 混合行列Aは，単純な実定数ではなく，畳み込みの形で表現される．実環境での線形混合過程  A11 (t )       AL1 (t )  混合行列 A1K (t )   s1 (t )   x1 (t )                ALK (t )  s K (t )  xL (t ) 音源信号観測信号実環境音場への応用（cont’d）時間差のある畳み込み混合の2解法: • 時間領域ICA：畳み込みフィルタを直接推定 ⇒複雑な音場には対応困難 • 周波数領域ICA：周波数変換により問題単純化周波数変換後の線形混合過程  A11 ( f )       AL1 ( f )  A1K ( f )   S1 ( f )   X 1 ( f )              ALK ( f )  S K ( f )  X L ( f ) 混合行列音源信号観測信号複素定数による線形混合問題を各周波数別に解けばよい周波数領域ICAの拡張周波数領域ICAの問題: ①統計量（期待値）をどのように算出するか? ②音源の入れ替わり・利得不定問題 ①の解決方法：時間‐周波数分解 • 信号全体を一括してDFTするのではなく，短い窓を掛けた部分のみを短時間DFT分析し，その処理を時間方向に窓をシフトして繰り返す． ⇒ ある周波数成分を複素時系列として抽出 ICAにおいてサンプルに関する期待値を算出することが可能時間‐周波数分解によるICA 周波数変換時間遅れを含む混合問題を単純化 source 1 st-DFT st-DFT source 2 Y1 ( f , t ) と Y2 ( f , t ) が互いに独立になるように W(f ) を最適化音源入れ替わり・利得不定問題周波数帯域別にICAを行うと… ICAでは因子の順番は不問 ICAでは因子の大きさは不問周波数帯域毎に分離信号が入れ替わってしまう周波数帯域毎に分離信号の利得がバラバラに… 解決方法： 1. 分離信号の包絡線を求めてその相関によりマージ 2. 分離行列からアレーの指向特性を算出して，その方位情報よりマージ分離音声例無残響実験 • • • • 混合音分離音 (女性；信号包絡マージ) 分離音 (女性；指向特性マージ) 分離音 (男性；指向特性マージ) 残響付与実験 (残響時間 0.3 s) • • • • 混合音分離音 (女性；信号包絡マージ) 分離音 (女性；指向特性マージ) 分離音 (男性；指向特性マージ) 音声１音声２ -30° 40° 2素子，4 cm間隔 ICAに基づくBSSの問題点そもそも音声ってどのくらい独立なの → 狭帯域分割信号は独立なのか？ → ICAで分離できる性能の限界はどの程度か ICAは本質的に非線形最適化問題を含む → 局所最適解への落ち込み → 収束性能の悪化狭帯域信号（実部，1 kHz） Male 1 Male 1 Male 2 Male 2 32分割相関大 2048分割周波数帯域分割数と分離性能分離性能劣化 14 RT=150msec SNR [dB] 12 RT=300msec 10 11.896 9.944 9.569 9.527 8.637 8.018 8 7.356 6.122 6 12.736 12.132 7.581 6.906 5.729 5.059 4 2 0 32 64 128 256 512 Number of Subbands 1024 2048 帯域分割数と独立性の関係  一般に，複雑な音場（長い残響等）に対応するには周波数帯域分割数を増やす必要あり．しかし周波数領域ICAでは…  分割数を過度に増やすと狭帯域信号間の独立性が低くなるため，分離性能が劣化する.  帯域分割数を増やすことが決して分離性能向上にはつながらない. 周波数領域ICAの性能限界を与える重大な問題 ICAに基づくBSSの問題点そもそも音声ってどのくらい独立なの → 狭帯域分割信号は独立なのか？ → ICAで分離できる性能の限界はどの程度か ICAは本質的に非線形最適化問題を含む → 局所最適解への落ち込み → 収束性能の悪化収束改善法：ICAとBFを統合したBSS 独立成分分析（ICA）ビームフォーミング（BF）統一感のある情報源音源のある方位にを脳の内部で分類化聞き耳を立てる Aさんの声音源間の質に着目音源の位置に着目両者間の対応付け・反復射影処理を用いることにより、非独立または収束性の低い周波数帯域における分離性能を向上させる。反復学習内ダイバーシチ Init W ( f ) ˆ l ICA ONE TIME W ( f ): BF W BF (f) DOA Estimation W ICA (f) Diversity with Cost Function W (f) else if final W (f) Ordering & Scaling W (f) ˆ l 各周波数帯域での音源分離フィルタ実験条件素子間隔 4 cm の 2 素子アレー音源 : • 方位－30°, 方位 40°の 2 音源 • 男性2名，女性2名による総当り組合せ • 2種類の短文（3秒）を発声音響条件 : • 残響時間 RT= 0.15, 0.3 sec 評価基準： • 出力SNR [dB] – 入力SNR [dB] • 各音源組合せ（12通り）の平均値を図示実験結果：残響時間0.15 secの場合改善法は高速・高分離性能実験結果：残響時間0.3 secの場合実験結果：ICAとBFの選択状況性能向上の鍵は… ×： BFが選択されたことを示す 1. 反復初期におけるBF利用 →最適解近傍へ早く近づく 2. 反復後期ではICAによる最適化 →残響系逆フィルタをブラインド推定 3. 非独立な帯域はBFで近似今後の展開 ICAによるBSSはどこへ行くのか? • 数理解析上での進展 • 実際の音環境を取り扱えるには未だに至っていない． • 共通の音源分離用データベースによる相互比較 • オンライン学習の高精度化（動く音源の分離）現在：解ける問題のみ机上で解いていた今後：実環境においていかにしてICAの実力を発揮させるか