第12回情報論的学習理論ワークショップ(IBIS2009) IBIS2009 企画セッション「音声・音響処理と機械学習」スパース表現による音響信号処理亀岡弘和日本電信電話株式会社 NTTコミュニケーション科学基礎研究所スパース表現基底関数 Dictionary 基底関数 1.データを 2. がスパース (少数を除きほとんどが0) の形のモデルで表現低ランクモデル  複雑なデータセットを少ない基底で表現データ数基底数基底のスパース正則化学習  データに混在する独立な情報を抽出スパース表現による音響信号処理実世界音響信号処理観測信号から現象を説明することが目的  いかに実世界音響信号の構成音をうまくモデル化できるか  メッセージ伝達媒体としての音離散的なシンボル情報を波形で表現し伝達  音声  音素単位 (/a/, /i/, /u/, ... )  音楽  音階単位 (ド,レ,ミ,ファ, ...)  各シンボルがどういう波形で表現されるかは音源に固有（すなわち未知）  音源の仮定とモデル化実世界音響信号音源A 要素A 音源B 要素B ... ... (仮定) 音源信号は限られた種類のシンボル単位に相当する未知の独立成分から成る少ない基底関数のスパースな重畳発表のアウトライン音源モデル化の基本方針：少ない基底関数のスパースな重ね合わせ 1. 複素NMF 少数の振幅スペクトルの基底関数によって構成される音響信号モデル  モノラル信号分離への適用例の紹介  2. 複合自己回帰系   音声生成モデル(“ソースフィルタモデル”)におけるソースとフィルタがそれぞれ少数の基底関数により構成される音声信号の統計モデル残響環境下のブラインド音源分離への適用例の紹介発表のアウトライン音源モデル化の基本方針：少ない基底関数のスパースな重ね合わせ 1. 複素NMF 少数の振幅スペクトルの基底関数によって構成される音響信号モデル  モノラル信号分離への適用例の紹介  2. 複合自己回帰系   音声生成モデル(“ソースフィルタモデル”)におけるソースとフィルタがそれぞれ少数の基底関数により構成される音声信号の統計モデル残響環境下のブラインド音源分離への適用例の紹介振幅スペクトログラムの分解表現周波数→ 音響信号短時間フーリエ変換（時間周波数分解）振幅スペクトログラム規則性が！絶対値をとる周波数→ 非負値行列因子分解 (NMF) 時刻→ 各基底のアクティビティ：時刻に周波数の成分がどれほど含まれているか振幅スペクトル基底低ランクスペクトログラム基底数10 基底数30 繰り返し生起する振幅スペクトルパターンが表出時刻→ 「複素NMF」の提案音響信号短時間フーリエ変換（時間周波数分解）（波形同士は加法的）・・・線形な変換（もちろん加法的）絶対値をとる・・・非線形な変換：時刻に周波数の成分がどれほど含まれているか（振幅スペクトル同士は非加法的） NMFモデル複素NMFモデル  複素スペクトログラム？振幅スペクトルをモデル化行列積の形にならない！（新しいクラスのスパース表現モデル）複素NMFアルゴリズム定義複素スペクトログラム  振幅スペクトル基底  位相スペクトログラム  ゲイン  音響信号モデル最適化問題スパース正則化項複素NMFアルゴリズム補助関数法を満たす任意の定数 subject to 回目の反復計算後のパラメータ値: Step 1) Step 2) は増加しない！ NMFと等価となる条件複素NMFはNMFを包含 Step 1) [条件1] を初期設定する Step 2) には Step1, Step2に対して不動点になっている！ [条件2] Step 3) を実行を満たす任意の定数 Lee & Seungが導出したNMFアルゴリズム [Lee & Seung, Nature’99]と等価! モノラル信号分離デモンストレーション「ソ」以外は音量オフ「ソ」だけ音量オフ一部の基底関数に対してのみスペクトル伸縮変形を施し、混合信号を再構成（スペクトル伸縮はピッチトランスポーズに相当。例えばトランスポーズ「－１」は、半音下げという意味。）発表のアウトライン音源モデル化の基本方針：少ない基底関数のスパースな重ね合わせ 1. 複素NMF 少数の振幅スペクトルの基底関数によって構成される音響信号モデル  モノラル信号分離への適用例の紹介  2. 複合自己回帰系   音声生成モデル(“ソースフィルタモデル”)におけるソースとフィルタがそれぞれ少数の基底関数により構成される音声信号の統計モデル残響環境下のブラインド音源分離への適用例の紹介目的: ブラインド音声強調のための音声モデリング音源分離/残響除去・・・室内伝達系と音声信号が未知 音声信号らしさの規準(モデル)をうまく仮定することが重要 (例) 非ガウス性  独立成分分析に基づくブラインド音源分離観測モデルの例 (マイクロホン数: M, 音源数: M) [吉岡,中谷,三好音講論(秋)’08] 観測信号の時間周波数成分残響除去フィルタ ( : 周波数, : 時刻) 瞬時混合信号分離行列音源成分統計モデル  仮定: の定義  尤度関数と音源分離&残響除去: は独立の最尤/MAP推定目的: ブラインド音声強調のための音声モデリング音源分離/残響除去・・・室内伝達系と音声信号が未知 音声信号らしさの規準(モデル)をうまく仮定することが重要 (例) 非ガウス性  独立成分分析に基づくブラインド音源分離観測モデルの例 (マイクロホン数: M, 音源数: M) [吉岡,中谷,三好音講論(秋)’08] 音声の統計モデル観測信号のSTFT 分離行列仮定: : 時刻) 音源成分統計モデル  残響除去フィルタ “複合自己回帰系” ( : 周波数, の提案瞬時混合信号の定義  尤度関数と音源分離&残響除去: は独立の最尤/MAP推定音声生成モデル（ソースフィルタモデル）自己回帰系による短時間フレーム内の信号モデル声帯による駆動源に対応定常Gauss過程声道特性(音素)に対応次の全極型モデル音声では... 音素の種類は framewise 自己回帰系限られている！複合自己回帰系フィルタフレームごとに別個の全極モデル全フレームで高々J種類の全極モデルを仮定入力音声では... 白色性を仮定ピッチの範囲は (パワースペクトル限られている！密度が平坦) 実際は違う！白色性パワースペクトル密度(PSD) パワースペクトル密度自体がパラメータ全フレームで高々I種類のパワースペクトル密度複合自己回帰系による音声信号全極型フィルタ駆動源信号のモデル化アクティベーション個の要素信号 Gauss 雑音スパース化要素信号スペクトルの確率密度関数 PSD PSD Gauss雑音要素信号 PSD 全極型フィルタ駆動源特性・駆動信号スペクトル : ・声道フィルタ通過後 : ・アクティベート後 : ここで，，とすると音声信号スペクトルの確率密度関数通常のスパース表現モデル要素信号との和を音声信号はと考えるのとき独立する logをとって少し式操作するとと音声信号の統計モデルの板倉斎藤距離になる但し，アクティベーションのスパースネスを保障する事前確率（逆ガンマ分布） EMアルゴリズムによる最適化 M番目の話者の音声パワースペクトル密度推定値 (Step 1: 音源分離) を固定 (Step 3: 音声パラメータ推定) (Step 2: 残響除去) を固定を固定をEMアルゴリズムにより行う！ Step 3の詳細 Q関数 E-step M-step [駆動源特性] [ゲイン] [自己回帰係数] 残響環境下ブラインド音源分離実験実験条件  パラメータの推定更新回数： 300回  信号： 2種類の日本語発話音声 Src#1：女性話者(8s)，Src#2：女性話者(8s)  マイクロホン4本  収音環境：残響時間0.5ms  信号の混合条件 (Signal-to-Interference Ratio)  Src#1 Src#2 Mic#1 Mic#2 Mic#3 Mic#4 －0.59 ＋0.59 －0.32 ＋0.32 －0.14 ＋0.14 ＋0.57 －0.57 単位: [dB] 残響環境下ブラインド音源分離実験実験結果・混合条件 Mic#1 Src#1 Src#2 －0.59 ＋0.59 Mic#2 －0.32 ＋0.32 Mic#3 －0.14 ＋0.14 Mic#4 ＋0.57 －0.57 単位: [dB] ・Src#1の分離性能 : SIR (Signal-to-Interference ratio) 提案法 SIR ＋18.6 dB 従来法＋17.2 dB ・Src#2の残響除去性能: DRR (Direct-to-Reverberate ratio) DRR 提案法従来法＋13.5 dB ＋12.6 dB まとめ (1/2) 実世界音響信号処理へのアプローチ  実世界音響信号が何個かの統計的に独立な音源信号によって構成されると仮定するのと同様に，各音源信号もまた何らかの離散的なシンボル情報に対応した何個かの独立成分によって構成される，と仮定実世界音響信号  実世界音響信号を階層的に独立な成分に分解したモデルで簡潔に記述し，現象をモデルパラメータ最適化の視点から推論音源A 要素A 音源B 要素B ... ... まとめ (2/2) スパース表現の考え方をヒントにした新しい音響信号モデルを提案低ランク表現通常のスパース表現モデル： 1. 複素NMF 複素スペクトログラム  NMFによる振幅スペクトログラム分解表現の特長を継承した複素スペクログラムの分解表現 2. 複合自己回帰系  音声のソースフィルタモデルをバックボーンとした音声版のスパース表現モデルパワースペクトログラム