Document

クロスバリデーションを用いた
ベイズ基準によるコンテキストクラスタリング
◎橋本佳，全炳河，南角吉彦，
李晃伸，徳田恵一（名工大）
はじめに

変分ベイズ法に基づく音声認識（渡部ら; ’04）


事前分布をモデル学習に利用
⇒ 事後分布推定・モデル構造選択に影響
⇒ 共有構造を考慮した事前分布推定（橋本ら; ’07）
⇒ 過学習の問題
Cross Validationに基づく事前分布設定


汎化性能の高いモデル構造を選択
Cross Validationを用いたML基準（篠崎; ’06）
⇒ ベイズ基準に拡張
2
ベイズ基準
モデルパラメータを確率分布で表現
事前分布 :
事後分布 :
学習データ
予測分布 :
認識データ
全てのモデルパラメータを考慮 ⇒ 高い汎化性能
3
変分ベイズ法（1/2）

隠れ変数
を含むモデルの事後分布
⇒ 直接的な計算は困難
⇒ 事後分布推定には近似手法が必要

変分ベイズ法による近似事後分布推定（Attias; ’99）
：独立性を仮定
⇒ 近似事後分布
4
変分ベイズ法（2/2）

対数周辺尤度の下限

変分法によって
を定義
を最大化する事後分布を導出
5
ベイズ基準のコンテキストクラスタリング
を最大化する決定木構造を選択
: 先行音素は母音？
yes
no
質問の選択 :
の増加量 :
⇒ 増加量が最大となる分割
分割停止条件 :
ベイズ基準における適切なモデル構造を選択
6
事前分布の設定

共役事前分布を設定


事前分布と事後分布が同じ分布族
解析的な事後分布推定が可能
尤度関数

共役事前分布
事前情報による事前分布の設定
：事前情報のデータ量
: ベクトル次元数
：事前情報の平均
：事前情報の分散
7
Cross Validationを用いたML基準
モデル推定・評価に用いるデータを分離
学習データをK個に分割
モデルパラメータ
推定
2,3
1,3
1,2
モデル評価 : 尤度の計算
汎化性能の高いモデルを推定
8
Cross Validationを用いたベイズ基準
Cross Validationに基づく事前分布設定
学習データをK個に分割
事前分布
事後分布
モデル評価 :
設定
2,3
1,3
1,2
推定
の計算
9
CVを用いたベイズ基準モデル構造選択
を最大化する決定木構造を選択
: 先行音素は母音？
yes
no
• 各ノードで
を計算
• 分割前後での増加量
が最大となる分割を行う
分割停止条件 :
汎化性能の高いモデル構造を選択
10
実験条件
データベース
JNAS
学習データ
1,000文 20,000文
テストデータ
100 文
サンプリング周波数
16 kHz
窓関数
Hamming 窓
フレームサイズ / シフト
25 ms / 10 ms
特徴量
12次元 MFCC + ΔMFCC
+ ΔEnergy (25次元)
11
実験内容

モデル構造と認識率に対する従来法との比較
学習基準
モデル構造選択基準
MDL
ML基準
MDL基準
CV-ML
ML基準
CVを用いたML基準
CV-Bayes
ベイズ基準
CVを用いたベイズ基準
CVにおける学習データの分割数 10

テストデータに対する
による汎化性能の評価
12
従来法との比較（1/2）
モデル構造と音素認識率（学習データ1,000文）
13
従来法との比較（2/2）
モデル構造と音素認識率（学習データ20,000文）
提案法は認識率が最大となるモデル構造に近づく
⇒ MDLから8.48%の誤り改善率
8.48%
14
汎化性能の評価（1/2）
テストデータに対する
（学習データ1,000文）
15
汎化性能の評価（2/2）
テストデータに対する
（学習データ20,000文）
テストデータに対するが最大となるモデル構造を選択
⇒ 汎化性能の高いモデル構造を選択
16
むすび

CVを用いたベイズ基準によるモデル構造選択



クロスバリデーションに基づく事前分布設定
従来法と比較して8.48%の誤り改善率
汎化性能の高いモデル構造を選択
⇒ 認識率が最高となるモデル構造とは異なる

今後の課題


識別的な基準を導入
階層的な事前分布構造の検討
17

Download Report