音声情報とベイジアンネットを用いた感性情報処理システム室蘭工業大学大学院工学研究科博士前期課程情報工学専攻久保研究室原正一発表目次 1. 2. 3. 4. 研究背景・目的構築するシステムの概要実施した予備実験の説明今後の計画 2 人対機械のコミュニケーションの円滑化を目指して  コンピュータシステムの急速な普及   よりフレンドリで親しみやすいユーザインタフェースが求められてきている（カウンセリング，ペットロボットなど）ユーザの状態に応じて，システムの応答を変化させる  コンピュータによる人間の心身状態の認識 3 従来研究のアプローチ  状態認識のための情報源表情や動作  音声の韻律や発話内容などから感情をモデル化 ↓   感情は曖昧で，厳密にモデル化するほど識別可能ではない 4 感性情報処理の実現  目的   音声を入力とし，感情・疲労度などの心身状態を推定して出力するシステムの構築方法   音声・感情間の関連をベイジアンネットによってモデル化そのモデルにより推論を行う 5 ベイジアンネット   複数の確率変数の間の依存関係を非循環性有向グラフによって表すその間の定量的な関係を条件付き確率で表現したモデル A B C 6 システム概要音声音声特徴量抽出クライアント感情・疲労度ベイジアンネット 7 音声特徴量の抽出① （システムの入力） 500  ピッチ   声帯振動の基本周波数高低の印象を与える 0 0 0.715011 Time (s)  振幅   音声波形における振動する波の変動量声の大きさを表す 1 0 -0.8466 0 0.715011 Time (s) 8 音声特徴量の抽出② （システムの入力）  ホルマント周波数   音声生成における声道の共振によって生じる母音の特定に利用される 5000 4000 3000 2000 1000 0 0 0.715011 Time (s)  スペクトル  信号を構成している周波数成分の分布 60 40 20 0 11025 Frequency (Hz) 9 感情・疲労度（システムの出力）プルチックの基本感情  疲労度以下の５組を出力とする喜び－平静－悲しみ受容－平静－嫌悪恐れ－平静－怒り予期－平静－驚き疲労－普通－快調  喜び受容予期恐れ怒り驚き嫌悪悲しみ 10 推定システムのベイジアンネット i4 音声特徴量と感情・疲労度のデータをもとにして，構造決定したベイジアンネットを用意する o1 i1 i5 o2 入力（音声）特徴量抽出（量子化）出力（感情，疲労度） i2 o3 i6 以下の式にて推論を行う o4 i3 in o5 データから構造学習されたBN （心身状態認識モデル） 11 音声資料の収集   知り合い同士の２名のユーザの会話を録音し，サンプルデータを収集する手順     録音時間の目安について通知し，なるべく普段どおりに会話してもらうその会話をそれぞれ別々に記録する記録後，会話中の感情・疲労度などを，話者本人へのアンケートによって調べる会話の音声データを感情・疲労度ごとに分類し，サンプルデータとする 12 予備実験（音声特徴量間の関連性のモデル化）  目的     システムに利用するアプリケーションの特性の把握実験環境の検証（本実験での使用に耐えうるか）特徴量，及びその量子化法に関する妥当性の検証録音からモデル構築までの一連の流れの習熟 13 予備実験環境  ソフトウェア      会話： MSN messenger service の音声チャット録音： Rockoon 音声特徴量抽出： Praat ベイジアンネットモデル構築： BayoNet ハードウェア   ヘッドセットマイクオンボードのサウンドカード 14 得られた音声資料  被験者   男６女２）録音設定   ８人（２０代サンプリングレート 22.05 ｋＨｚ 16 ｂｉｔモノラルチャネルデータ  会話データを１０秒毎に切断したもの１１３サンプル 15 利用した音声特徴量       第１ホルマント（Ｆ１）第２ホルマント（Ｆ２）ピッチの最高値／平均値（Pi_Ma/Av）ピッチの最高値ー最低値（Pi_Ra）振幅の最大値／平均値(Po_Ma/Av) 音圧レベル最大の周波数(Spe) 全６ノード 16 ベイジアンネットモデル構築    ６ノードはそれぞれ３つの状態を持つと設定（平均値をもとに高い，普通，低い） 113サンプルのデータをもとに BayoNet によりモデル構築ネットワークの構造選択は MDL 基準により決定 17 予備実験結果パターン１ 0 ← if v ＜ Ave – σ 1 ← if Ave – σ ≦ v ＜ Ave + σ 2 ← if Ave + σ ≦ v v ：特徴量 Ave：平均値 σ ：標準偏差パターン２ 0 ← if v ＜ Ave – （σ／２） 1 ← if Ave – （σ／２） ≦ v ＜ Ave + （σ／２） 2 ← if Ave + （σ／２） ≦ v 18 予備実験考察    ノイズが入るため，ノイズの影響を調べる必要がある確率変数の割り当て方でネットワークが簡単に変化 → 割り当て方は色々なパターンを試すべきホルマント周波数は標準偏差が小さい → 喋り方による影響が少なく，感情の推定に向かない可能性 19 今後の計画       音声資料の収集システムの構築構築したシステムの有効性の検証システムの性能向上 Webサービス化入力データの多様化 20