話者交替を考慮したシステムへの問い合わせと雑談の判別 3-Q-28 山形知行佐古淳滝口哲也有木康雄 (神戸大) 目的 • 音声入力システムの用途雑談カーナビ等の手を使うことが困難な機器での利用が顕著． • 問題点システム要求入力される音声がシステムに向かっての発話か，他の人との雑談かを区別できない．コマンドを入力する際にはボタンを押す必要がある (カーナビ)．システム (カーナビ，ロボット等) 物理的なスイッチを使うことなく，システム要求と雑談を判別したい． • 関連研究 • 全体構成ユーザーの(音響的な)発話の特徴は，話す対象に応じて無意識に変わる．音声音響特徴量生成 S [Shinya Yamada, “Linguistic and Acoustic Features Depending on Different Situations”, Interspeech 2005] システム要求 V 人同士の会話ではラッチングに見られるようなスムーズなターンテイキングが行われる．話者交替 or 雑談 M 特徴量生成 [Tomoko Ohsuga, "Investigation of the Relationship between Turn-taking and Prosodic Features in Spontaneous Dialogue“, Interspeech 2005] コーパス • データ数 • 収録条件 • 人間2人 + ロボットの対話全発話 1025 人同士で雑談をしながら任意にロボットにシステム要求発話をする． • システム要求発話の例「こっちに来てください。」「向こうへ行って」「こっち来てー」「写真を撮って」「止まってください。」胸元にマイクを設置し収録 • システム要求発話 108 対話型移動ロボット音声コマンドにより室内を移動音響特徴量 Amplitude 自然発話とシステム要求発話の音響的な違いは主に発話の前や後ろに現れる．自然な発話ではフィラーや言い淀み等が多い． Margin Detected Utterance Section Margin Time a) 自然発話検出された発話区間からだけではなく，前後のマージンからも下記の音響特徴量を求める. Amplitude • 音響特徴量 Margin Detected Utterance Section Margin Time b) システム要求発話 ※ VADはJulius Adintoolを使用 Power 平均偏差最大最大 – 最小 Pitch 平均偏差最大最大 – 最小話者交替特徴量人同士の会話では，ある人が話し終わるまでに次の人が話し始めるラッチングがよく起こる．このため，2人が同時に発声している場合はシステム要求発話でないと考えられる．マイク入力のパワー等を用いる方法では，隣の人の声が入ってしまうためにどちらの人が発話しているか判別しにくい．例えば，マイク間距離が近い，もしくは声が大きい場合はa)の場合も話者数が2人と誤検出される． Recorder Recorder b) 話者数: 2 a) 話者数: 1 * 2 X 1[n] X [n] CSP[k ]  IDFT( ) X 1[n] X 2 [n] CSP係数を用いることにより話者数をより正確に検出できる． pi  max(CSP[k ]) k in  i N 1 1 : 0  k  2 N 2 : kN 2 k N 1 speaker 2 speakers N/2 1 speaker 0 time p2: high high low p1: low high high CSP Peak Trace 実験結果適合率音響 8 dim. (1区間) 0.584 音響 24 dim. (3区間) 0.756 音響 24 dim. + 交替 6 dim. 0.832 再現率 0.806 0.889 0.870 F値 0.677 0.817 0.851 10 foldsでF値最大の結果．ただしSVMのKernelにはGaussian Kernel を用いた．結果はF値が最大となった場合．まとめ • 考察 • 音響特徴によりシステム要求判別をする場合，明確な発話区間の前後の情報を利用することが有益である． • 発話区間前後での話者の交替を考慮することで，判別精度が上がる． • 今後の課題 • ノイズ環境下での評価 • カーナビ等のコマンドの複雑な環境での評価