20011018

視覚情報を話題の対象とする
音声対話システム
京都大学情報学研究科
知能情報学専攻奥乃研
M2 山肩洋子
誤解解決のレベル
1. 内部処理により解決できるレベル
認識語彙（モデル）の絞込み
認識結果の絞込み
2. ユーザとの対話により解決できるレベル
質問発話
3. ユーザの信念の誤り
代替案の提示
誤解発生を仮定した上でのオブジェクト再推定
ユーザとの対話により妥協点を探る
モニタリング(レベル１)
言語理解の
確信度
ユーザモデル
音声認識の
信頼度
音声認識
プランニング
オブジェクトの
尤度
オブジェクトの候補
画像認識の信頼度
画像認識
モニタリング(レベル２)
信頼度・確信度・尤度の向上を図る
質問
オブジェクトの
尤度
言語理解の確信度
オブジェクトの尤度
発話理解の
信頼度
確信度
音声認識の
信頼度
プランニング
ユーザモデル
尤度
画像認識の
信頼度
オブジェクトの候補
プランニング
音声認識
画像認識
応答
モニタリング(レベル３)
ユーザとの対話によりユーザの妥協点を探る
ユーザの信念の
確信度発話理解の
プランニング
信頼度
発話理解の
確信度
質問
言語理解の確信度
確信度
音声認識の
信頼度
プランニング
ユーザモデル
代替案の選定
オブジェクトの
再探索
尤度
オブジェクトの
尤度
オブジェクトの尤度
尤度
画像認識の
信頼度
オブジェクトの候補
プランニング
音声認識
画像認識
語彙の絞込み(音声⇒画像）
音声
音声認識
•コップ:0.4
•カップ:0.4
•ポット:0.2
画像
関連の強さを付与
コップ
モデルa
モデルb
カップ
モデルc
信頼度
ポット
モデルd
ユーザモデル
相互に絞込み
画像認識
•インスタンス1＠机
•モデルa:0.8
•モデルb:0.5
•モデルc:0.2
•インスタンス2＠机
•モデルa:0.5
•モデルｂ:0.1
•モデルc:0.1
•インスタンス3＠机
•モデルa:0.2
•モデルb:0.9
•モデルc:0.6
信頼度
サンプルシナリオ(言語理解の相
違)
音声認識は十分な信頼度を得ている
言語理解において誤解が発生している
理解の段階で相違が発生
理解
ユーザ
理解
ロボット
コッ
プ
音声により伝達
コップです
ね？
言語レベルでは一致
サンプルシナリオ
(レベル1：ユーザモデル)
初期のユーザモデルは一般モデル
⇒関連の強さは一様に弱い
探索に成功⇒言語とモデルとの関連を学習
⇒関連の強さが強い
つまり・・・
•強⇒過去の経験が十分ある⇒レベル1で受理
•弱⇒過去の経験があまり無い⇒レベル2に進む
サンプルシナリオ（言語理解）
関連度の強さより、
ユーザの言う「コップ」はこの三つと判定
関連の強さ
＝言語理解の確信度
？
関連が弱い
⇒まずは候補からはずす
？これが目標物体と予測
コップ
見つからない
⇒まずは候補からはずす
関連が弱い・見つからない
⇒考えない
ユーザモデル
インスタンスが
見つかるか？
サンプルシナリオ
（レベル2：条件の追加要求）
関連の強さが十分でない場合⇒言語理解が間
違っている可能性
条件の追加要求
R:「何色でしたか？」
U:「赤」
⇒最探索・条件の統合 Dempster-Shafer
サンプルシナリオ
（複数条件の統合）
副条件を追加⇒主・副条件の統合


基本的には主条件が優先
主条件の関連度があいまいな場合、副条件が上乗せ
これが目標物体と推定
？
主条件
コップ
副条件
？
赤
関連の強さが十分でない
「コップ」についての
ユーザモデル
「赤」についての
ユーザモデル
サンプルシナリオ
（ユーザモデルの学習）
結果がユーザのよって受理⇒ユーザモデルの学習
これが目標物体と推定
「コップ」との関連度を強める
コップ
ユーザモデル
「コップ」との関連度を弱める
サンプルシナリオ
（ユーザの信念の誤り）
ユーザが色について誤った信念を持っていた場合
副条件を追加⇒尤度の高いオブジェクトがなくなる

どの時点で誤解が発生したかを探索
1.
対象世界の見直し⇒オブジェクトの尤度（実世界のオブジェクトが
ユーザの発話にどれだけの尤度で適合するか）

画像の再取り込み、認識結果の再計算

尤度の再計算
2.
言語理解の再探索⇒発話理解の確信度（ユーザの発話を理解して
いる自信がどれだけあるか）

関連度の低いものまで幅広く探索
ユーザの発話を理解している自信があり、かつ実世界中に適合す
るオブジェクトが見つからない
⇒ユーザの信念を疑う（レベル3に移行）
サンプルシナリオ（代替案の選定）
尤度の高かったものから複数を代替案に選定⇒
棄却されたものをロックしていく

副条件について優先的に代替案を選定
 「赤いコップならありますがこれでいいですか？」

ユーザによる明示的な条件固定指示により条件の優
先順位を入れ替える
 「黄色で探して」
すべてロックされた⇒他の場所を代替案として提
示
 履歴の利用（過去に存在した場所に存在する確立が高い）
 「机の上には見つかりません。食器棚の中を捜しますか？」

Download Report