Document

サンプルシナリオに対する動作
京都大学情報学研究科
M2 山肩洋子
サンプルシナリオ1
ユーザの発話：「机の上のコーヒーカップを取っ
て」
｢コーヒーカップ」の認識率が比較的低い



「コーヒーカップ」: 0.375
「ティーカップ」: 0.375
｢カップ」: 0.25
オブジェクト1
正解
オブジェクト2
オブジェクト3
オブジェクト4
オブジェクト5
オブジェクト6
モデル
ル
9
ル
8
ル
7
ル
6
ル
5
ル
4
ル
3
ル
2
ル
1
ル
10
モ
デ
ル
11
モ
デ
ル
12
モ
デ
ル
13
モ
デ
ル
14
モ
デ
モ
デ
モ
デ
モ
デ
モ
デ
モ
デ
モ
デ
モ
デ
モ
デ
モ
デ
確率
サンプルシナリオ1
モデルの確率
0.5
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0
モデル名
モ
デ
モ
デ
モ
デ
モ
デ
モ
デ
9
ル
8
ル
7
ル
6
ル
5
ル
4
ル
3
ル
2
ル
1
ル
ル
14
ル
13
ル
12
ル
11
ル
10
モ
デ
モ
デ
モ
デ
モ
デ
モ
デ
モ
デ
モ
デ
モ
デ
モ
デ
認識率
サンプルシナリオ1
画像認識率
画像認識率
1.2
1
0.8
0.6
0.4
0.2
0
音声認識率の絞込み
「コーヒーカップ」の信頼度が上昇
尤度
期待値
オリジナルの音
声認識の信頼度
カップ
1.402
0.140
0.25
0.035
0.153
コーヒーマグ
2.081
0.208
0.375
0.078
0.340
コーヒーカップ
3.104
0.310
0.375
0.116
0.507
語彙
更新後の音声
認識の信頼度
更新後の音声認識
の信頼度(正規化)
ユーザモデルの学習前⇒コーヒーカップ: 0.472
ユーザモデルを学習することにより、より強い絞込みが
実現できた
サンプルシナリオ2
ユーザの発話：「コーヒーカップをとって」
ユーザの意図するインスタンスが一般的な
コーヒーカップと違う
オブジェクト1
オブジェクト2
オブジェクト3
オブジェクト4
オブジェクト5
正解
オブジェクト6
サンプルシナリオ2
言語理解の誤解の検出
初回の探索ではオブジェクト1
が選出
ユーザモデルが成熟していないと判断


対話回数：0回
発話理解の確信度が低い：0.001079
閾値は0.002に設定（最高値：0.007)
⇒条件の追加要求
システム：「何色でしたか？」
ユーザ：「黄色」
サンプルシナリオ2
正解の検出
他の候補に比べ特に尤度が高い候補を選
出⇒オブジェクト1
とオブジェクト5
十分な判断が出来ない（尤度が低い・両候
補に差異が無い）
⇒条件の追加要求(差異のある質問)
システム：「柄がついていますか？」
ユーザ：「はい」⇒オブジェクト5と断定
サンプルシナリオ2
ユーザモデルの学習
得られた結果よりユーザモデルを学習
2回目以降ははじめからオブジェクト5を選出
0.7
名称に関する尤度
0.6
0.5
オブジェクト5
オブジェクト4
オブジェクト1
オブジェクト3
オブジェクト2
オブジェクト6
0.4
0.3
0.2
0.1
0
7
6
5
4
3
学習回数
2
1
0
学習回数と名称に関する各オブジェクトの尤度の遷移
サンプルシナリオ2
発話理解の確信度の遷移
4回目で0.002を超える
⇒以降、条件の追加要求はしない
レベル1（内部処理）のみで解決
発話理解の確信度
0.004
0.0035
確信度
0.003
0.0025
0.002
0.0015
0.001
0.0005
0
7
6
5
4
3
学習回数
2
1
0
サンプルシナリオ3
ユーザの発話：「コーヒーカップをとって」
ユーザの意図するインスタンスが存在しな
い
オブジェクト1
オブジェクト2
オブジェクト3
正解なし
オブジェクト4
オブジェクト5
オブジェクト6
サンプルシナリオ3
言語理解の誤解の検出
初回の探索ではオブジェクト5
が選出
ユーザモデルが成熟していないと判断


対話回数：0回
発話理解の確信度が低い：0.001106
閾値は0.002に設定（最高値：0.007)
⇒条件の追加要求
システム：「何色でしたか？」
ユーザ：「赤」
サンプルシナリオ3
正解の検出
他の候補に比べ特に尤度が高い候補を選
出⇒オブジェクト1
尤度が低い⇒条件の追加要求
システム：「柄がついていますか？」
ユーザ：「いいえ」⇒マッチしない
サンプルシナリオ3
代替案の選定
代替案の提示


尤度の最も高いオブジェクト1
を代替案
と選定
オブジェクト1に対する呼び名(単語)を選定
発話に対するオブジェクトの選定の逆をたどる
⇒オブジェクト1はユーザにとって「ティーカップ」であ
る可能性が高い
色は「オレンジ」である可能性が高い
システム：「オレンジのティーカップでもいいです
か？」

Download Report