Document

会話の盛り上がりにおける
個人と場の関係性の分析
11/12 (水)
４回生三宅峰
要旨

個人の盛り上がりと会話場全体の盛り上がりの
関係性を分析する


個人の盛り上がりは全体の盛り上がりに流されて見
た目には反応は出にくいが生理指標では反応が出る
はず
同一の場にいる人同士の盛り上がりの関係を分
析する

動きの盛り上がりや生理指標の盛り上がりに同調が
見られるはず
背景

あ研究


多人数、特に会話状態での盛り上がりの研究はあま
りやられていない
会話場の盛り上がりを知ることで…


エージェントが盛り上がりを認識できれば発話の内容
選択やタイミング調整などに役立つ
会話のポイントがわかりやすい
目標

個人の盛り上がりと会話場全体の盛り上がりの関係性
を分析する


目で見た盛り上がりの度合を「身体の動きの激しさ」で定める
同一の場にいる人同士の盛り上がりの関係を分析する

対面コミュニケーションでは報告があるのでそれを参考にした
アプローチを取る
盛り上がりの反応は内部状態に起因するはず！
内部状態は生理指標に表出する
生理指標なら表面的に現れないものも検出できる
→盛り上がりのground truthとして生理指標を使う
アプローチ



二つの目標が含まれる実験環境を用意する
クイズエージェントを使って盛り上がりが起こる
状況を作り出す
ビデオによる観察と生理指標（皮膚電気抵抗と
呼吸）による計測によって


個人の盛り上がりと場全体の盛り上がりの相関を分
析する
同一の場にいる個人間の動きと生理指標の相関を分
析する
予備実験

実験の目的


盛りあがっている状況でのビデオの撮影と生理指標の
計測を行う
実験の概要



クイズエージェントを使用
ビデオは被験者４人の正面からカメラ１台で撮影
被験者は同時に４人、うち２人の生理指標を測定


皮膚電気抵抗・呼吸
総時間80分、うち50分を使用
実験環境
ビデオカメラ
生理指標
画面上部から
撮影
皮膚電気抵抗：
左手に2箇所
呼吸：胸部にバ
ンド1つ
クイズエージェント
被験者正面に設置
計測されたデータ

ビデオのデータ

生理指標
iCorpus Studioに読み込む
分析
目で見て盛り上がりを判定する
ラベル付け
分析の方針

観測した時系列データを盛り上がり度の違いで分割し、
盛り上がり度に対応したラベルを付ける



盛り上がり度は「動きの激しさ」を見て判断
個人の盛り上がりと場全体の盛り上がり、それぞれに対してラ
ベルを付ける
特定のラベルにおける生理指標をチェックする


皮膚電気抵抗の減少
 傾きの変化を見る
呼吸の乱れ


呼気量には山谷があり、ピーク間の幅が連続で短くなって
いるところを乱れとする
笑いを拾いやすいが、それも盛り上がりとして含める
ラベルと生理指標の例
個人の盛り上がり
場の盛り上がり
皮膚電気抵抗
呼吸
皮膚電気抵抗減少
呼吸の乱れ
分析


2段階で個人の盛り上がりをラベル付け
全ラベルについて生理指標をチェック
生理「盛」
生理「非盛」
動き「盛」ラベル
77%(89コ)
23%(26コ)
動き「非盛」ラベル
29%(34コ)
71%(84コ)
→動きの激しさによる見た目の盛り上がりの判定は妥当と
いえる
分析





場の盛り上がりに引っ張られる個人の盛り上がり反応
は小さくなるはず
見た目の盛り上がりの感度を変えれば、どこかで動きか
らも場に引っ張られた盛り上がりが検出される
それはどれぐらいのレベルか？
↓
個人の盛り上がりを5段階にし、閾値を設定して全ラベ
ルを「盛り上がりラベル」「非盛り上がりラベル」に分ける
生理指標からの盛り上がりを調べ、動きの盛り上がりと
一致するようなところを探す
分析
閾値4
動き「盛」ラベル
動き「非盛」ラベル
生理「盛」
96%(22コ)
76%(22コ)
生理「非盛」
4%(1コ)
24%(7コ)
閾値3
動き「盛」ラベル
動き「非盛」ラベル
生理「盛」
90%(62コ)
64%(47コ)
生理「非盛」
10%(7コ)
36%(27コ)
生理「盛」
生理「非盛」
75%(109コ)
25%(37コ)
30%(45コ)
70%(105コ)
閾値2
動き「盛」ラベル
動き「非盛」ラベル
検討

閾値を2に設定したときに動きからの盛り上がり
と生理指標からの盛り上がりが最も一致した
→閾値2のレベルなら、場に引っ張られる盛り上が
りのような小さな盛り上がりでも動きから検出で
きる
分析



「場全体は盛り上がっているが、個人は（見かけ上）盛り
上がっていない」ところでの生理指標を調べる
先ほど得られた閾値2でどうか？
閾値を変えるとどうなるか？
閾値
2
3
4
生理「盛」
18コ / 47コ
24コ / 33コ
10コ / 12コ
検討


閾値2で見ると、確かに動きの盛り上がりと生理
指標による盛り上がりが最も一致していた
人間の感覚では閾値3や4で盛り上がりを区別し
ているが、実際の閾値はもっと小さい
→場の盛り上がりを検出するにはそれが個人の盛
り上がりと一致しなければならないが、そのため
には人間の感覚より細かい盛り上がりまで拾う
必要がある
分析


個人間の盛り上がりの同期を「動き(閾値2)」と「生理指
標」で調べた
「盛」の一致
「非盛」の一致
動き
49%(71コ / 144コ)
65%(98コ / 150コ)
生理指標
59%(85コ / 145コ)
70%(105コ / 150コ)
「場に流された盛り上がりがある」という内容に無理がな
いと言える程度？
分析

具体的には？

呼吸の波形に一部一致が見られた

動作は笑いのほか、手振りに追随が見られた
今やっていること

「目で見て付けたラベル」の評価


評価の仕方？
「盛り上がり」以外で生理指標からわかるもの

今のところイマイチ

盛り上がりと競合しないものがベター
→集中？
今後の予定

残りの分析



個人間の動きと生理指標の同期を分析する
他の人にビデオデータのラベル付けをしてもらう
本実験
分析環境の構築

Polymateで測定したデータをiCorpus Studioで
読み取れるようにした

呼吸の指標が「＝笑い」になっていないか？

呼吸の反応が出た72ラベルのうち47ラベルで「笑い」
分析

動作と生理指標の反応のタイミングに関連があ
るか調べた



呼吸と動作はほぼ一致
皮膚電気抵抗は遅れる傾向が目立った
表面的な動作→内面の変化？

Download Report