開く - 東京電機大学

脳計測を用いた抽象顔の表現力の分析と
コミュニケーションインタフェースへの応用
湯浅将英
東京電機大学情報環境学部
Design and Development of Communication over Computer Networks
using an fMRI Study
Masahide Yuasa
School of Information Environment, Tokyo Denki University
１．はじめに
本研究では，CG による顔を用いたコンピュータ
と人のコミュニケーションを脳計測から調べる
ことで，顔を見たときの神経生理学的な仕組みと
顔コミュニケーションの仕組みを統合的に明ら
かにすることと，さらに新たなヒューマンインタ
フェースを設計，開発することを目指す．
本稿では，人のコミュニケーションの中で特に
「会話」に着目した実験を述べる．まず，擬人化
エージェントの「話したい／話したくない」の表
情を見たときの脳計測の試みを述べる．さらに，
人の会話コミュニケーション時の脳計測につい
て述べ，新たなコミュニケーション・インタフェ
ースの評価を考察する．
２．背景
－話したい／話したくない表情の脳計測－
機械に不慣れな人や高齢者でも対話できるイ
ンタフェースとしてエージェントの研究がされ
てきた．入江[1]や湯浅[2]は，エージェントとの
会話の円滑化を目指し，発話交替時のエージェン
トの「話したい／話したくない」の表情を提案し
た．この研究では，人とエージェントがともに話
したいときに話せる気軽な対話インタフェース
の実現を目指している．しかしながら，エージェ
ントの「話したい／話したくない」の表情が，人
の表情とどの程度同等であるかは検証されてい
ない．そこで，本報告ではエージェントで作成し
た「話したい／話したくない」の表情の効果を
fMRI 脳計測から確かめる．エージェントの「話し
たい／話したくない」表情と人の表情を比較し，
人との円滑なコミュニケーションに有効かを考
察する．
３．話したい／話したくない表情に関連する研究
3.1 話したい／話したくない表情の表出
多人数会話は「誰かが話し終わったから，次に
誰かが話す」という単純なものではなく，話の途
中で話し手は「自分の話が終わるので誰かに話さ
せよう」，聞き手は「話し手の話が終わりそうだ
から次に自分が話そう」などと思いながら会話は
進む．会話では相手が話したいときに話せるよう
に振る舞い，相手が話したくない時には自分が話
すように振る舞う．そのなかで「話したい／話し
たくない」という表情は発話の衝突や沈黙を避け
るものであり重要と考えられる．湯浅らはこれら
を発話志向態度モデルとしてまとめ，発話交替に
おいてモデルに基づいた発話志向態度が表出さ
れると主張し，それに基づいた擬人化キャラクタ
を提案している[3]．本報告では，会話において
重要な「話したい／話したくない」顔表情を見た
ときの脳計測を実施する．
3.2 表情弁別
川島ら[4]らは人の表情を見たときの脳計測を
実施し，笑いや泣きの表情を弁別するときに右下
前頭回が賦活することを述べている．湯浅らは，
顔文字や顔アイコンを見たときの脳活動を調べ，
人の表情と同様に右下前頭回が賦活することを調
べている[5][6]．これらから「話したい／話した
くない」の表情を判別するときも右下前頭回が賦
活する可能性が予想される．
４．実験刺激の準備
4.1 「話したい／話したくない」表情の収録
人の「話したい／話したくない」の動画を実験
刺激とするため，ハーフミラーを用いた映像対話
装置を使い会話を収録した．収録では撮影者側が
ある小説や物語を題材として，撮影協力者（撮影
される者）が小説や物語のタイトルを当てるクイ
ズを実施した．撮影者側はヒントとなる文章を１
つずつ読んでいき，撮影協力者がそのヒントを聞
いて小説や物語のタイトルが分かったら実際に
声に出して答えてもらう．１つの問題に対してヒ
ントを５つ用意し，撮影者が１つずつヒントを読
み上げる．ヒントは当てにくいものから順に読み
上げ，はじめのヒントでは何の話か判断がつきに
くいが，２つ目，３つ目と順に聞いていくことで
何の作品か絞られていくというものである．通常，
カメラを用いた撮影では撮影協力者の自然な表
情の撮影は困難であるが，ハーフミラーを使った
対面装置を作ることで撮影協力者が話にきちん
と耳をかたむけ，自然に会話をしているときと同
様の場面が撮影できると考えた．
撮影した動画からクイズの答えが分かり答え
を声に出す直前の表情を「話したい」，答えが分
からず答えられない時の表情を「話したくない」
とし，MRI 実験の刺激とした．
有意な脳賦活の算出処理は医用画像解析のソフ
トウェア「SPM８」を用いた（uncorrected p < .001
を有意差ありとている）．複数の実験協力者の解
析結果を集団解析し，共通して有意に賦活する部
位を求めた．
図１エージェントの「話したい」表情
4.2 擬人化エージェントの「話したい／話し
たくない」表情
入江の先行研究[1]によるエージェントの「話
したい」の表情は顔のパーツが全体的に上に向か
って力を入れるような，伸びるような表現であり，
眉が上がり口がにっこりとする（図１）
．
「話した
くない」の表現は，顔のパーツが全体的に下に向
かって力を入れるような縮む表現で眉が下がり
口がむっとする（図２）．これらの眉や口の動作
を TVML[7]で作成して実験に用いた．
図２エージェントの「話したくない」表情
５．実験刺激提示方法
ｆMRI 計測において，実験刺激は図３のように提
示した．実験刺激の提示（人または擬人化エージ
ェントの話したい／話したくない顔表情）をタス
ク，「＋」マークのみの提示をレストとする．
「＋」マークを６～９秒提示し，４秒分の「話し
たい／話したくない」の動画を提示する．その後
３秒，ボタン押しを促す「ボタン」を表示する．
これにより，人または擬人化エージェントの動画
を見たときの脳賦活を捉えることができる．
６．賦活結果
fMRI の実験協力者らには，当該施設の倫理審査
委員会の承認した書面を用いて実験目的と内容，
注意事項（リスクや個人情報の保護など）を十分
に説明した後，書面により同意を得た．撮影後の
図３実験刺激の提示
本実験の解析では，タスクからレストの賦活の
差が有意であるかを算出し，比較する．
「人の話したい／話したくない」の動画を見たと
きの賦活から，レストの賦活の差を見たところ，
主に前部帯状回付近(a)、左下前頭回(b)に有意な
賦活が見られた（図４）．しかしながら，右下前
頭回に有意な賦活は見られなかった．前部帯状回
は曖昧な表情を見たとき反応する部位で、左下前
頭回は文章を処理するとき反応する部位である．
なお，人の「話したい」のみを見てみると前部帯
状回(c)に有意な賦活が見られた．
また．エージェントの「話したい／話したくな
い」からも前部帯状回(d)の有意な賦活が見られ
た．
「人の場合は曖昧だったので質問文から『話した
い』と判断した」というインタビュー結果から，
人は曖昧な表情と文脈から「話したい」を理解し
ていることが考えられた．
７．人の会話時の脳計測
本節では，擬人化エージェントとの会話コミュ
ニケーション時の脳計測実施するために事前に
実施した「人同士の会話時の脳計測」を述べる．
7.1 背景－人の会話時の脳計測－
人は会話をしているとき，会話の話題や展開を
把握し，次に自分が言う言葉を瞬時に考え発話し
ている．しかしながら，どのように会話の話題や
状況理解をしているのかを客観的に検証した研
究は少なく，理論的考察に留まっている．
そこで本実験では，人の会話の状況理解、情報
の更新時の脳の状態を調査し，会話の状況理解の
メカニズムの解明を目指す．
7.2 会話実験の方法
図４脳の賦活画像
（上）人の話したい／話したくない表情を見た
ときの賦活画像，
（中）人の話したい表情を見たときの賦活画像，
（下）エージェントの話したい／話したくない
表情を見たときの賦活画像
これらより，先行研究[1]のエージェントの表
情は，人と同等の「話したい／話したくない」を
表現ができており，人とエージェントの円滑なコ
ミュニケーションに有効である可能性がある．ま
た，「話したい／話したくない」は曖昧な表情で
あることが前部帯状回の賦活から確認できた．し
かしながら，曖昧な表情からどのように「話した
い」表情を理解したのか疑問がある．そこで，実
験協力者らの賦活を確認したところ，左中前頭回
にも特徴的な賦活が見られる人がいた．左中前頭
回は「何の話をしているのか」という文脈の理解
をする際に賦活する．さらにまた，実験協力者の
fMRI 内の実験協力者はヘッドフォンとマイクを
つけ，実験室外の実験者はマイクとスピーカーを
用い，実験室内外でお互いの声が聞こえるような
システムを作成し，疑似的な二者間会話を実現し
た．二者間会話では，図５に示すように実験協力
者 A と実験者 B が交替で話ができるようにした．
A が３秒ほど話をして，B が３秒話した後に２秒
の間を経て３秒間スキャンする．図６に二者間会
話の例を示す．比較のため，無意味な会話時の脳
計測も実施した．
図５二者間会話とスキャンタイミング
参考文献
A:海外いきたいな
B:国内で充分だよ
A:涼しいところがいい
B:北海道がいいかも
A:飛行機でいこうかな
B:船で行くことにしよう
A:どこに行こうかな
B:牧場に行きたいね
A:何日間行こうかな
B:一週間でいいかも
A:費用は足りるかな
B:旅費を安くしようか
図６二者間（A,B）の会話例
7.3 実験結果
単純な会話と無意味な会話の場合で賦活を比
較した．単純会話の賦活データから無意味会話の
賦活データを差し引いて脳の賦活を比較する．実
験協力者 8 名（uncorrected p < .001）のとき，
基底核付近と中側頭回付近に賦活が見られた．単
純な会話のときには，十分な学習が済んでいる運
動や作業に関連するといわれる基底核や脳幹を
用いて，経験的，直感的に話を解釈し会話を行っ
ていると考えられる．会話の話題の推測はほぼ自
動的な処理であり，人の高い推論能力により処理
されている可能性がある．
８
まとめ
本報告では，人の会話行動に着目し，擬人化エ
ージェントの「話したい／話したくない」の表情
を見たときの脳計測を述べた．さらに，人の会話
コミュニケーション時の脳計測について述べた．
本実験の知見は，人とキャラクタやロボットの
言語・非言語コミュニケーションの設計に活用で
きる可能性がある．たとえば，対話ロボットと会
話しているとき特定の脳部位が賦活していれば，
人はロボットを人と同等に捉えながら会話を進
めている，あるいはコミュニケーションが成り立
っているとみなすことができる可能性がある．会
話における「話したい／話したくない」の結果や
会話コミュニケーション時の脳賦活結果を集め
ることで，複数人の会話コミュニケーションの仕
組みが解明できると考える．
[1] 入江, 「話したい」「聞きたい」を示す表現
の分析～エージェントとの会話のための
非言語動作デザイン～．東京電機大卒業論
文,2011.
[2] 湯浅, 木村, 徳永, 武川, 寺井, 抽象キャラ
クタによる発話志向態度の表現と理解－
「話した～い」「・・・聞きたくない」の表
現を探る－, 日本認知心理学会第８回大会
発表論文集, pp.140, 2010.
[3] 湯浅, 徳永, 武川発話マインドに基づく発話
交替モデル - 気持ちが読める会話インタフ
ェースを目指して - インタラクション 2008,
pp.1-8, 2008.
[4] 川島, 高次機能のブレインイメージング，医
学書院, 2002.
[5] 湯浅, 斎藤, 武川, fMRI を用いた顔文字に対
する脳活動計測, 電気学会論文誌, Vol.127,
No.11, pp.1865-1870, 2007.
[6] 湯浅, 斎藤, 武川, 創作した顔アイコンを見
たときの fMRI 脳計測, 電気学会論文誌,
Vol.129, No.2, pp.328-335, 2009.
[7] TVML, http://www.nhk.or.jp/strl/tvml/
japanese/player2/index.html

Download Report