表情と音声における情動刺激に対する脳波と表情筋電図の反応 Reaction of EEG and facial EMG to the emotional stimuli in facial expression and voice キーワード：表情、非言語音声、情動、筋電図、脳波人間生活工学研究室 13TM1102 荒井香織 ■Abstract: Non-verbal communication such as facial expressions and ①MODALITY 条件(HAPPY、SAD、NEUTRAL) voice in emotional reaction is familiar and important. In the ②EMOTION 条件(表情と音声、表情のみ、音声のみ) non-language speech, the study of the audiovisual interaction of emotion is very small. 表情刺激は「Pictures of Facial Affect(POFA) 」内から笑顔、悲しみ The purpose of this study, non-language 顔、ニュートラル顔を、音声刺激は「Montreal Affective Voices(MVA)」 speech by examining the reaction of EEG and EMG seemed that reveal 内の 9 つの感情音声から、楽しみ、悲しみ、無感情音声を抽出し、実 how to influence the emotional reaction at the time of facial 験に利用した。 expression observed. A result, does not affect the EEG, the non-language speech suggested that there is a promoting effect in EMG. ■背景情動伝達において表情や音声などの非言語コミュニケーションは最も身近であり重要である。他人の表情から影響し発生する、無意識的な表情模倣は自動的で、本人に与える感情や共感度に影響するとも考えられている。また、表情模倣は、近年発見された「ミラーニューロンシステム(MNS)」とも関わりがあると考えられている。MNS とは他者行図 3 実験条件為を観察した際に活性化する神経細胞のことであり、行為の意図や模倣、感情の認知、共感との関連が指摘されている。【実験タスク&プロトコル】言語音声を付加させることにより他人の表情を見たときの印象が変一試行の流れは注視点(1s)、ブランク(0.5 ms)、EMOTION 刺激わる等の情動的相互作用は多く研究されているが、非言語音声にお (1.5ms)、ブランク(0.5s 〜0.75s)であった(図 4)。1 ブロック 40 試行とし、いて、上記のような研究は非常に少ない。非言語音声を加えることに被験者は 9 ブロック分のタスクを行った。より、表情模倣だけでなく MNS の促進が見られれば、コミュニケーションロボットへの導入や自閉症のリハビリなどへの応用も考えられる。 ■目的末梢神経(筋電図)と中枢神経(脳活動)の反応を調べることにより、非言語音声が表情観察時の情動反応にどのように影響するか明らかにすることを目的とした。 ■方法【被験者】図 4 1 試行の流れ健康な学生 10 名(男女各 5 名、平均 24±0.92 歳)であった。【測定項目】被験者は実験室に入室後、測定機器を取り付けられた。その後、タ ①筋電図[大頬骨筋、皺眉筋] (図 1) スクの教示をされ、簡単な練習の後、約 4 分×9 のタスクを行い、全タ一般的に悲しみ顔に対し皺眉筋が、笑い顔に対し大頬骨筋が活動スク終了後にμ波のコントロール条件として 1 分間の安静条件におけする。る脳波を測定した。タスクの間には短い休憩を挟んだ。測定終了後、 ②脳波[μ波抑制、事象関連電位] (図 2) 機器、ペーストなどを取り外し、被験者は実験室から退室した。国際 10-20 法に従い、C3、C4、O1、O2 を測定した。μ波は MNS の神経システムを頭皮上で観測できる指標で Cz 付近のα波のことである。μ波が抑制されたときに MNS が活動していると言われている。事象関連電位は情動性との関連が報告されている P100 (50〜200ms) と表情に対する認知度を反映する N170 (150〜250ms)を抽出した。図 5 実験状況図 1 筋電図(左から大頬骨筋、皺眉筋) 図 2 脳波の測定部位【統計解析】脳波(μ波抑制、事象関連電位)の統計解析は「EMOTION 条件[3 【実験条件】水準]」「MODALITY 条件[3 水準]」を要因とした二元配置反復測定分散分析と Bonferroni の多重比較検定を行った。筋電図の統計解析は、各モダリティの「HAPPY」or「SAD」条件と「NEUTRAL」条件との差の値を解析に利用し、「EMOTION 条件[2 水【筋電図(皺眉筋)】各条件の皺眉筋の振幅を 100ms 毎に平均したグラフを図 8 に示す。準]」「MODALITY 条件[3 水準]」「時間[3 水準]」を要因とした三元配 MODALITY、EMOTION 条件間にて、また、時間、EMOTION 条件間置反復測定分散分析と Bonferroni の多重比較検定を行った。にて有意な交互作用が見られた。 ■結果にて、「1000ms〜1500ms 区間」では「表情と音声」と「表情のみ」条件【μ波抑制】にて、「HAPPY」条件と比べ「SAD」条件にて皺眉筋が有意に大きくな「0〜500ms 区間」&「500〜1000ms 区間」は「表情と音声」条件のみ C3 部位では MODALITY 条件にて有意な主効果と、MODALITY、った。 EMOTION 条件間にて有意な交互作用が見られた。「SAD」条件内では「音声のみ」条件と比べ、「表情と音声」、「表情のみ」条件で有意に μ波が抑制された[=MNS が有意に活動した](図 6)。 C4 部位では MODALITY 条件にて有意な主効果が見られ、「音声のみ」条件と比べ、「表情と音声」、「表情のみ」条件で有意にμ波が抑制された[=MNS が有意に活動した]( (図 6)。 C4 μ C3 μ * 0.3% 0.2% 0.1% 0% !0.1% !0.2% !0.3% 0.3% * † 0.2% † 0.1% 0% 図 9 各条件の皺眉筋振幅 !0.1% !0.2% !0.3% !0.4% ■考察【μ波抑制】図 6 常用対数化後のμ波抑制(左から C3、C4 部位) 「音声のみ」条件と比べ、「表情と音声」条件と「表情のみ」条件にて MNS が有意に活動した。「表情のみ」条件でも有意に活動したこと【事象関連電位】から非言語音声による MNS 活動の促進は起こらなかったと考えられる。加算平均処理を行った C3 部位における事象関連電位の波形を図 5 に示す。P100 と N170 の潜時にて、C3、C4 部位とも EMOTION 条先行研究では視聴覚同時刺激のみ MNS が活動したと報告しているが、言語音声を使用していた為と考えられる。件にて有意な主効果が見られたが、交互作用は見られなかった。 MODALITY 条件には関係なく「HAPPY」条件と比べ「SAD」条件で P100 と N170 の潜時が有意に短くなった。【事象関連電位】 P100 潜時と N170 潜時は MODALITY 条件関係なく、「HAPPY」条件と比べ「SAD」条件にて有意に短くなった。MODALITY 条件による差が見られなかったことから、非言語音声による事象関連電位の情動 P100 反応の促進は起こらなかったと考えられる。【筋電図】「表情と音声」条件は「SAD」条件で全区間において皺眉筋が有意に活動した。また、大頬骨筋は「表情のみ」条件の方が「HAPPY」条件 N170 でより長い区間で有意に活動した。「表情と音声」条件のみ有意に活動したことから、皺眉筋では非言語音声による模倣の促進が起きたと図 7 事象関連電位 (C3 部位、全被験者平均) 考えられる。先行研究では言語音声が模倣を促進させたと報告しており、非言語音声でも促進が生じることが示唆された。大頬骨筋は「表【筋電図(大頬骨筋)】情のみ」条件で長い区間有意に活動したが、「表情と音声」条件では各条件の大頬骨筋の振幅を 100ms 毎に平均したグラフを図 8 に示他の条件と比べ逆の傾向(SAD 条件に大頬骨筋が活動する)が起きなす。時間、MODALITY、EMOTION 条件間にて二次の有意な交互作かったことから、非言語音声は対称の表情筋を抑制させる可能性もあ用が、また。MODALITY、EMOTION 条件間にて一次の有意な交互る(例：「SAD」条件のとき、大頬骨筋の活動を強く抑制する)。作用が見られた。「0〜500ms 区間」では、「表情のみ」条件にて「HAPPY」条件と比べ「SAD」条件にて、大頬骨筋が有意に大きくなる傾向だった。 ■まとめ本研究では、非言語音声が表情観察時の情動反応にどのように影「500〜1000ms 区間」では、「表情のみ」条件のみにて、「1000ms〜響するかを検討した。結果、MNS 活動と事象関連電位では促進効果 1500ms 区間」(上右図)では、「表情と音声」「表情のみ」条件にてが見られなかったが、「表情と音声」条件における結果から筋電図(表「SAD」条件と比べ「HAPPY」条件にて大頬骨筋が有意に大きくなっ情模倣)では促進効果が見られた。以上から、同じ感情価の「非言語た。音声」は、中枢神経(脳活動)にまでは至らないが、末梢神経(表情模倣)の段階においては、(特にネガティブな感情にて)大いに促進効果があることが示唆された。図８各条件の大頬骨筋振幅