2017/2/14
背景
• ジャグリングのショーを行う際、ステージの構成はショーの
評価を左右する大きな要因である
ステージ構成支援のための
生体情報による感情分類手法
– 技の披露する順番が違うだけで、ステージの印象は変わる
1up2up
難
易
構成A 度
基盤システムソフトウエア研究室
指導教員 菅谷みどり
AL13092 平松 拓也
小
4シャワー
4シャワー
難
易
度
難
易
度
中
大
1up2up
だんだん技の難易度
をあげてゆく
5ボール
難
易
構成B 度
難
易
度
難
易
度
中
小
大
2017/2/14
5ボール
難易度の高い技の前に
難易度が低い技を入れる
2016年度卒業研究発表会
どちらの構成の方が全体の印象が良いのか？？
課題
2
既存研究
• 構成を決めるためには、観客の反応を理解することが必要
• 楽しんでいるかどうかの反応を理解することは難しい
• 反応の理解に対する既存研究
• 生体情報を用いた感情推定[1]
• 演技をみても拍手をしない人
• 面白くなくてもとりあえず拍手をする人
– 脳波と心拍を利用し、感情の推定を行っている
– 感情の分類にはラッセルの円環モデルを用いている
脳波と心拍から感情を推定することが出来た
拍手や歓声などで反応が良いかの判断は難しい
• ※生体情報とは
• 脳波、血圧、呼吸、心拍等、覚醒度、ストレス、疲労度など、
人間の身体状態との関連性がある
• 感情の推定に用いられている
[１]坂松 春香 、鎌田 恵介 、 佐々木 槙吾 、 佐藤 友斗、 高橋 啓伸 、小倉 加奈代 、 ベッド B. ビスタ、 高田 豊雄 : 複数の
生体情報を用いた感情同定手法に基づくMMDモデルを用いたセルフフィードバックインタフェースの提案,2015
2017/2/14
観客
2016年度卒業研究発表会
ジャグリング風景
3
2017/2/14
目的/提案
2016年度卒業研究発表会
4
生体情報を用いる理由
• ステージ構成支援に向けた感情分類手法の提案
– ステージ構成を行うために観客の感情推定をおこなう
– 反応の分析には生体情報を用いる
•
•
ステージを観ても拍手をしない人や、歓声を上げない人などいる
拍手や歓声はある程度意図的に行う行動である
拍手や歓声などでは本心での反応を正確に理解できない
本研究ではここの部分の実現を目的としている
ステージを観ている時の反応を理解するために生体情報を用いる
本研究では、脳波と心拍を用いる
脳波：Neuro sky社のMindWaveMobile[2]を使用
Attention、Meditationの値を0~100間で算出する
心拍：SWITCHSCIENCE社の心拍センサー[3]を使用
2017/2/14
2016年度卒業研究発表会
5
[2]ニューロスカイジャパンの製品紹介 http://www.neurosky.jp/products
[3]スイッチサイエンスの製品紹介 https://www.switch-science.com/catalog/1135/
2017/2/14
2016年度卒業研究発表会
6
1
2017/2/14
感情の分類手法
感情の分類手法(比率)
AttentionMeditation＞0
• ラッセルの円環モデル[4]をもとに感情分類モデルを作成
• 脳波と心拍の値をもとに感情分類モデルに点をプロット
• プロットした点と感情を示す線との距離から感情を推定[9]
– 円環モデルの二つの軸に近い感情と、それぞれの中央に位置する
感情を抜粋し感情分類モデルを作成した
- 下の図は脳波と心拍の値から（４，２）にプロットされた点Aの解析例
• 感情の分類モデルを用いて感情の分類を行う
• 脳波と心拍を用いる
驚き
興奮
pNN50＞0.3
𝑑1
脳 ２
波
●
[4]James A. Russell :A Circumplex Model off Affect Journal of Personality and Social Psychology 1980.vol 39,No.6 p1161-1178
2017/2/14
7
2016年度卒業研究発表会
心拍
𝑑1 : 𝑑2= 楽しい ： 興奮
distance= 楽しい + 興奮
A
• 点Aは「興奮」2.62「楽しい」1.85
distance 𝑑2
０
感情分類モデル
ラッセルの円環モデル
{
４
楽しい
[9]山本純平,川添瑞木, 中澤仁,高汐一紀, 徳田英幸, MOLMOD: 生体情報を用いた雰囲気の取得手法の構築、
社団法人 電子通信情報学科
2017/2/14
8
2016年度卒業研究発表会
感情の分類手法(ベクトル分解)
プログラムフロー図
• 脳波と心拍の値をもとに感情分類モデルに点をプロット
• プロットした点と感情を示す線との距離から感情を推定[9]
- 下の図は脳波と心拍の値から（４，２）にプロットされた点Aの解析例
驚き
興奮
脳 ２
波
●
０
心拍
４
原点から点Aのベクトルを興奮、楽しい
を表す線分に分解する
A
• 点Aは「興奮」2.83「楽しい」1.17
楽しい
[9]山本純平,川添瑞木, 中澤仁,高汐一紀, 徳田英幸, MOLMOD: 生体情報を用いた雰囲気の取得手法の構築、
社団法人 電子通信情報学科
2017/2/14
9
2016年度卒業研究発表会
2017/2/14
実験
• 目的
実験
実演者
• ジャグリングの実演では以下の構成で行った
– ジャグリングなどのショーを観た時の主観評価と生体情報による
感情推定にどのような関係があるかを明らかにする
• 実験環境
– 大学構内の大講義室
– 実験時の室温25度、湿度58%
ジャグリングを観てもらった後に
– 実験協力者は本学の男子学生５人
• 手順
実験の様子
セクション１
ステージ
アンケートに答えてもらう
１、実験協力者に脳波計、心拍計を装着
実験協力者
２、３分間安静後３つのセクション構成を実演
３、実演後アンケートによる主観評価
2017/2/14
10
2016年度卒業研究発表会
2016年度卒業研究発表会
セクション２
セクション３
難
易
構成A 度
難
易
度
難
易
度
小
中
大
実験協力者
11
2017/2/14
2016年度卒業研究発表会
12
2
2017/2/14
実験結果
実験結果
• 生体情報の解析
• 主観評価結果
– 算出された全感情データの合計値から各感情の割合を算出した
– セクションごとに感じた感情とその大きさを回答してもらった
主観評価が良い
5
5
3
2
1
0
3
2
1
0
Aさんのアンケート結果
70
70
0
0
セクション１
セクション３
13
2016年度卒業研究発表会
比率とベクトルでの解析の比較
15
70
60
60
50
40
主観評価 １
主観評価 ３
0
0
0.00
22.04
0.00
21.99
0
3
緊張
0.00
0.00
0.00
0.00
0
0
不愉快
12.00
0.00
32.99
0.00
0
0
退屈
66.65
0.61
45.66
0.60
3
0
眠気
21.33
5.78
21.34
6.06
0
0
落ち着き
0.00
25.81
0.00
25.56
0
0
相関係数
0.94
0.22
0.72
0.22
2017/2/14
セクション１においてベクトル分解での解析の方が主観評価１の
0.00 データとの相関係数の値が約３０％上昇した
0.18
0.00
0.18
0
2016年度卒業研究発表会
0
16
主観評価の信憑性
• 自分の感情を正確に理解できているかとは限らない
(
70
セクション３
(比率)
45.58
考察
主 5
観 4
評 3
価 2
「不愉快」の割合が減少し「退屈」の割合が増加した
5 1
段 0
階
）
Aさんのアンケート結果
感
情
の
割
合
（％）
セクション１
(比率)
0.00
驚き
2016年度卒業研究発表会
セクション３
(ベクトル)
45.56
ベクトルでの解析結果ではセクション１での
「退屈」が占める割合が大きくなっている
2017/2/14
14
2016年度卒業研究発表会
0.00
興奮
70
60
50
40
30
20
10
0
セクション３
比率とベクトルでの解析の比較
楽しい
比率
70
60
50
40
30
20
10
0
2017/2/14
セクション１
(ベクトル)
・下のグラフはどちらもAさんの解析結果
ベクトル分解
Bさんの解析結果
Aさんの解析結果
Bさんのアンケート結果
セクション１
2017/2/14
主観評価の低いセクション１では
「退屈」「眠気」といった感情が
高い割合を占めている
感 60
感 60
情 50つまり生体情報の解析結果に「楽しい」「興奮」が多く計測されていると
情 50
評価の高いステージ構成と言える
の 40
の 40
割 30
割 30
合 20
合 20
（％）10
（％）10
4
)
)
主
観
評
価
5
段
階
4
(
(
主
観
評
価
5
段
階
主観評価の高いセクション３では
「楽しい」「興奮」といった感情が
高い割合を占めている
主観評価が悪い
主観評価と解析結果が一致しても有意な感情分析
ではない可能性がある
主観評価により近い解析結果が出ているベクトル分解での
50
40
解析の方がステージ構成支援に適している
30
30
20
20
10
10
0
0
Aさんのベクトル分解での
解析結果
セクション１
2017/2/14
この問題を解決するためにEQの測定を行う
Aさんの比率での解析結果
セクション３
2016年度卒業研究発表会
17
2017/2/14
2016年度卒業研究発表会
18
3
2017/2/14
EQとは
EQ測定結果
• 実験協力者Aを対象にEQの測定を行った
「感情の識別」は自身の感情を客観的かつ
• 心の知能指数と言われている
意識的に感じ取ることが出来る能力である
– 自己や他人の感情の知覚や自己の感情のコントロール
をする知能のこと
• ４つの能力から構成されている
4つの能力
合計
感情の識別
24点
結果
高い
感情の利用
19点
普通
感情の理解
18点
普通
信憑性が高い主観評価と近い解析結果だった
感情の調整
18点
普通
ベクトル分解による手法はステージ構成支援に適していると言える
「感情の識別」の能力が高く主観評価の信憑性が高い
この能力が高い人の主観評価は信憑性が高いと
言えるのではないかと考えた
実験協力者AのEQ測定結果
４つの能力
2017/2/14
19
2016年度卒業研究発表会
2017/2/14
• 先ほどと同様の実験を５人に対して行った
• 主観評価をしてもらった後にEQの測定を行った
• ベクトル分解による手法の解析結果と主観評価の相関係数を算出した
「感情の識別」の能力と相関係数の値に高い
正の相関がみられた
EQと相関係数の関係
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
相
感情の推測結果が正しいので「感情の識別」の能力と解析結果
関
係
と主観評価の相関係数に高い正の相関がみられたと考えられる
数
2017/2/14
5
10
15
20
EQ 感情の識別
25
20
生体情報を用いるメリット
EQ測定結果と実験結果の関係
0
2016年度卒業研究発表会
• 「感情の識別」の能力が高い人の主観評価の信憑性は高い
– 能力が高い人の主観評価をもとにステージ構成を行えばよい
– 生体情報を用いた解析を行う必要はない
今回EQの測定を行った結果「感情の識別」の能力が高いと言える人
は多いとは言えない
つまり「感情の識別」の能力が高い人を多く
集めるのは困難である
• 実験協力者１５人のEQの測定を行った
-「感情の識別」の能力が高い人は３人のみだった
-全体の20％ほどしかいなかった
30
2016年度卒業研究発表会
21
2017/2/14
生体情報を用いるメリット
2016年度卒業研究発表会
22
今後の課題
• 生体情報を用いる理由
• 脳波の扱い
– 本研究では脳波を定数として扱った
– 脳波は周波数的に測定されるもの
– スペクトル解析などの手法を用いて解析を行う
– EQの能力に関係なく感情の推測が出来る
– よい細かな感情の推測が可能
– 時間による感情の変化も確認出来る
• 反応潜時の問題
– 心拍などの生体情報は刺激を受けてから反応が現れるのに時間差がある[10]
– 感情推測の精度を高めるためには時間差を考慮する必要がある
生体情報を用いることで主観評価だけでは
分からないことを測定出来る
• 実際のステージ構成にむけて
– 生体情報を用いた感情推測の結果をどのように利用するか
[10]廣田昭久,小川時洋,松田いづみ,高橋則美.”隠匿情報検査時に生じる自律神経系反応の生起機
序モデル”,生理心理学と精神生理学,2009,27巻,1号,p17-34
2017/2/14
2016年度卒業研究発表会
23
2017/2/14
2016年度卒業研究発表会
24
4
2017/2/14
引用
[１]坂松 春香、鎌田 恵介、佐々木 槙吾、佐藤 友斗、高橋 啓伸、小倉 加奈代 、
ベッド B. ビスタ、高田 豊雄:複数の生体情報を用いた感情同定手法に基づく
MMDモデルを用いたセルフフィードバックインタフェースの提案,2015
[2]ニューロスカイジャパンの製品紹介
http://www.neurosky.jp/products
[3]スイッチサイエンスの製品紹介
https://www.switch-science.com/catalog/1135/
[4]James A. Russell :A Circumplex Model off Affect Journal of Personality and
Social Psychology 1980.vol 39,No.6 p1161-1178
[6]池田悠平.表情と生体情報を用いた感情推測方法の検討,卒業論文概要集.
芝浦工業大学,2015,第37号, p.99-100
[7]鈴木悠太, ロペス・ギヨーム, 高橋淳二:ウェアラブル環境における心拍変動解析に
おける電子機器の制御法,2010
[8]Francesco Moscatoほか, Continuous Monitoring of Cardiac Rhythms in Left
VentricularAssist Device Patients,2014
[9]山本純平,川添瑞木,中澤仁,高汐一紀,徳田英幸,MOLMOD:生体情報を用いた雰囲
気の 取得手法の構築、社団法人 電子通信情報学会
[10]廣田昭久,小川時洋,松田いづみ,高橋則美.”隠匿情報検査時に生じる自律神経系反応の生起機
ご清聴ありがとうございました
序モデル”,生理心理学と精神生理学,2009,27巻,1号,p17-34
2017/2/14
2016年度卒業研究発表会
25
2017/2/14
2016年度卒業研究発表会
26
5
© Copyright 2024 ExpyDoc
