映像刺激による表情認識
A Study of Facial-Expression Change in Response to Visual Stimulus
廉田研究室
1DS04207K 森山加奈子
研究背景
Web
映像
送り手
送り手
•言葉による反応
•全体の反応
受け手
受け手
•表情による反応
•細かい反応
新規性
• 従来･･･大量のデータからの学習
新規･･･顔部品の変化からの学習
• 顔の移動･回転の補正
斜め
後
前
有用性
• 映像と表情の相関性
• Webカメラ･テレビカメラの相手の表情
• ビデオカメラの表情認識機能
表情
表情の基本カテゴリ
喜び・驚き・恐怖・怒り・嫌悪・感動・軽蔑
今回
喜び・感動
実験方法
• Webカメラで記録
• 顔認識技術を使用
• 顔部品12点の変化を観察
回転の補正
①Xr/Xlを計算
1.4
②顔の傾きの角度φを求める
1.3
1.2
Xr/Xl
1.1
1
0.9
0.8
0.7
0.6
③角度を元に座標値を補正
Xl+＝Xl/cosφ
Xr+＝Xr/cosφ
（Xl+,Xr+ 補正後の座標値）
-30
-15
0
15
顔の傾きの角度
30
40
50
移動の補正
Tゾーンに注目
Xw+
Xw
Xh+
Xh
Tゾーン横変化率
(Xw+/Xw)
Tゾーン縦変化率
(Xh+/Xh)
移動前
移動後
笑顔の考察
口面積に注目
変化率(%)
口面積の変化
240
220
200
180
160
140
120
100
80
0.2
0.4
0.6
0.8
1
時間（秒）
1.2
1.4
被験者A
被験者B
被験者C
被験者D
被験者E
被験者F
被験者G
被験者H
被験者I
被験者J
笑顔の閾値
口面積の増加率
150％以上
感動の考察
まばたきの回数に注目
目の縦横比
0.4
0.35
・目の縦横比が0.2以下で１回
0.3
系列1
系列2
系列3
系列4
系列5
系列6
系列7
系列8
系列9
系列10
・回数を相対化
比率
0.25
0.2
0.15
0.1
0.05
0
1
2
3
4
5
6
まばたきの時間経過
7
まばたきの回数が50以下の後２００以上
で感動
8
9
フィールドテスト（笑顔）
映像鑑賞中の笑顔の割合
90%
80%
70%
割合
60%
50%
40%
30%
20%
10%
0%
1
2
3
4
5
6
7
8
9 10 11 12 13 14 15 16 17 18 19 20 21 22
時間(分)
フィールドテスト（感動）
時間
被験者A
被験者B
被験者C
被験者D
被験者E
被験者F
26
194
300
140
57
95
47
27
129
233
154
325
155
200
28
63
14
59
38
42
111
29
128
350
109
400
200
105
30
63
43
43
25
69
110
31
150
367
233
240
100
87
32
73
45
120
50
122
110
33
109
100
69
167
105
100
34
133
80
145
120
83
114
35
31
375
95
75
126
64
36
330
47
85
33
67
100
37
70
43
88
433
119
144
38
148
500
97
85
142
100
39
88
33
107
64
74
104
40
50
80
39
43
130
104
41
227
50
225
700
38
104
42
185
800
119
29
50
88
43
51
200
91
500
420
100
まとめ
• 笑顔の閾値
元の口面積から150％以上増加
• 感動の閾値
まばたきの回数の相対化が50以下の後
200以上に変化