スライド - 徳島大学・任研究室

顔表情認識のための顔特徴点抽出
徳島大学 大学院 工学研究科
長野 信男
研究の背景
人同士のコミュニケーションは言語情報が中心
言語情報
非言語情報
視覚・聴覚等の非言語情報も利用
会話の内容を総合的に理解し,コミュニケーションが成立
研究の背景
人と機械のコミュニケーションの場合
言語情報
非言語情報
言語情報のみの利用
会話の意味解釈に不十分
表情 ,声調 ,態度などの非言語情報を利用した
会話理解システムの開発が望まれている
研究の目的
感情が認識できれば会話文の意味理解が可能
機械と今以上の高度なコミュニケーションをとることが
可能
表情を認識し,感情を推定する会話理解システムを構築
前段階として,
入力画像から顔特徴点抽出
表色系(1/2)
RGB表色系
光の3原色である
R(レッド),G(グリーン),
B(ブルー)
で表現
HSV表色系
光の3属性である
色相,彩度,明度
で表現
表色系(2/2)
YIQ表色系
• 輝度情報と色差情報に分離することができる
表色系の一つ
• TV放送の規格としてNTSC方式が採用
0.114  R 
 Y   0.299 0.587
  
 
I

0
.
596

0
.
274

0
.
322
  
 G 
 Q   0.211  0.522 0.311  B 
  
 
Y : 輝度信号
I,Q: 色差信号
顔領域抽出
人間の肌
• 人種・民族の多様性にも関わらず色相が一定
• 一般的な背景よりも比較的彩度が高い
修正HSV変換を用いて肌領域の抽出
修正HSV変換
顔領域抽出のために,松橋らによって
HSV表色系に改良が加えられたもの
修正HSV変換
入力画像
色相
彩度
明度
顔領域抽出
人間の肌は一般的な背景よりも彩度が高い
色相成分より肌領域候補を抽出
彩度成分を用いて背景を分離
服は肌より彩度が高い
服装の分離
顔器官抽出
表情の変化に重要
目,眉,口を抽出
目領域抽出
• 修正HSV変換時に生じるホールを使用
ホールの分布は個人差が大きい
• 彩度と明度の差を解析することで抽出
輪郭点が正確に抽出できない
• 明度成分にエッジ検出を施し抽出
明度成分
エッジ検出
眉領域抽出
• 帽子や髪で隠れていれば抽出は不可能
眉候補の有無の判定をし,存在していれば抽出処理続行
2値化
明度成分
エッジ検出
口領域抽出
• YIQ表色系Q成分を用いて抽出
YIQ表色系 Q成分
頬や鼻と誤認識してしまう可能性
顔の正中線情報を使用
特徴点抽出
• 画像中から抽出する特徴点以外に,目頭間の中心
点を顔の中心点と定め使用
• 表情による変化が少ない目尻間の距離値を用いて
正規化
評価実験(1/2)
入力画像
• 人数 17人
• 1人につき7種類の表情
• 合計 252枚
評価方法
抽出成功数
抽出成功率=
入力画像数
7表情
•
•
•
•
無表情
幸福 • 恐怖
驚き • 悲しみ
嫌悪 • 怒り
評価実験(2/2)
抽出領域
成功率
顔領域抽出
目領域抽出
99%
92%
眉領域抽出
81%
口領域抽出
81%
無表情
幸福
驚き
嫌悪
恐怖
悲しみ
怒り
顔領域抽出 100%
100
%
100
%
96%
100
%
100
%
100%
目領域抽出 100%
100 100 92%
%
%
75% 75% 75%
83%
92%
75%
83%
92%
75%
眉領域抽出
口領域抽出
92%
まとめと今後の課題
まとめ
• 顔表情認識の前段階として顔特徴点の抽出を行い,
顔領域抽出についてほぼ100%,各顔器官の抽出
においても一定の結果を得ることに成功
今後の課題
• 異なる条件下での実験
• 抽出成功率の向上
• 表情認識部の構築