スライド - 徳島大学・任研究室

顔表情認識のための顔特徴点抽出
徳島大学大学院工学研究科
長野信男
研究の背景
人同士のコミュニケーションは言語情報が中心
言語情報
非言語情報
視覚・聴覚等の非言語情報も利用
会話の内容を総合的に理解し，コミュニケーションが成立
研究の背景
人と機械のコミュニケーションの場合
言語情報
非言語情報
言語情報のみの利用
会話の意味解釈に不十分
表情，声調，態度などの非言語情報を利用した
会話理解システムの開発が望まれている
研究の目的
感情が認識できれば会話文の意味理解が可能
機械と今以上の高度なコミュニケーションをとることが
可能
表情を認識し，感情を推定する会話理解システムを構築
前段階として，
入力画像から顔特徴点抽出
表色系（１/２）
RGB表色系
光の３原色である
R（レッド）,G（グリーン）,
B（ブルー）
で表現
HSV表色系
光の３属性である
色相，彩度，明度
で表現
表色系（２/２）
YIQ表色系
• 輝度情報と色差情報に分離することができる
表色系の一つ
• TV放送の規格としてNTSC方式が採用
0.114  R 
 Y   0.299 0.587
  
 
I

0
.
596

0
.
274

0
.
322
  
 G 
 Q   0.211  0.522 0.311  B 
  
 
Y ：輝度信号
I，Q：色差信号
顔領域抽出
人間の肌
• 人種・民族の多様性にも関わらず色相が一定
• 一般的な背景よりも比較的彩度が高い
修正HSV変換を用いて肌領域の抽出
修正HSV変換
顔領域抽出のために，松橋らによって
HSV表色系に改良が加えられたもの
修正HSV変換
入力画像
色相
彩度
明度
顔領域抽出
人間の肌は一般的な背景よりも彩度が高い
色相成分より肌領域候補を抽出
彩度成分を用いて背景を分離
服は肌より彩度が高い
服装の分離
顔器官抽出
表情の変化に重要
目，眉，口を抽出
目領域抽出
• 修正HSV変換時に生じるホールを使用
ホールの分布は個人差が大きい
• 彩度と明度の差を解析することで抽出
輪郭点が正確に抽出できない
• 明度成分にエッジ検出を施し抽出
明度成分
エッジ検出
眉領域抽出
• 帽子や髪で隠れていれば抽出は不可能
眉候補の有無の判定をし，存在していれば抽出処理続行
2値化
明度成分
エッジ検出
口領域抽出
• YIQ表色系Q成分を用いて抽出
ＹＩＱ表色系Ｑ成分
頬や鼻と誤認識してしまう可能性
顔の正中線情報を使用
特徴点抽出
• 画像中から抽出する特徴点以外に，目頭間の中心
点を顔の中心点と定め使用
• 表情による変化が少ない目尻間の距離値を用いて
正規化
評価実験（１/２）
入力画像
• 人数１７人
• １人につき７種類の表情
• 合計２５２枚
評価方法
抽出成功数
抽出成功率＝
入力画像数
７表情
•
•
•
•
無表情
幸福 • 恐怖
驚き • 悲しみ
嫌悪 • 怒り
評価実験（２/２）
抽出領域
成功率
顔領域抽出
目領域抽出
99%
92%
眉領域抽出
81%
口領域抽出
81%
無表情
幸福
驚き
嫌悪
恐怖
悲しみ
怒り
顔領域抽出 100%
100
%
100
%
96%
100
%
100
%
100%
目領域抽出 100%
100 100 92%
%
%
75% 75% 75%
83%
92%
75%
83%
92%
75%
眉領域抽出
口領域抽出
92%
まとめと今後の課題
まとめ
• 顔表情認識の前段階として顔特徴点の抽出を行い，
顔領域抽出についてほぼ100％，各顔器官の抽出
においても一定の結果を得ることに成功
今後の課題
• 異なる条件下での実験
• 抽出成功率の向上
• 表情認識部の構築

Download Report