AAMにおけるパラメータの回帰分析による視線推定

ＡＡＭと回帰分析による視線、顔方向同時推定
神戸大学工学部情報知能工学科
有木研究室
高谷学
研究背景
視線推定技術への期待
これは
誰？
それはどうい
う意味？
高精度な推定技術への期待
www.***.com
研究内容
単眼カメラによる視線推定
視線角度が１０°です。
www.***.com
従来手法の問題点
顔方向推定誤差が視線に影響
従来手法
顔領域探索
顔特徴点探索
本手法
顔領域探索
顔特徴点探索
誤差
顔方向推定
顔方向推定
視線方向推定
視線方向推定
www.***.com
特徴量抽出
Active Appearance Models[1]
・顔の形状とテクスチャの変化をモデル化
・低次元のベクトル c によるモデルの表現
c の第１成分の変化
（顔の水平方向）
c の第２成分の変化
（ノイズ）
[1] T.F.Cootes “Active Appearance Models” European Conference on Computer Vision (1998)
www.***.com
Active Appearance Model
s(c)  s  Psbs
Active Appearance Model
PCA
Shape(形状) （x、yは特徴点座標）
s  (x1 , y1 ,, xn , y n )T
PCA
s(c)  s  Ps Ws1Qsc
 Wsb s   Qs 

  
 b    Q c
 g   g
PCA
平均形状での顔領域内の
各画素の輝度(テクスチャ)
g  (g1 ,gm )T
g(c)  g  Pgbg
g(c)  g  PgQgc
s 平均形状
g 平均テクスチャ
Ws 単位を揃えるための行列
Ps , Pg , Qs , Qg PCAして得られた正規直交行列
c
Combinedパラメータベクトル
本研究ではこのパラメータベクトルを特徴量として顔、視
www.***.com
線方向の推定を行う
顔、視線同時推定
Cootesの手法を視線方向に拡張[2]
特徴量 c と顔、視線方向の関係をモデル化
Regression model
 顔水平方向
 視線水平方向
c  c0  c1 cos  c2 sin   c3
最小二乗法で係数ベクトル c0 ～ c4 を学習
www.***.com
実験条件
実験データ
被験者数
1人
学習データ数
35枚/人
テストデータ
125枚/人
解像度
640*480
顔角度
40°～-40°
視線角度
40°～-40°
Ishikawaらの手法[3]と比較
視線方向の平均推定誤差、正解率で評価
[3]T.Ishikawa “Passive Driver Gaze Tracking with Active Appearance Models” CMU(
2004 )
www.***.com
実験結果
平均誤差
6
Average error ( deg )
5
4
3
2
1
0
Conventional
Proposed
Method
www.***.com
実験結果
正解率
60
Accuracy rate ( % )
50
40
30
20
10
0
Conventional
Proposed
Method
www.***.com
実験条件（追加実験）
実験データ
被験者数
４人
学習データ数
63枚/人
テストデータ
252枚/人
解像度
640*480
顔角度
20°～-20°
視線角度
20°～-20°
Ishikawaらの手法[3]と比較評価
視線水平方向の正解率で評価
[3]T.Ishikawa “Passive Driver Gaze Tracking with Active Appearance Models” CMU(
2004 )
www.***.com
実験結果
正解率
60
Accuracy rate(%)
50
40
30
20
10
0
Conventional
Porposed
Method
www.***.com
デモ
www.***.com
ご静聴ありがとうございました
Thanks to your kind attention.
www.***.com
www.***.com
[補足]回帰式の導出
特徴量
c と顔方向 
、視線方向  のモデル化
Face
Face
Rotation
R
Feature point
r
β
xb
α
Image plane
β＋θ
xa
c  x  xa  xb
α＋Φ
Image plane
www.***.com
[補足]回帰式の導出
変位量  x の計算
x  r sin   cos(   )  r cos  sin(   )
 R sin  cos  R cos sin   R sin   r sin(   )
回帰式の提案
ただし、      
c  c0  c1 cos  c2 sin   c3 cos   c4 sin  
最小二乗法で回帰係数 c0 ～ c4 を学習
www.***.com
[補足]回帰式の提案
回帰式の提案
Nonlinear model
 顔水平方向
 視線水平方向
c  c0  c1 cos  c2 sin   c3 cos  c4 sin 
Linear model
c  c0  c1  c2
Semilinear model
c  c0  c1 cos  c2 sin   c3
回帰係数ベクトル c0 ～ c4 を最小二乗法で学習
www.***.com
[補足]実験結果（追加実験）
平均誤差
5
4.5
Average error ( deg )
4
3.5
3
2.5
2
1.5
1
0.5
0
Conventional
NonLinear
Linear
Proposed
Method
www.***.com
[補足]実験結果（追加実験）
正解率
70
60
正解率 (%)
50
40
30
20
10
0
Conventional
NonLinear
Method
Linear
Porposed
www.***.com
[補足]実験結果（追加実験）
平均誤差（被験者ごと）
9
8
Average error (deg)
7
6
5
Conventional
NonLinear
4
Linear
Proposed
3
2
1
0
m06
m08
m09
m10
Subject
www.***.com
[補足]実験結果（追加実験）
正解率（被験者ごと）
100
90
80
Accuracy rate(%)
70
60
Conventional
50
NonLinear
Linear
40
Porposed
30
20
10
0
m06
m08
m09
m10
Subject
www.***.com

Download Report