HOG特徴に基づく単眼画像からの人体3次元姿勢推定

HOG特徴に基づく
単眼画像からの人体3次元姿勢推定
神戸大学工学研究科情報知能学専攻
大西克則
www.***.com
研究背景
人間を見るビジョン技術のニーズが高まっている
人体の姿勢推定
 画像監視
 ロボットとのインタラクション
 ゲーム，映画等のエンターテインメント
仮想世界の構築
人体全身の姿勢推定
ハードウェアの進歩：2D→3D
www.***.com
研究目的
３次元姿勢推定方法
モーションキャプチャ
身体の動きのデータを正確に収集できる
問題点
 体にマーカを装着する
 複数個のカメラに囲まれた環境での撮影
単眼カメラからの姿勢推定
www.***.com
従来手法
画像の人体特徴抽出方法
シルエット画像を用いる
体の変形等により隠れ部分が発生する
(自己オクルージョン)に弱い
体の輪郭だけではなく
内部のエッジ情報も考慮した特徴量が必要
www.***.com
HOG特徴
 HOG (Histograms of Oriented Gradients)
N.Dalal and B.Triggs，” Histograms of Oriented Gradients for Human Detection”, CVPR
2005
 従来，人や物体の検出に用いられてきた特徴量
 内部のエッジ情報も考慮
輝度勾配を計算
m ( x, y ) 
f x ( x, y ) 2  f y ( x, y ) 2
 ( x, y )  t an1
入力画像
f y ( x, y )
f x ( x, y )
 f x ( x, y )  I ( x  1, y )  I ( x  1, y )

 f y ( x, y )  I ( x, y  1)  I ( x, y  1)
輝度勾配画像
www.***.com
HOG特徴
勾配方向を
9方向に量子化
v  [hi , j , hi 1, j ,  , hi  2, j  2 ]
hi , j 
hi , j
v
2
2
 2
照明や影の影響を受けにくい
局所的な幾何学変化に頑健
www.***.com
PCAによる背景領域の次元削減
 HOGは画像全体の特徴量であり，背景領域にも不必要な特徴が多く存在
する
 人物領域の重要な領域のみ特徴量を使用したい
HOGのブロック毎にPCAを行う
背景領域
人物領域
大きく次元削減
あまり
削減されない
PCA
特徴次元
高
低
www.***.com
人体3Dモデル
人体は多関節物体であり，様々な形に変形する
各関節間の体節部分は剛体とみなせる
→関節角を与えることで人体が表現可能
関節角を３次元人体モデル
の特徴量とする
画像から関節角を推定することで
姿勢推定を行う
www.***.com
姿勢推定方法
回帰分析に基づく姿勢推定
３Dモデル特徴： y
画像特徴： x
y  Ax  ε
変換行列Aは最小二乗推定により決定する
X  (x1 , x2 ,, xn )
Y  (y1 , y 2 ,, y n )
学習データをn個用意
A : arg min AX  Y
2
A
www.***.com
実験条件
 一般的な家庭用カメラを用いて人体を撮影
 人体を水平方向に回転させ，８方向から撮影する
 直立，歩く，走る，手を上げる，手を広げる，の５姿勢
 学習データ:240枚
テストデータ:123枚
 従来手法であるシルエットの輪郭から抽出される Shape Contexts 特徴と
の比較
 評価は推定誤差で行う
www.***.com
実験結果
走る
歩く
手を広げる
手を上げる
www.***.com
評価
25
23.80
推定誤差(角度)
23
21
19.12
19
18.44
17
15
Shape Contexts
HOG
Block PCA
従来手法と比較すると，推定誤差が約5.35度減少
www.***.com
まとめと今後の予定
まとめ
 シルエット画像ではなく，HOG特徴を用いた３次元姿勢推
定を行った
 ブロック毎にPCAをすることで，背景領域の特徴次元を削
減した
 従来手法と比較すると，推定誤差が約5.35度減少
今後の予定
 姿勢推定の方法を改良する
www.***.com
ご静聴ありがとうございました
www.***.com
Shape Contexts
 シルエット画像から輪郭を離散点で表す
 各点に対して逆log-polarマッピングを行い，参照している点から近い点を
細かく，遠い点を粗く参照する
 1点に対して60次元ヒストグラム特徴
www.***.com
特徴抽出
画像数×特徴点数次元
60次元
Shape Contexts 特徴量を抽出
K-meansによるベクトル量子化
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
Shape Contexts 特徴空間 (60次元)
www.***.com
各パラメータの値
画像サイズ:150×200画素
HOG特徴
 セルサイズ:10×10画素
 ブロックサイズ:3×3セル
 特徴次元:18954
 PCA(累積寄与率90%)後の次元:4867
人体3次元モデル特徴次元:24
www.***.com
実験データの詳細
(a) 学習データと同じ条件で撮影された画像
(b) ノイズが多い画像
(c) http://www.nada.kth.se/~hedvig/data.html のデータ
www.***.com
失敗例
www.***.com
処理時間
実験環境
Windows XP
Intel(R) Core(TM)2 CPU 6600
2.4GHz， 2.0GB RAM
学習(sec)
推定(sec)
Shape Contexts (従来手法)
20.53
0.07
HOG
27.59
0.33
HOG (PCA)
290.03
1.34
www.***.com
評価
35
Shape Contexts
HOG
Block PCA
推定誤差 (角度)
30
25
20
15
10
5
0
直立
手を上げる手を広げる
歩く
走る
www.***.com

Download Report