Bottom-UpとTop-Down アプローチの統合による

Bottom-UpとTop-Down アプローチの
統合による
単眼画像からの人体3次元姿勢推定
神戸大学
大西克則，滝口哲也，有木康雄
研究背景
人間を見るビジョン技術のニーズが高まっている
人体の姿勢推定
 画像監視
 ロボットとのインタラクション
 ゲーム，映画等のエンターテインメント
仮想世界の構築
人体全身の姿勢推定
www.***.com
研究目的
３次元姿勢推定方法
モーションキャプチャ
身体の動きのデータを正確に収集できる
問題点
 体にマーカを装着する
 複数個のカメラに囲まれた環境での撮影
単眼カメラからの姿勢推定
CMU Graphics Lab Motion Capture Database (http://mocap.cs.cmu.edu/)
www.***.com
画像特徴
画像の人体特徴抽出方法：シルエット画像
体の変形等により隠れ部分が発生する(自己オ
クルージョン)に弱い
体の輪郭だけではなく
内部のエッジ情報も考慮した特徴量が必要
 HOG (Histograms of Oriented Gradients)
N.Dalal and B.Triggs，CVPR 2005
 従来，人や物体の検出に用いられてきた特徴量
 物体の大まかな形状を表すことが可能
 内部のエッジ情報も考慮
www.***.com
人体3Dモデル
 人体は多関節物体であり，様々な形に変形する
 各関節間の体節部分は剛体とみなせる
→関節角を与えることで人体が表現可能
モーションキャプチャシステム
体にマーカを装着し，人体の関節角を推定
画像からマーカを装着せず
関節角を推定することで姿勢推定を行う
CMU Graphics Lab Motion Capture Database (http://mocap.cs.cmu.edu/)
www.***.com
姿勢推定方法
Bottom-up アプローチ
2D入力画像を観測し，
画像特徴から3D姿勢を推定する
高速
未学習の姿勢にも柔軟に推定
学習データに強く依存
学習データと極端に異なる入力に
は誤差が大きくなる
Top-down アプローチ
3D姿勢を作り出し，入力画像と
比較することにより推定する
未知の姿勢でも推定可能
初期値の決定が困難
計算量が膨大
双方向からアプローチすることにより
精度を向上させる
www.***.com
姿勢推定方法
Bottom-up で大まかな姿勢の推定
Top-down で修正を行い，精度を向上させる
Bottom-up
入力画像
z
評価
3D姿勢
x
複数生成
3D姿勢
x
出力
www.***.com
Bottom-up アプローチ
2D画像→3D姿勢
重回帰分析による推定
３D人体モデルの関節：
画像特徴（HOG）：
z
x
x  Rz  
変換行列Rは最小二乗推定により決定する
X  ( x1 , x2 ,, xn )
Z  ( z1 , z2 ,, zn )
学習データをn個用意
R : arg min RZ  X
2
R
www.***.com
Top-down アプローチ
Particle Filter （Condensation法） [1998:Isard,Blake]
粒子（particle）：状態量と尤度を持つ
多数の粒子によって確率分布を離散的に近似
粒子の状態空間と尤度評価
状態量：３D人体モデルの関節 x(t ) (38次元ベクトル)
状態量には人体の関節可動域による制限がある
最も尤度の高い粒子を姿勢として決定する
www.***.com
Top-down アプローチ
粒子の尤度評価
各粒子の尤度：全粒子からCGで2D画像に変換し，シルエット画像を生成
粒子から生成された画像と、入力を画素単位で一致度を測る
Bottom-upで初期状態を推定し，
その付近に粒子を生成
繰り返し推定を行うことで
状態を収束させる
Bottom-up
前状態の
による初期値
重み付き平均
真値
www.***.com
実験条件
 CMU Graphics Lab Motion Capture Database で
公開されているモーションキャプチャデータベースを使用
 モーションキャプチャデータからCG画像を生成し，学習に用いる
 歩く，走る，キックの3種類の姿勢を8方向から見た画像を使用
 学習データ:1265枚を 8 方向→10120枚
www.***.com
実験結果
入力画像
Bottom-up のみ
Bottom-up → Top-down
www.***.com
まとめと今後の予定
 まとめ
 Top-down ではパーティクルフィルタを用いることで，真値に収束
画像によっては収束しない場合がある
 特徴量，手法
 今後の予定
 データ数を増やして実験
 様々な姿勢に対応
 Bottom-up の方法の改良
 特徴量の改良
www.***.com
ご静聴ありがとうございました
www.***.com
HOG特徴
 HOG (Histograms of Oriented Gradients) N.Dalal and B.Triggs，CVPR 2005
 従来，人や物体の検出に用いられてきた特徴量
 物体の大まかな形状を表すことが可能
 内部のエッジ情報も考慮
輝度勾配を計算
m ( x, y ) 
f x ( x, y ) 2  f y ( x, y ) 2
 ( x, y )  t an1
入力画像
f y ( x, y )
f x ( x, y )
 f x ( x, y )  I ( x  1, y )  I ( x  1, y )

 f y ( x, y )  I ( x, y  1)  I ( x, y  1)
輝度勾配画像
www.***.com
HOG特徴
勾配方向を
9方向に量子化
v  [hi , j , hi 1, j ,  , hi  2, j  2 ]
hi , j 
hi , j
v
2
2
 2
照明や影の影響を受けにくい
局所的な幾何学変化に頑健
www.***.com
各パラメータの値
画像サイズ:70×130画素
HOG特徴
 セルサイズ:9×9画素
 ブロックサイズ:3×3セル
 特徴次元:8748
人体3次元モデル特徴次元:38
粒子数：800
www.***.com
評価
25
23.80
推定誤差(角度)
23
21
19.12
19
18.44
17
15
Shape Contexts
HOG
Block PCA
従来手法と比較すると，推定誤差が約5.35度減少
www.***.com

Download Report