Bottom-UpとTop-Down アプローチの統合による

Bottom-UpとTop-Down アプローチの
組み合わせによる
単眼画像からの人体3次元姿勢推定
神戸大学
大西克則，滝口哲也，有木康雄
研究背景
人間を見るビジョン技術のニーズが高まっている
人体の姿勢推定
 画像監視
 ロボットとのインタラクション
 ゲーム，映画等のエンターテインメント
仮想世界の構築
人体全身の姿勢推定
www.***.com
研究目的
３次元姿勢推定方法
モーションキャプチャ
身体の動きのデータを正確に収集できる
問題点
 体にマーカを装着する
 複数個のカメラに囲まれた環境での撮影
画像情報に基づく姿勢推定
CMU Graphics Lab Motion Capture Database (http://mocap.cs.cmu.edu/)
www.***.com
人体の姿勢推定アプローチ
•Bottom-up アプローチ
事前知識
学習
2D画像
3Dボーンモデル
•Top-down アプローチ
2D入力画像
モデルを変形
フィッティング
3D人体モデル
www.***.com
姿勢推定方法
Bottom-up アプローチ
Top-down アプローチ
メリット
高速
メリット
いかなる姿勢でも推定可能
デメリット
学習データに強く依存
学習データと極端に異なる入力に
は誤差が大きくなる
デメリット
初期値の決定が困難
計算量が膨大
双方向からアプローチすることにより
精度を向上させる
www.***.com
姿勢推定方法
Bottom-up で大まかな姿勢の推定
Top-down で修正を行い，精度を向上させる
3D姿勢を変形
3D姿勢(初期値)
変形させた3D姿勢
x
x
Top-down
Bottom-up
入力画像
z
尤度評価
出力(3D人体姿勢)
x
www.***.com
Bottom-up アプローチ
2D画像→3D姿勢
重回帰分析による推定
３D人体モデル特徴：
画像特徴：
z
x
x  Rz  
変換行列Rは最小二乗推定により決定する
X  ( x1 , x2 ,, xn )
Z  ( z1 , z2 ,, zn )
学習データをn個用意
R : arg min RZ  X
2
R
www.***.com
Top-down アプローチ
Particle Filter （Condensation法） [1998:Isard,Blake]
粒子（particle）：状態量と尤度を持つ
多数の粒子によって確率分布を離散的に近似
粒子の状態空間と尤度評価
状態量：３D人体モデルの特徴(56次元ベクトル)に
PCAをかけたもの x (t ) (14次元)
最も尤度の高い粒子を姿勢として決定する
www.***.com
Top-down アプローチ
粒子の尤度評価
各粒子の尤度：全粒子からCGで2D画像を生成
粒子から生成されたCG画像から特徴量(ヒストグラム)を抽出
し、入力画像とヒストグラムインタセクションにより尤度を測る
Bottom-upで初期状態を推定し，
その付近に粒子を生成
繰り返し推定を行うことで
状態を収束させる
Bottom-up
前状態の
による初期値
重み付き平均
真値
www.***.com
画像特徴
画像の人体特徴抽出方法：シルエット画像
体の変形等により隠れ部分が発生する(自己オ
クルージョン)に弱い
体の輪郭だけではなく
内部のエッジ情報も考慮した特徴量が必要
 HOG (Histograms of Oriented Gradients)
N.Dalal and B.Triggs，CVPR 2005
 従来，人や物体の検出に用いられてきた特徴量
 物体の大まかな形状を表すことが可能
 HOGのブロック特徴に対しBoFしたものを用いる
www.***.com
人体3Dモデル
 人体は多関節物体であり，様々な形に変形する
 各関節間の体節部分は剛体とみなせる
→関節角を与えることで人体が表現可能
人体の関節角度を特徴ベクトルとして用いる
画像からマーカを装着せず
関節角を推定することで姿勢推定を行う
CMU Graphics Lab Motion Capture Database (http://mocap.cs.cmu.edu/)
www.***.com
実験条件
 CMU Graphics Lab Motion Capture Database で
公開されているモーションキャプチャデータベースを使用
 モーションキャプチャデータからCG画像を生成し，学習に用いる
 歩く，走る，キックの3種類の姿勢を8方向から見た画像を使用
 学習データ:1265枚を 8 方向→10120枚
 テストデータ：「歩く」，「走る」の２種類の姿勢．合計140枚
 パーティクルの数は800，BoFによる画像特徴次元数は500
www.***.com
評価実験
Root mean square(RMS) error で評価
1
D( ,ˆ) 
M

M
i 1
(i  ˆi ) mod 180
17
RMS error(degree)
16
15
14
13
12
11
10
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
iteration
www.***.com
実験結果
入力画像
Bottom-up のみ
Bottom-up → Top-down
www.***.com
まとめと今後の予定
 まとめ
 Bottom-up, Top-down を組み合わせることで精度を向上させた
 特徴量にはHOGのBoF
 今後の予定
 Bottom-up の方法の改良
 Top-down の高速化
 ＣＧの生成に計算コストがかかる
www.***.com
ご静聴ありがとうございました
www.***.com
マーカレスモーションキャプチャシステム
単眼画像から得られる情報のみで姿勢推定を行う
•特殊な環境・装置が不要
•応用範囲の拡大
従来手法
•Bottom-up アプローチ
学習ベースの推定手法
•Top-down アプローチ
モデルフィッティング
人体モデル
www.***.com
HOG特徴
 HOG (Histograms of Oriented Gradients) N.Dalal and B.Triggs，CVPR 2005
 従来，人や物体の検出に用いられてきた特徴量
 物体の大まかな形状を表すことが可能
 内部のエッジ情報も考慮
輝度勾配を計算
m ( x, y ) 
f x ( x, y ) 2  f y ( x, y ) 2
 ( x, y )  t an1
入力画像
f y ( x, y )
f x ( x, y )
 f x ( x, y )  I ( x  1, y )  I ( x  1, y )

 f y ( x, y )  I ( x, y  1)  I ( x, y  1)
輝度勾配画像
www.***.com
HOG特徴
勾配方向を
9方向に量子化
v  [hi , j , hi 1, j ,  , hi  2, j  2 ]
hi , j 
hi , j
v
2
2
 2
照明や影の影響を受けにくい
局所的な幾何学変化に頑健
www.***.com
HOGにBoF
画像数×特徴点数次元
HOGブロック特徴(81次元)
+ブロックのポジション(2次元)
=83次元
K-meansによるベクトル量子化
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
…
HOG特徴空間 (83次元)
www.***.com
各パラメータの値
画像サイズ:70×130画素
HOG特徴
 セルサイズ:9×9画素
 ブロックサイズ:3×3セル
 特徴次元:8748
BoFで500次元に量子化
人体3次元モデル特徴次元:56
 PCAをすることで14次元
粒子数：800
www.***.com

Download Report