CV輪講
Simultaneous Segmentation and 3D
Pose Estimation of Humans using Dynamic
Graph-Cuts
池村 翔
はじめに

論文




M.Bray, P.Kohli, and P.H.S.Torr
Pose Cut :
Simultaneous Segmentation and 3D Pose Estimation of
Humans using Dynamic Graph-Cuts
ECCV2006
人のセグメンテーションと3D姿勢推定
Pose Specific MRF

グラフカットによるMRFの最適化


MRFに事前知識として姿勢モデルを導入
Dynamic Graph Cutsを用いて高速に最適化
従来のエネルギー関数（1/3）
xi = {segment1, …, segmentk}
for instance {obj, bkg}
コントラスト項
ij(xi, xj)
データ項
i(D|xi)
従来のエネルギー関数（2/3）
データ項
コントラスト項
エネルギー関数の最小化
Data (D)
尤度
Ising Model
x* =
コントラスト項
セグメンテーション
従来のエネルギー関数（3/3）
データ項
コントラスト項
エネルギー関数の最小化
Data (D)
尤度
Ising Model
非現実的な
セグメンテーション結果
x* =
コントラスト項
セグメンテーション
Shape-Priors and Segmentation

OBJ-CUT [Kumar et al., CVPR ’05]



形状モデル: Layered Pictorial Structure (LPS)
LPSのパーツごとの学習
高精度なセグメンテーション結果
=
+
Layer 1
Layer 2
Spatial Layout
(Pairwise Configuration)
Shape Priors の問題点




膨大なデータセットによる学習が必要
複雑な問題には不可能(人)
複数の見え方
姿勢パラメータの推定
Stickman モデル

26自由度


姿勢を正確に表現
膨大なデータセットによる学習が不要
Pose-specific MRF（1/3）
Pose-specific MRF（2/3）
エネルギー
最小化
データ項
コントラスト項
姿勢モデル
距離変換
Potts model
Pose-specific MRF（3/3）
エネルギー
最小化
データ項
コントラスト項
Potts model
姿勢モデル
どのように
өを決定するか?
姿勢推定問題の定式化
姿勢推定問題の定式化
姿勢推定の問題点
Let F(ө) =
計算コストが増大:
F(ө) の計算を繰り返し行う必要がある
dynamic graph cut algorithm
[Kohli&Torr, ICCV 2005]
Dynamic Graph Cuts
solve
A and B
similar
differences
between
A and B
xa
PB*
Simpler
problem
20 msec
xb
400 msec
セグメンテーション結果
セグメンテーション，3次元姿勢推定結果（1/2）
セグメンテーション，3次元姿勢推定結果（2/2）
おわりに

文献調査