オクルージョンシーンにおける姿勢変化を伴った複数人体の
形状復元手法に関する研究
Studies on Shape Reconstruction for Multiple Human Bodies with Pose Change
in Occlusion Scenes
10D5201
池城和夫
指導教授
今村弘樹
SYNOPSIS
We present a shape reconstruction method for multiple human bodies in occlusion scenes. In this paper, we define occlusions as
three types. First type is a mutual-occlusion which occurs between multiple human. Second type is a self-occlusion which occurs on
single human body. Third type is a mutual-self-occlusion which occurs in a case when the self-occlusion which occurs in the
mutual-occlusion. In order to reconstruct shape of human bodies including these occlusions, we propose three processes. First
process is joint estimation for a shape reconstruction against the mutual occlusion. Second process is the human body parts
matching for a shape reconstruction against the self-occlusion. Third process is the human pose estimation for a shape
reconstruction against the mutual-self-occlusion. In the first process, we estimate human joint position by using rations of human
body dimension determined from statistical data and reassign human parts based on that human joint position. In the second
process, we match human body parts to human surface data except self-occlusion region by solving an optimization problem in a
parts shape registration. In the third process, we use temporal position-pose data of human body parts obtained from the human
body parts matching and estimate poses of human parts in mutual-self-occlusion region by approximating these poses with a linear
least square method. In order to evaluate effectiveness of our method, we evaluated shape reconstruction accuracy in simulation
experiments and confirmed behavior in experiments with actual human bodies. As a result, we found that our method is effective
against the occlusion scenes.
Keywords : Human shape reconstruction, human body parts matching, human pose estimation
1
はじめに
近年，三次元計測技術の発達に伴い，実物体の三次元
形状を計算機上に復元する研究が，CV・CG・VR などの
分野で盛んに行われている．その中でも，シーン内に実
在する人体の形状復元に関する研究は，教育，人間工学，
映像メディアなど，様々な分野への応用が期待されてい
る．特に，複数人体の形状復元は，自由視点でのスポー
ツ観戦を実現する Free-Viewpoint Video[1]の生成や，複数
人での能や舞踊などの無形文化財のデジタル保存 [2]への
適用が期待できることから，注目を浴びている．
人体形状の復元手法として，視体積交差法[3]や多視点ス
テレオ法[4]などが挙げられる．しかし，これらの手法では，
シーン内に複数の人体が存在し，且つ複数人体間にオク
ルージョンが生じている場合，オクルージョン領域の人
体形状を計測できないため，対象人体形状を復元するこ
とは原理的に不可能である．
そこで，本研究では，複数人体間に生じる相互オクル
ージョン領域，単人体上で生じる自己オクルージョン領
域，相互オクルージョン内において自己オクルージョン
が生じる相互・自己オクルージョン共有領域の 3 つのオ
クルージョン領域発生シーンを対象とした複数人体の形
状復元手法を提案する．
本手法では，まず，相互オクルージョン領域発生シー
ンへの対応として，計測されたオクルージョン領域外の
人体表面データから人体概形領域を抽出・細線化を行い，
人体寸法の統計データを用いて推定した関節点位置を基
にオクルージョン発生前の対象人体パーツを再配置する
ことで人体形状を復元する．次に，自己オクルージョン
領域発生シーンへの対応として，抽出した人体概形を細
線化・頭部位置検出を行い，計測された人体表面データ
に対し，対象人体パーツの従属関係を用いたパーツマッ
チングを行うことで人体形状を復元する．最後に，相互・
自己オクルージョン共有領域への対応として，相互・自
己オクルージョン共有領域発生前までに復元した人体パ
ーツの時系列姿勢データから，相互・自己オクルージョ
ン共有領域の人体姿勢を推定し，対象人体の形状パーツ
を推定された姿勢にあてはめることで人体形状を復元す
る．
2
提案手法
2.1 概要
まず，本研究の対象となるオクルージョン領域発生シ
ーンを図 1 に示す．図 1 に示すように，本研究では，1 対
の向かい合わせた Kinect センサを用いて人体形状を計測
し，複数人体間に生じる相互オクルージョン(図 1 上段)，
単人体上で生じる自己オクルージョン(図 1 中段)，相互・
自己オクルージョン共有領域(図 1 下段)を本研究の対象と
する．図 1 に示すように，これらのオクルージョン領域
が発生した場合，オクルージョン領域に面している人体
表面形状データの欠落が原因となり，人体領域とオクル
ージョン領域の境界が失われてしまう．そのため，三次
元ボクセル空間に復元される人体形状のボクセルデータ
には，複数人体間または単人体上でオクルージョン領域
を介した癒着が生じるという問題がある．さらに，相互・
自己オクルージョン共有領域の発生シーンにおいては，
ボクセルデータの癒着だけでなく，オクルージョン領域
図 1 本研究の対象シーン
図 2 人体表面データの完全欠落シーン
内の人体表面形状データが完全に欠落(図 2)するため，人
体の全周形状復元は特に困難となる．
上記した問題を解決するために，本研究では，以下の
3 つの処理を用いたオクルージョン発生時の人体形状復
元手法を提案する．
処理①. 人体寸法統計データを用いた関節位置推定による
形状復元
処理②. 人体パーツの従属関係を用いたパーツマッチング
による形状復元
処理③. 時系列データを用いた人体パーツ姿勢推定による
形状復元
次節から，上記 3 つの処理の詳細を述べる．
2.2 人体寸法統計データを用いた関節位置推定に
よる形状復元
本処理では，相互オクルージョン領域発生シーンにお
ける人体形状復元を実現する．本処理では，まず，図 3
に示すように，Kinect で計測された人体表面データ全点に
おいて半径𝑟の球体領域を設け，その領域内の人体ボクセ
ルデータを人体概形として抽出する．上記の処理により，
大まかにオクルージョン領域を除去し，各人体領域を分
離することができる．次に，抽出した人体概形を細線化
(a)オクルージョン発生シーン
(c)球体領域を用いた
人体概形領域抽出
(b)計測された人体表面
(d)抽出された人体概形領域
図 3 人体概形領域抽出
図 5 人体パーツ構成
し，AIST 人体寸法統計データ[5]から決定した人体寸法比
率(図 4)を用いて，細線化データの四肢部の人体関節点位
置を推定する．最後に，推定した関節点位置を基に，オ
クルージョン領域発生前に取得していた人体パーツ(図 5)
を細線化データ上に再配置することで，人体形状復元を
実現する．
2.3 人体パーツの従属関係を用いたパーツマッチ
ングによる形状復元
本処理では，自己オクルージョン領域発生シーンにお
ける人体形状復元を実現する．2.2 節で述べた処理では，
自己オクルージョン領域のような小さなオクルージョン
領域を除去するのは難しく，抽出される人体概形におい
ても，図 1 に示したような，オクルージョン領域を介し
た人体ボクセルデータの癒着が生じる．そのため，細線
化データも癒着してしまい，関節位置推定は困難である．
そこで本処理では，Kinect で計測されたオクルージョン
領域外の人体表面データに対し，図 5 で示した人体パー
ツをマッチングすることで，関節位置を推定せず直接的
に人体形状を復元する．図 5 で示した人体パーツにおい
て，各パーツは，関節点で繋がれ従属関係を持つ．例え
ば，頭部パーツと胸部パーツにおいては，頭部パーツが
親パーツ，胸部パーツが子パーツになる．このように，
自分よりも高い位置に関節点で繋がっているパーツが親
パーツになり，低い位置に繋がっているパーツが子パー
ツになる．本処理では，この各パーツ間の従属関係を用
いることで，各パーツのマッチング初期位置を決めるこ
とができる．つまり，親パーツがマッチングされれば，
親パーツと子パーツ間の関節点位置が決まり，自動的に
その関節点位置が子パーツのマッチング初期位置として
決まる．従って，本手法では，最も高い位置にある頭部
パーツから，胴体部パーツ(胸部・腹部)，四肢部パーツ(上
腕・前腕・大腿・下腿)の順にマッチングする．なお，本
処理では，2.2 節の処理で取得した人体概形の細線化デー
タの端点を頭部パーツマッチングの初期位置候補として
検出する．
ここで，人体パーツマッチング手法について述べる．
本処理では，まず，各パーツごとに𝑥，𝑦，𝑧軸それぞれ𝜑度
の分解能で全回転させたパーツ回転データ群(データ数
= (360 ⁄ 𝜑)3 )を用意する．次に，パーツマッチング初期位
置を中心とした半径 D の球体領域をマージン領域として
𝑙
𝑛
arg max 𝐸(𝐺𝑖 , 𝑀) = ∑ ∑ 𝑠(𝑔𝑗 , 𝑚𝑘 ) ∙ 𝑤
𝑖∈[1,𝑐]
1,
𝑠(𝑔𝑗 , 𝑚𝑘 ) = { 0,
−1,
図 4 人体寸法比率
(1)
𝑗=1 𝑘=1
𝑤=
‖𝑔𝑗 − 𝑚𝑘 ‖ ≤ 𝑉
‖𝑔𝑗 − 𝑚𝑘 ‖ > 𝑉
𝑔𝑗 ∈ ℎ
1
√2𝜋𝜎
𝑒𝑥𝑝 (−
𝑑
)
2𝜎 2
(2)
(3)
設け，その領域内においてマッチング初期位置を並進さ
せながら，式(1)~(3)を用いてパーツ回転データ群の中から
最適なパーツを抽出する．
本処理では，式(1)に示すように，パーツ回転データ群中
の𝑖番目のパーツ𝐺𝑖 と，Kinect で計測された人体表面𝑀を
入力としたエネルギー関数𝐸を定義し，エネルギー関数𝐸
を最大化させるパーツ𝐺𝑖 を最適なパーツとして抽出する．
式(1)のエネルギー関数𝐸は，スコア関数𝑠(式(2))と重み関
数𝑤(式(3))を掛け合わせた関数であり，𝑙はパーツ𝐺𝑖 の点群
数，𝑛は人体表面𝑀の点群数，𝑔𝑗 はパーツ𝐺𝑖 の各点，𝑚𝑘 は
Kinect で計測された人体表面𝑀の各点を示す．式(2)のス
コア関数𝑠は，パーツ𝐺𝑖 のある点𝑔𝑗 において，距離𝑉以内
に人体表面点がある場合は 1，無い場合は 0，𝑔𝑗 が他のパ
ーツによって既にマッチングされた領域ℎにある場合は-1
を出力する．つまり，パーツ形状表面と人体表面の形が
近いほど，スコアは大きくなる．式(3)の重み関数𝑤は，
マージン領域中心位置とマッチング初期位置間の距離𝑑
を入力した際の正規分布関数値を重みとして出力する．
つまり，マージン領域中心位置とマッチング初期位置が
近いほど，重みは大きくなる．
本マッチング手法では，パーツ回転データ群から最適
なパーツを勾配法などを用いずに抽出するため，パーツ
マッチングにおける局所解問題が生じないという利点が
ある．また，マッチング初期位置にマージン領域を設け
るため，人体関節周辺の表面形状の歪みなどに影響され
ないパーチマッチングが可能になる．
2.4 時系列データを用いた人体パーツ姿勢推定に
よる形状復元
本処理では，相互・自己オクルージョン共有領域発生
シーンにおける人体形状復元を実現する．2.1 節で既述し
たように，相互・自己オクルージョン共有領域の発生シ
ーンでは，オクルージョン領域内の人体表面形状データ
は完全に欠落し，パーツマッチング不可になる．そこで，
本手法では，マッチング不可となったパーツ姿勢を，そ
のパーツのオクルージョン発生前の時系列姿勢データか
ら推定する．ここで，相互・自己オクルージョン共有領
域によって左前腕パーツがマッチング不可になったシー
ンを例にとり，パーツ姿勢推定手法について説明する．
図 6 に示すように，時刻𝑡において，相互・自己オクルー
ジョン共有領域が人体の左前腕部位に生じた場合，まず，
時刻𝑡 − 𝑛 (例では n=3)から𝑡 − 1においてマッチングされ
た左前腕パーツを，左肘関節点を原点としたローカル座
標系に変換する．次に，時刻𝑡 − 𝑛 (例では n=3)から𝑡 − 1ま
でのローカル座標系における左手首位置の変移を式(4)(5)
を用いて近似する．
図 6 パーツ姿勢推定
3
評価実験
3.1 人工モデルを用いたシミュレーション実験
提案手法の人体形状復元精度を定量的に評価するため，
人工の人体モデルを用いたシミュレーション実験を行っ
た．ここで，本実験環境について述べる．本実験では，
図 7 に示すように，三次元ボクセル空間内に，単体・複
数体の人体モデルと配置し，仮想的に設置した Kinect セ
ンサ位置をもとに，相互オクルージョン領域，自己オク
ルージョン領域，相互・自己オクルージョン共有領域発
生シーンを生成した．なお，相互・自己オクルージョン
図 7 実験シーン例
(a)相互オクルージョン
−1
arg min ∑ ‖𝑃𝑡 − 𝑓(𝑎, 𝑡)‖
𝑎
𝑡=−𝑛
(4)
(b)自己オクルージョン
𝑚
𝑓(𝑎, 𝑡) = ∑ 𝑎𝑖 𝑡 𝑖
(5)
𝑖=0
式(4)(5)において，𝑓は近似関数，𝑎は近似関数𝑓の係数，𝑃𝑡
は時刻𝑡における左手首位置，𝑚は近似関数𝑓の次数である．
本手法では，式(4)で導出された近似関数𝑓から，ローカル
座標における時刻𝑡の左手首位置を推定する．左肘位置と
推定された左手首位置から，左前腕パーツの姿勢が決ま
り，その姿勢の左前腕パーツをグローバル座標系におけ
る左肘位置に当てはめることで，相互・自己オクルージ
ョン共有領域の人体形状を復元することができる．
(c)相互・自己オクルージョン
図 8 人体形状復元誤差
図 9 実人体形状復元結果
共有領域発生シーン生成においては，対象の人体モデル
を並進・回転させることで，仮想的に時刻𝑡 − 4から𝑡まで
の人体モデルのシーケンスデータを作成し，時刻𝑡におい
て，人体モデル部位(腕，足など)にオクルージョン領域を
生成した．本実験で用いた三次元ボクセル空間の解像度
は 100×100×100 である．また，2.3 節で述べたパーツ回
転分解能𝜑，マージン領域半径 D，2.4 節で述べた近似関
数の次数𝑚は，実験的に𝜑 = 1，𝐷 = 10，𝑚 = 2とした．
実験結果を図 8 に示す．図 8 (a)は相互オクルージョン領
域発生シーン，図 8 (b)は自己オクルージョン領域発生シ
ーン，図 8 (c)は相互・自己オクルージョン共有領域発生
シーンにおける人体形状復元精度である．図 7 に示すよ
うに，提案手法を用いることで，相互オクルージョン領
域発生シーンと自己オクルージョン領域発生シーンにお
いて，80％以上の精度で人体の形状復元を実現できた．
また，相互・自己オクルージョン共有領域発生シーンに
おける形状復元精度は，相互オクルージョン領域と自己
オクルージョン領域発生時の形状復元精度に比べ，オク
ルージョン領域が増える分若干精度が下がるが，80％前
後の精度で人体の形状復元を実現できた．
3.2 実人体を用いた実験
提案手法の有用性を検証するために，実人体を用いた
形状復元実験を行った．本実験では，2 台の Kinect を向か
い合わせる形で対象人体周辺に配置し，各 Kinect で計測
した人体表面データを用いて，対象人体の形状復元を行
った．本実験で用いた三次元ボクセル空間の解像度は
200×200×200 である．また，2.3 節で述べたパーツ回転
分解能𝜑，マージン領域半径 D，2.4 節で述べた近似関数
の次数𝑚は，実験的に𝜑 = 3，𝐷 = 8，𝑚 = 2とした．実験
結果を図 9 に示す．図 9 の左 2 列は各 Kinect から取得し
た実験シーン画像，真ん中列は人体ボクセルデータ，右
から 2 列目は Kinect で計測された人体表面データ，右端
列が人体形状復元結果である．実験結果から，提案手法
により，オクルージョン領域発生時において，実際の人
体に近い形状を復元できていることがわかるため，提案
手法は有用であると考える．
4
おわりに
本研究では，オクルージョン領域発生時の人体形状復
元手法を提案した．提案手法では，まず，人体寸法統計
データを用いた関節位置推定による，相互オクルージョ
ン領域発生シーンに対応した人体形状復元手法を提案し
た．次に，人体パーツの従属関係を用いた人体パーツマ
ッチングによる，自己オクルージョン領域発生シーンに
対応した人体形状復元手法を提案した．最後に，時系列
パーツ姿勢情報を用いたパ人体パーツの姿勢推定によっ
て，相互・自己オクルージョン共有領域内の完全に欠落
した人体部位形状を復元する手法を提案した．人工モデ
ルを用いたシミュレーション実験と実人体を用いた実験
において，提案手法の有用性を，定量的また定性的に評
価した．実験結果として，まず，シミュレーション実験
において，提案手法は，平均 80％以上の精度でのオクル
ージョン領域発生時の人体形状復元を実現できた．また，
実人体を用いた実験において，対象人体に近い形状復元
を実現できた．これらの結果から，提案手法は有用であ
ると考える．
参考文献
[1]J.Carranza, et al.: ACM TOG,Vol.22,Issue.11,pp.569-577 (2003).
[2]八村:情処学研報,Vol.2007,No.26,pp.1-8 (2007).
[3]豊洲,他:信学論,Vol.J88-D-II,No.8,pp.1549-1563 (2005).
[4]P.Fua:IJCV,Vol.38,No.2,pp.153-171 (2000).
[5]河内,他:AIST 人体寸法データベース,産総研 H16PRO287.
© Copyright 2024 ExpyDoc
