ステレオカメラによる人物の動作認識手法

ステレオカメラを用いた
人物の姿勢・動作認識手法の検討
2007年 1月27日
白井研究室
画像班
学部4年結城章昌
研究背景

将来、家庭やオフィスなどロボットと人間が生
活空間を共有する機会が増える
• 以下のようなロボットの実現が期待されている


ジェスチャー認識により人間の指示を理解して人間と
協調作業を行う
人物の状況を把握して話しかけるといった、能動的な
コミュニケーションを行う
人間の姿勢・動作の検出が重要な技術
研究目的

単眼カメラによる2次元情報を用いた手法では、奥
行き方向の回転が変形とみなされてしまう
• ステレオカメラ（ヒューマノイドロボットに多く搭載）から得ら
れる3次元情報を用いれば解決できる
• ステレオカメラによる動作認識の利点



対象人物の自然な動作を妨げない
安価、設置の手間・場所をとらない
ステレオカメラによる動作・姿勢認識手法の確立
• 距離画像と3次元モデルのフィッティングを行い体節の位
置を推定する
人体を3次元モデルで近似
提案手法
①左右2枚の画像のステレオマッチングにより距離画像を取得
3次元情報の精度が低い
②剛体の制約を利用して距離画像と3次元モデルのフィッティン
グを行う
剛体の制約
・形状が時不変である
・テクスチャが時系列画像において不変と仮定
・同一剛体表面は同じ運動をする etc…
制約を複数利用して、フィッティング精度の向上を図る
形状の誤差関数、テクスチャの誤差関数を定義し、これらの重み付き和が
最小となるモデルの並進・回転パラメータを最急降下法により探索
実験結果
胸部のモデルを生成してフィッティングを試みた結果

Download Report