指間部に基づく指の曲げや開閉に頑健な単眼 WEB カメラによる手の 3

指間部に基づく指の曲げや開閉に頑健な
単眼 WEB カメラによる手の 3 次元位置と姿勢の推定
○水地良明，川井秀樹，萩原良信，今村弘樹，伊与田健敏（創価大学）
A Method to Estimate the Position and Orientation of a Hand
Regardless of the Bending Degree and Distance Degree of fingers Using a Single WEB Camera
○Y. Mizuchi, H. Kawai, Y. Hagiwara, H. Imamura and T. Iyota (Soka Univ.)
Abstract: This paper describes a method to estimate the position and orientation of a hand in a captured image. The method
makes possible the robust estimation regardless of the bending degree and the distance degree of fingers, by detecting four
valleys between neighboring fingers as an invariant feature points.
Keywords: Estimation of Position and Orientation, Robustness, Augmented Reality
1
はじめに
近年，
「手」を用いた直感的で自由度の高い操作が可
能なインターフェースの開発に向け，手の 3 次元位置
および姿勢を推定する研究 1-3 が報告されている．内海
らは複数視点を用いて信頼性の高い手の 3 次元計測 1
を実現しているが，複数のカメラを正確に設置する必
要があるため，
使用する環境が制限される課題がある．
この課題を解決する方法として，単眼カメラのみを用
いて手の位置と姿勢を推定する研究 2，3 が報告されてい
る．しかしながら，これらの研究では指先位置や輪郭
に基づいて手の位置と姿勢を推定しているため，指の
曲げや開閉によって計測結果が不安定になる場合があ
る．そこで本研究では，指間部に基づいて手の 3 次元
位置および姿勢を推定することで，指の曲げや開閉に
対して頑健な手法を提案する．さらに，PC と WEB カ
メラを用いた実験から，本手法の有効性を示すととも
に，本手法と 3DCG を用いたインターフェースの一例
を示す．
2
提案手法
2.1 提案手法の概要
Fig.1 に本手法の概要を示す．まず，指間部位置の推
定を行うために入力画像内から手領域を抽出する．本
手法ではカメラの移動や背景の変化に対応するため色
情報に基づいて手領域を抽出する．次に，抽出された
手領域から指間部位置を推定する．指の曲げや開閉に
影響を受けにくい指間部を用いることで，指の状態変
化に頑健な手の位置と姿勢の推定を実現する．最後に，
推定した指間部位置に基づいて，カメラの位置と姿勢
を基準とする手の 3 次元位置および姿勢を推定する．
次節以降で，Fig.1 の流れに従って詳述する．
2.2 手領域の抽出
手領域は色情報に基づいて肌色領域を検出すること
で抽出できる．抽出の方法には背景差分などが考えら
れるが，カメラの移動や背景の変化に対応するため，
本手法では色情報を用いた抽出を行った．Fig.2(a)のよ
うな RGB で表現される入力画像の色情報を HSV 表色
系，CIE L*a*b*表色系の 2 つの色表現に変換し，それぞ
れのパラメータごとに閾値を設けることで肌色領域を
検出する．さらに，面積が最大の肌色領域を抽出する
ことで Fig.2(b)のように手領域を抽出する．
推定された手領域では，Fig.2(b)の小指部分のように
指が閉じていた場合，指間部の推定に必要な指の隙間
が抽出されないという問題が生じる．その問題を解決
するため，得られた手領域内における低輝度値部分を
検出することで Fig.2(c)に示すような指の隙間を含む手
領域を抽出する．低輝度値部分は手領域内における画
素の輝度値に閾値を定め 2 値化することで検出される．
しかし，手領域内の輝度値は手の姿勢や光源位置の変
化によって変化するため，閾値は手領域内における輝
度値の分散に基づいて動的に決定する．
2.3 指間部位置の推定
まず，正しい指間部位置の推定を実現するため，指
領域の推定を行う．指領域は Fig.2(c)のエッジ情報をも
とに，手の中心を基準とした指領域への方向とその範
囲を決定することで推定する．手の中心を基準として
見たとき，指側の領域が腕側の領域よりエッジを多く
含む傾向が経験的に得られた．このことを踏まえ，次
式から基準となる方向θを求める．
N 1
  tan 1 ( ( y i  y c )
i 0
N 1
 (x
i 0
i
 x c ))
(1)
(xi, yi)はエッジ画素の位置，(xc, yc)は手の中心位置，N
はエッジ画素の数を表す．指領域はこの方向θに基づ
いて Fig.3(a)のように推定できる．この指領域は手の中
心を原点として，経験的に決定したθ-110°～θ+90°
を範囲として推定できる．
次に，推定された指領域内において手の中心から 1°
ごとに輪郭もしくは低輝度値部分までの距離を求める
ことで Fig.3(b)のような距離の分布を得る．指間部位置
はこの距離の変化をもとに推定できる．しかし，Fig.3(b)
の距離の分布には微小な距離変化が多く含まれるので，
安定した指間部位置の推定ができない．この問題を解
Extraction of a hand region
Estimation of four valleys between neighboring fingers
Estimation of the hand position and orientation
Fig.1 Schematic of the proposed method
(a) Captured image
(b) Hand region
(c) Hand region excluding
low brightness region
Fig.2 Extraction of a hand region
決するため，Fig.3(b)の距離の分布を平滑化することで，
Fig.3(c)のような距離の分布を得る．
最後に，平滑化された距離の分布の凹凸から指間部
を推定する．Fig.3(c)，(d)の A～D がそれぞれ凹凸と指
間部の対応を表している．Fig.3(c)，(d)のように親指側
を基準として，最初の極大点を親指と人差し指の指間
部，2 つ目から 4 つ目までの極小点を順に人差し指から
小指までの指間部と推定する．
2.4 手の位置と姿勢の推定
手の 3 次元位置と姿勢の推定の概要について Fig.4 に
示す．また，各座標系を Fig.4 のように定義する．ここ
で，手の平面座標は直交座標として定義される座標と
する．
まず，予め基準となる手の画像を取得し，画像平面
内に描画されるその指間部位置の座標値を記憶してお
く．指間部は 4 点推定されるので，この指間部位置と
入力された指間部位置の対応から透視変換行列 CI-H が
求められる．基準となる指間部位置は画像座標系にお
ける位置を表すため，この透視変換行列 CI-H は画像座
標系と手の平面座標の関係と一致する．この透視変換
行列 CI-H を用いることで，手の平面座標が画像平面に
投影される．
次に，画像平面内に投影された手の平面座標を用い
て手の座標系からカメラ座標系への座標変換行列を求
める．カメラ座標系と画像座標系の関係はカメラキャ
リブレーションによって内部パラメータとして既知と
なっている．また，手の平面座標は直交座標として定
義されている．このことから，H. Kato らの手法 4 を用
いることで，手の座標系からカメラ座標系へ座標変換
行列 TC-H が求められる．この座標変換行列 TC-H が求め
られることによって，カメラを基準とした手の 3 次元
位置および姿勢が推定できる．
3
実験
H. Kato らの手法 4 を応用し，実験的に PC と WEB カ
メラを用いてカメラ座標内における手の 3 次元位置お
よび姿勢の推定と，その位置と姿勢に対応する CG の描
画を行った．Fig.5(a)～(c)がその結果である．それぞれ
の画像から手の位置や姿勢に応じて CG 描画の位置と姿
勢が変化していることが分かる．また，Fig.5(a)，(b)の
画像から指の開閉に対して，Fig.5(a)，(c)の画像から指
(a) Estimation of the region
including fingers
(c) Smoothed profile of (b)
(b) Profile of distances
from hand-center to contours
(d) Estimation of four valleys
between neighboring fingers
Fig.3 Estimation of valleys between neighboring fingers
の曲げに対して頑健な手の 3 次元位置および姿勢の推
定が可能なことが分かる．
4
おわりに
本稿では，指間部位置の推定と，それを基準とする
手の 3 次元位置および姿勢の推定の方法を提案した．
本手法を用いた実験では，開閉や曲げといった指の状
態変化に頑健な指間部位置の推定と，指間部位置をも
とにした手の 3 次元位置および姿勢の推定が可能とな
った．本手法の曲げや開閉といった指の状態変化に頑
健な特徴を活用することで，指の曲げ伸ばしなどに基
づくスイッチングや，それらのスイッチングおよび位
置と姿勢の推定を利用したアプリケーションへの応用
が可能あると考えられる．
謝辞
本研究の一部は，文部科学省私立大学学術研究高度
化推進事業「私立大学社会連携研究推進事業」
：研究課
題「測位/光神経複合センサノードによるユビキタス・
モニタリング・ネットワークの開発とその産業応用へ
の展開」の一環として実施したものである．記して，
厚く御礼申し上げます．
参考文献
1) 内海章ら：多数カメラを用いた手形状認識法とそ
の仮想空間インターフェースへの応用，情報処理
学会論文誌，Vol.40，No.2，585/593 (1999)
2) T. Lee et.al. : Handy AR: Markerless Inspection of
Augmented Reality Objects Using Fingertip Tracking,
Proc. of IEEE International Symposium on Wearable
Computers, 83/90 (2007)
3) T. Kato et.al. : Development of Augmented Reality
Interactive Using Hand, IEICE Technical Report,
Vol.105, No.533, 13/18 (2006)
4) H. Kato et.al. : Marker Tracking and HMD Calibration for
a Video-based Augmented Reality Conferencing System,
Proc. of IWAR ’99, 85/94 (1999)
Fig.4 Estimation of a hand position and orientation
(a) A hand with a wide
spread posture
(b) A hand with a narrow
spread posture
(c) A hand with bending
fingers
Fig.5 Results of the experiment drawing a 3D object
based on the proposed method

Download Report