ジ、エスチャユーザインタフェースのための P型フーリ工記述子を - TOPIC

、
・
w
計測自動制御学会東北支部第 2
8
3回研究集会 (
2
0
1
3
.
1
0
.
2
5
)
資料番号 2
8
3
・1
ジ、エスチャユーザインタフェースのための
P型フーリ工記述子を用いた手の姿勢推定
Hand-PoseEstimationUsingP-typeF
o
u
r
i
e
rD
e
s
c
r
i
p
t
i
o
r
s
f
o
rGesture-BasedUserI
n
t
e
r
f
a
c
e
0立見駿介*，
oShunsukeTatsumiヘM
邸
i
長山呂論ぺ亀山充隆*
a
n
o
r
iHariyama
ぺI
v
1
i
c
h
i
t
a
k
aKameyama*
*東北大学大学院情報科学研究科
*
G
r
a
d
u
a
t
eS
c
h
o
o
lo
fI
n
f
o
r
m
a
t
i
o
nS
c
i
e
n
c
e
s，
TohokuU
n
i
v
e
r
s
i
t
y
キーワード: ジェスチャユーザインタフェース (
G
e
s
t
u
r
e
B
a
s
e
dU
s
e
rI
n
t
e
r
f
a
c
e
)，
手の姿勢推定 (
H
a
n
d
P
o
s
eE
s
t
i
m
a
t
i
o
n
)，
P型フーリエ記述子 (
P
t
y
p
eF
o
u
r
i
e
rD
e
s
c
r
i
p
t
o
r
s
)，
3次元手形状モデル (
3
DHand!
¥
.
I
o
d
e
l
)，複数カメラ (
!
¥
.
l
u
l
t
i
c
a
m
e
r
a
)
連絡先: 干 980・8579 仙台市青葉区荒巻字青葉 6
6
・0
5
東北大学大学院情報科学研究科亀山・張山研究室立見駿介
Te
l
.
:(
0
2
2
)7
9
5
・7
1
5
5，
F
a
x
.
:(
0
2
2
)
2
6
3
・9
1
6
7，
E
-m
a
i
l
:s
_
t
a
t
s
u
mi
<
Oecei.tohoku.ac.jp
1
. はじめに
に分けられる. 1つ目は画像から姿勢の特徴を
抽出し， 3次元手形状モデルの姿勢パラメータを
近年，ヒューマンインターフェースへの応用を
変化させて l
酎像と特徴が一致させることで姿勢
目的の 1つとして，任意の姿勢における手の姿勢
を推定する手法 2
)である.この手法は精度の高
を計測し計算機への入力ヘ利用しようとする試
い姿勢推定を行うことが出来るが，オクルージ、ヨ
みが行われている.これは手の姿勢を計測する
ンに弱いという特徴がある. 2つ目はあらかじ
ことで，ジェスチャを用いて入力機器に触れるこ
め様々な手の姿勢画像をデータベースに登録し
となく機探の操作を行ったり 3Dコンテンツの
ておき，入力と類似度の高い画像を求めること
操作をより直感的に行うことが出来ると考えら
で姿勢を推定する手法 3
)である.乙の手法は事
れているからである.手の姿勢を取得するため
前に様々な姿勢の手の画像を登録しておくこと
)
?
の手法としては，手にセンサを取り付けたり 1
でオクルージョン強い推定を行えるが，手は姿
マーカや特殊な手袋を用いるなどの手法があり，
勢変化の自由度が大きいため探索対象の姿勢の
このような方法はシンプルで、実時間で、の処理に
数が多くなり推定精度と推定速度にトレードオ
適しているがー使用状況が限られたりユーザに
フが生じるという特徴がある.そこで探索姿勢
不自由を与える場合がある.そのためカメラか
を直前に推定された姿勢の近傍姿勢のみに限定
ら取得した画像のみを用いて手の姿勢を計測す
)やヲ姿勢のクラスタリングを行い階
する手法 4
る手法が研究されており，大きく次の 2つの手法
層構造を用いて探索木を構成することにより探
噌EA
、
索範囲を絞る手法 5
)等が提案されている.
ユーザのジェスチャ
入力伽刈糊時の腕
本研究では 3次元手形状モデルを用いて事前
臨画像とD酬函眠時
a
に認識するジェスチャ姿勢の画像を作成してお
d豆
互
〉
く 2つ目の手法をとる.入力画像と事前に作成
した耐像とでマッチングを行うことにより手の
姿勢を推定し，ジ、エスチャを認識して機器への入
力に用いることで，マーカレスかつ直感的な片
手のみによる 3Dコンテンツの操作を行うこと
￨
I~LLJ~
ι
手の妥"の潅定
8
OO~匝Eを: l
ジzステャ-処理
g
ジd 刊こ仇した慢崎市
F
i
g
. 1 ジ、ェスチャ認識処理の流れ
を目的とする.本稿では P型フーリエ記述子に
よる特徴表現を利用した手の姿勢推定手法を提
案し，ジェスチャを認識して 3Dコンテンツの操
ブラリを利用することでハンドトラッキングが
作を行う.ジェスチャは平行移動・拡大・縮小
容易に可能であることが理由であり?センサが
と回転に対応するものを定義し，それぞれ手の
K
i
n
e
c
tでなくても問題はない.なお K
i
n
e
c
tと
3次元空間の位置の変化から移動量?回転動作の
0
1
0年に M
i
c
r
o
s
o
f
t社から発売された同社製
は2
推定姿勢から回転量を取得して操作老実現する.
機器用のゲームコントローラであり， RGBセン
t
7
，D
e
p
t
hセンサ，マイク等を備えている.
2
. P型フーリエ記述子による輪郭
2
.
2 P型フーリエ記述子を利用したマッチ
特徴表現
ング手法
2
.
1 ジ、ヱスチャ認識処理の概要
ジ、ェスチャ認識処理の流れを F
i
g
.
1に示す.ジ
ェスチャ認識処理は事前に行う処理とジェスチャ
操作時に行う処理の 2つに分かれている.事前
に行う処理では，まずユーザの手と 3次元手形状
モデルとでキャリプレーションを行った後，モ
デ、ルを用いてジ、ェスチャ認識に必要となる様々
な姿勢の手の繭像を作成し，データベースを作
成する.ジ、エスチャ操作時に行う処理では，ま
ずユーザ、のジ、エスチャを K
i
n
e
c
t6)を用いて撮影
手の姿勢を推定するためにマッチングを行う.
画像に基づくマッチングでは輪郭線，シルエッ
ト，輝度，奥行き?特徴点?エッジ等様々な画像特
徴が用いられるが，本稿では輪郭線に着目し守輪
郭線を P型フーリエ記述子で表現し特徴量とす
るマッチング手法を提案する.まず P型フーリ
i
g
.
2のよ
エ記述子について説明する.曲線を F
うに折れ線近似すると，座標 Ziと座標 Zi+lの
関係は偏角 8
iを用いて次式で表される.
し
， RGB画像と D
e
p
t
h画像を取得する.次に取
)
問 =e
x
p(
j8
i
得した RGB画像とデータベース内の画像とで
(
1
)
マッチングを行い，手の姿勢推定を行う.その後
m を周期関数として離散フーリエ変換を求める
姿勢推定結果の時系列を基に入力されたジ、エス
と次式のようになる.
チャを認識し， 3Dコンテンツにジェスチャに対
噌
する.
ユーザ、のジェスチャを取得するためのセンサ
i
n
e
c
tを用いているがヲこれは RGB画
として K
像と D
e
p
t
h画像の取得が容易であること T ライ
N-l
α=方
言問e咋 “
応する操作を行うことでジ、ェスチャ操作を実現
(
2
)
Ckを P型フーリエ記述子という .P型フーリエ
記述子は平行移動，拡大・縮小に対して不変であ
るという特徴を持つ.
-2-
Fig.2 曲線の折れ線近似
F
i
g
.4 3次元手形状モデル
側
面
・
圏
一
哩
一
￨
一
陣
刷
、
ー
・
J
肺線鎗幽
ヂ
首
、
皿
t
=
:
=
t
市ーリZ臨子
で夜寝
品.ぷお
前フレームの
4
量
定1
1
f
t
ゆ
:
(五尋誇コ
¥ 三三三三三/
マ守チシグ剣
c:::中￨曜日Z鶴子￨〆
a
m
"
{
鐸
.
1
I
i
11
l
品事事
前フレームの髭.，二量E
い1
1
"
F
i
g
.3 P型フーリエ記述子を利用したマッチ
ング手法
P型フーリエ記述子を利用したマッチング手
i
g
.
3に示す.取得した画像とデー
法の概要を F
タベース内の画像それぞれで輪郭線を抽出して
P型フーリエ百己主子で表し， 2つの特徴の低次成
分のユークリッド距離を相違度としてマッチン
グを行う.マッチングによって相違度が最小と
-ー:偲織する
ao
F
i
g
.5 変化姿勢の予測
えることできる.このときモデルを使用しない
場合は情報が取得できなかった手部分の姿勢は
推定することが出来ないが，モデルを使用する
ととにより取得できた情報を用いて姿勢推定を
行い推定姿勢のモデ、ル情報から情報が取得でき
なかった手部分の姿勢を推定するととが出来る.
なるデータベース画像を求め，その画像の姿勢
を推定姿勢とする .P型フーリエ記述子を用い
3
.
2 変化姿勢の予測
ることで，平行移動，拡大・縮小の影響を受けず
マッチングを行う際にデータベース内の全て
に姿勢推定ができる?低次成分のみを用いるこ
の姿勢とマッチングを行うと，取得情報の欠損
とで大まかな形状の認識ができる，低次成分の
やユーザの手とモデルとの形状の差異などの原
みを用いるので計算量が少なく済むといった利
因から?特徴量は似ているが大きく異なる姿勢
点がある.
を推定してしまう乙とがあり，問題となる.そこ
で前フレームで推定された姿勢から近い姿勢の
3
. 3次元手形状モデルに基づく姿
みをマッチング対象として探索することであり
F
i
g
.
5
)
. これ
えない姿勢を推定することを防ぐ (
勢推定
はフレーム間隔が小さいならば隣接したフレー
3
.
1 3次元手形状モデル
ム聞における手の姿勢は近いものになるという
本稿では 3次元手形状モデル (
F
i
gめに基づ
考えに基づいた手法である.姿勢推定開始の際
いた手の姿勢推定を行う.姿勢推定に 3次元手
はあらかじめ定めた開始姿勢を認識し，そこか
形状モデルを用いる利点としては，取得情報の
ら姿勢探索を開始する.変化姿勢の予測の利点
欠損やノイズ、およびオクルージョンに強い推定
としてはありえない姿勢を探索することが無く
が行えることが挙げられる.これらは推定した
なり精度が向上すること，計算量が削減できる
い手部分の情報が取得できない場合であると考
ことが挙げられる.
-3-
.
云
事;
;
?
Z
叫""""~
元OIf鈴
L
-
.
.
.
.
脱税5
Fig.6 見分けにくい回転動作
取得した鮒にi"-;fc，、て録作を行う
カメラ t
/一一一¥
l
Fig.8 ジ、エスチャ認識処理の流れ
¥¥カメラ 2
スチャの認識は基本となる姿勢が認識された後.
乎
一定フレーム間内にジ、ェスチャ開始姿勢が認識
Fig.7 カメラの配置図
されることで成立する.またジェスチャ開始後
はジ、エスチャ開始姿勢の手形状のまま手の移動 T
3
.
3 複数カメラの利用
回転動作を行うことで 3Dコンテンツの操作を
本稿ではジ、ェスチャによる 3Dコンテンツの
直感的な回転操作を実現するために手の回転動
作の認識を行っている.しかし回転動作ではオ
行い‘ジ、ェスチャ開始姿勢の手形状とは異なる
手形状になったときジェスチャが終了したと判
断して操作をやめる.
クルージ、ヨンが多く発生し?単一のカメラでは
見分けることの出来ない動作が発生することが
4
.
2 ジ、工スチャ操作の実験
F
i
g
.
6
)
. そこで本稿ではオクルー
問題となる (
提案手法を用いて?ジ、エスチャによる 3Dコン
ジ、ヨンを軽減する為に 2台のカメラを利用する
i
n
e
c
t
テンツの操作を行った.実験には 2台の K
(
F
i
g
.
7
)
. これにより単一のカメラでは見分ける
を用いて画像を取得し， I
n
t
e
lC
o
r
e
2DuoE8400
ことが出来ない動作を見分けることが出来る.
3.00GHzCPUを搭載した PCで、処理を行った
結果?平均 2.
4f
p
s程度の処理速度となった.操
作結果を F
i
g
.
9に示す.
4
. ジ、エスチャ認識
平行移動・拡大・縮小操作においては概ね意
4
.
1 ジ、エスチャ認識処理
図したとおりの操作が実現できた.しかし手を
ジ、ェスチャ認識処理の涜れを F
i
g
.
8に示す.ジ
動かしていないつもりでも多少 3Dコンテンツ
ェスチャ認識処理で、は手の姿勢推定結果の時系
が動いてしまったり T 終了時にジェスチャ中の姿
列を記録し，その時系列から平行移動・拡大・縮
勢以外の姿勢に変化している際の動きが操作に
小，回転に対応するジェスチャを認識する.その
反映されることが問題として挙げられた.回転
後認識したジェスチャに応じて移動量を RGB画
操作においては 3Dコンテンツに対する回転動
像と D
epth画像から取得，もしくは回転量を推
作は結果として実現できるがユーザが意図す
定姿勢から取得しヲ取得した情報に基づいて 3D
るであろう滑らかな回転操作を実現することは
コンテンツの操作を行う.
出来なかった.どちらも取得した情報をそのま
各操作に対応したジ、ェスチャは全てのジェス
ま 3Dコンテンツの操作に用いたことが原因で
チャで、共通の基本となる姿勢と各ジ、ェスチャに
あり，取得情報からジ、ェスチャでない動作を認
固有のジェスチャ開始姿勢の 2つから成り?ジェ
識する等の処理が必要であると考えられた.ま
-4-
4
、
.3
1
9，
No5，
p
p
.
1
3
2
5
応用?情報処理学会論文誌，Vo
初期位置
i
左へ慢作
j
i
拡夫操作
1
9
9
8
1
3
3
3，
2
) 陳維英，藤木隆司，有国大作，谷口倫一郎:複数カ
メラを用いた実時間三次元手形状推定，画像の
M
I
R
U
2
0
0
6
)，
2
0
0
6
認識・理解シンポジウム (
j取得画像.
3
) 今井章博，島田伸敬，白井良明:実時間手
指推定のためのロバストな輪郭画像照合，
コンビュータビジョンとイメージメディ
ア
，Vo
.2
1
0
0
2，
N
o
.
3
4
(
2
0
0
2
・C
V
I
M
1
3
3
)，
p
p
.
6
3
-
:
3
0
コンテンツ:
2
0
0
2
7
0，
(
a
)平行移動・拡大・縮小操作
初期聾努
; 回転操作
4
) 島田伸敬，白井良明 g 久野義徳:確率に基づく探
索と照合を用いた両像からの手指の三次元姿
I
IJ
7
9
D
勢推定，電子情報通信学会論文誌 D
回転操作 2
p
p
.
1
2
1
0
・1
2
1
7，
1
9
9
6
I
I
/
7，
i磁得画像 :
5
) 藤本光一，松尾直志，島田伸敬，白井良明:輪郭部
分特徴の階層構造学習による三次元手指姿勢
推定の高速化，削像の認識・理解シンポジウム
(
l
¥
HRU2010)，
p
p
.
6
3
-7
0，
2
0
1
0
:30
コンテンツ:
6
)K
i
n
e
c
t-X
b
o
x
.
c
o
m
.
h
t
t
p
:
/
/
w
w
w
.
x
b
o
x
.
c
o
m
/
j
a
-
J
P
/
k
i
r
蹴 t
/，
2
0
1
3
/
1
0
/
2
4
(
b
)回転操作
Fig.9 実験結果
た回転操作時に誤推定を起こし，実際の動作と
異なる姿勢変化経路が取得されることが問題と
して挙げられた.そこで各カメラの信頼度を考
慮して重み付けを行うなどによる姿勢推定精度
の向上哲姿勢変化経路までを考慮した姿勢推定
等が必要であると考えられた.
5
. まとめ
本稿で‘は手のジ、ェスチャによって 3Dコンテ
ンツの操作を行うために手の姿勢を推定する手
法として， 3次元手形状モデ、ルに基づ、いた手の姿
勢推定手法および P型フーリエ記述子を利用し
たマッチン夕、手法を提案した.今後の課題とし
て姿勢推定精度の向上?処理速度の向上?非ジェ
スチャの認識等が挙げられる.
参考文献
。
，
1
) 津田秀之，橋本周司，松島俊明:運動特徴と形状特
徴に基づいたジェスチャー認識と手話認識への

Download Report