SURE: Shizuoka University REpository
http://ir.lib.shizuoka.ac.jp/
Title
Author(s)
全方位カメラを用いたStructure from Motionによる3次元環
境モデリング
川西, 亮輔
Citation
Issue Date
URL
Version
2012-01
http://doi.org/10.14945/00007481
ETD
Rights
This document is downloaded at: 2016-01-06T20:37:39Z
平成 23年 度
静 岡 大 学
博 士 論 文
全 方位 カメラを用 いた Structure from Motionに よる
3次 元環境 モデ リング
静岡大学 倉J造 科学技術大学院
自然科学系教育部 情報科学専攻
学籍番号 5594-5016
川 西 亮輔
指導教員 金子 透 教授
2012年 1月
Copyright o 2012 KAWANISⅢ ,Ryosuke
AI斑 ghts
Rescrved
審査委員
三浦 憲二郎 教授
(主
査)
金子 透 教授
海老澤 嘉伸 教授
川田 善正 教授
山下 淳 准教授
和
文
要
旨
自律的 に活動す る移動 ロボッ トの導入 が様 々なシー ンで望 まれてお り,研 究が盛
んに行われてい る。移動 ロボ ッ トが 自律的 に活動す る際 に重要な機能 として,周
囲環境 の地図生成 と,地 図中での位置 と姿勢 の推定 が挙 げ られ る.本 研究 では
,
移動 ロボッ トに搭載 された 1台 のカメラで撮影 された動画像 のみを用 いて,周 囲
環境 の地 図 となる 3次 元 モデルの生成 およびカメラの位置 と姿勢 (以 下,カ メラ
運動 と呼ぶ)の 推定 を行 うことを目的 とす る.ロ ボ ッ トに搭載 したカメラの運動
推定 は,ロ ボ ッ トの位置 と姿勢 の推定 と同義である.本 研究では動画像 を取得す
るカメラとして,双 曲面 ミラーの反射 を利用 した全方位 カメラを用 い る.全 方位
カメラは ミラーの軸周 り360度 の視野 を有 してお り,カ メラ運動推定お よび環境
計測 に有効 である
.
動画像中の被写体 の 3次 元計測および撮影 中のカメラ運動推定 を同時に行 う技
術 は Structre ttom Motion(駈
M)と 呼 ばれてお り,本 研究 もこの枠組み に含 ま
れ る.SfMは 一般 に,以 下 の手順 に従 う
.
1)動 画像 中か ら特徴 を抽出,そ れ らを画像間で対応付 け
2)画 像間の特徴 の対応関係か らカメラ運動 を推定 し
3)推 定 されたカメラ運動 を用 いて特徴 の 3次 元計測 を行 う
,
,
.
用 い る特徴やカメラ運 動 を推定す る手法 は,そ の研究 の 目的 によって様 々で あ
るが,本 研究 では人工物 が存在す る環境下で活動す る移動 ロボッ トを前提 とした
手法を提案する。特徴 の対応付 けの信頼性が低 い とカメラ運動 の推定結果 の信頼
性 も保 証 されな いた め,特 徴 の対応付 けは 鋭Mに とって非常 に重要な問題であ
る.絣Mに 基 づ く手法 は数多 く提案 されて い るが,そ れ らの多 くは動画像 中 に
,
容易 に対応付 け可能な特徴が多数存在す ることを前提 として い る.し か し,自 律
移動 ロボ ッ トの導入が期待 され る多 くの屋 内環境 で は,廊 下 に代表 され るよ う
な,色 合 い変化 に乏 しく平坦な形状 の物体 で構成 され る場所が少 な くな い.そ の
よ うな環境で は特徴 の対応付 けは容易 ではな く,抽 出可能 な特徴 の数 も少ない
.
そのため,従 来手法で は精度良 くカメラ運動 を推定す ることが困難 である。
また,一 般 にカメ ラ運動推定 は 自由度 の高 い非線型問題 である.多 くの従来手
法では線型解法 によって初期解 を算出 し,非 線型最適化手法 の適用 によ り誤差 を
最小化する こ とでカメラ運動 を推定 して い る.し か し推定すべ きカメラ運 動 のパ
ラメー タは,カ メラの視点数 nに 対 して
(6n-1)自
過程で局所解 に陥 る問題 を避 けることは困難 である
.
由度 と非常 に多 く,推 定 の
11
そ こで本研究 では,屋 内,屋 外 にかかわ らず人工物 が存在す る環境下 において
広 く適用可能 な SfM手 法 を提案す る.提 案手法 で は,主 に用 い る特徴 として直
線 を採用 す る.直 線 は人 工物 が存在す る環境下で は有効 な特徴 である.さ らに
,
直線 の中で も互 い に平行 になる直線 (平 行線 )を 検出 し,平 行線か ら得 られ る拘
束条件 を利用す る ことで,カ メラ運動推定 の 自由度を大 き く削減 し,局 所解 に陥
る問題 を解決す る。推定 されたカメラ運 動 お よび画像 中の特徴 を用 いて環境 を 3
次元計測 し,計 測結果 か ら環境 の 3次 元 モ デル を生成 す る.提 案手法 の有効性
を,実 際 に移動 ロボッ トを走行 させて取得 した動画像 を用 いて検証す る
.
第 1章 では,本 研究 の背景や重要性 について述べ る.そ れ らを受 けて本研究の
目的を述 べ る。 ここでは,本 論文 の用語 の定義や 3次 元環境 モ デ リングの処理の
手順 につ いて も述 べ る
.
第 2章 では,本 研究 で用 い る全方位 カメラについて述べ る.全 方位 カメラの構
成や,カ メラ座標系 の定義,カ メラの内部パ ラメー タや双曲面 ミラーのパ ラメー
タのキヤリブレーシ ョン手法 な どについて説明す る。
第 3章 では,特 徴追跡 につ いて述 べ る.提 案手法 では,画 像中か ら点 と直線 の
2つ の特徴 を抽出 し,画 像列 に沿 つて追跡す る.点 と直線 のそれぞれの追跡手法
について説明す る.ま た,直 線 の中で も,互 い に平行 である直線 (平 行線 )を 検
出す る手法 につ いて も説明す る.実 際 に取得 した動画像 を用 いた実験 を行 い,提
案手法 の有効性 を確認す る
.
第 4章 では,Structllre ttom Motion(絣 M)に ついて述 べ る.ま ず 絣Mに おけ
る標準的なカメラ運動推定 の手法 について概説す る。次 に本研究 で提案す る平行
線 の拘束条件 を利用 したカメラ運動推定手法 を説明す る.カ メラ運 動 と同時 に
画像特徴 (特 徴点 と直線 )の 3次 元位置 お よび姿勢 も推定 され る.こ こでは,推
,
定 されたカメラ運動 を用 いて,直 線以外 のエ ッジ点を 3次 元計測す る手法 につい
て も説明す る.シ ミュレーシ ョン実験 によって,カ メラ運動推定 の結果 を,提 案
手法 と標準的な手法 とで比較す る。 また,テ クスチ ャの少 ない環境 を実際 に撮影
した画像 を用 いた実験 も行 う。
第 5章 では,計 測結果 か ら環境 の 3次 元 モ デルを生成 す る手法 につ いて述 べ
る.シ ミュレー シ ョン画像 お よび実画像 を用 いて,3次 元 モ デルの生成実験 を
行う
.
第 6章 では,各 章 の総括,今 後 の課題及 び展望 につ いて述 べ る
.
Outilne of Thesis
Map information is important for path planning and selfJocalization when mobile
robots execute autonomous tasks. In this thesis, I propose a method of 3D environment mapping based on Structure from Motion by using an omnidirectional camera.
An omnidirectional camera is efEcient for map construction because it has a wide
fleld of view. Structue from Motion is a framework of camera movement estimation and object measurement. However, camera movement estimation is a nonlinear
problem which has large degrees of freedom. In order to estimate camera movement
e{ficiently, the proposed method utilizes parallel lines. The constraint provided from
parallel lines reduces degree of freedom of camera movement estimation. Parallel
lines in an omnidirectional video are obtained by the proposed line tracking method.
By using estimated camera movement and point and line measurement data, a 3D
model is constructed as the environment map. Experimental results show the effectiveness ofthe proposed method.
Chapter 1 provides motivation, background and purpose of the study.
Chapter 2 details an omnidirectional camera. The composition, a camera coordinate system and calibration method are given.
Chapter 3 details feature tracking method. Feature point tracking, line tracking
and the detection method ofparallel lines are given.
Chapter 4 details the theory of Structure from Motion. This chapter compares
experimental results of the proposed method which utilizes parallel lines with that
of the classic approach.
Chapter 5 details the proposed method of 3D model construction.
Chapter 6 concludes the research, provides a summary ofkey findings, and gives
suggestions for future research.
目次
和文要 旨
Outilne of Thesis
第
第
111
1章
序論
1
11
研究背景
1
1.2
研究 目的
17
13
画像特徴 を指す用語 の定義
18
14
15
3次 元環境 モ デ リン グの処理 の流 れ
21
本論文 の構成
22
2章
双由面 ミラーを利用 した全方位 カメラ
23
21
概要
23
22
23
本研究 で用 い る全方 位 カメラ
24
カメ ラに装着す る双 曲面 ミラー
26
2.3.1 双曲面 ミラー の構成
26
232
27
双曲面 ミラー の幾何学 的特性
24
25
全方位 カメ ラの視野範 囲
29
全方 位 カメ ラ座標系
31
2.6
全方位画像 のパ ノラマ展 開
35
2.7
全方位 カメ ラのキャ リブ レー シ ョン
37
271
カメ ラ本体 の 内部 パ ラメー タ
37
27.2
2.73
カメ ラ本体 の 内部パ ラメー タの推定結果
39
双 曲面 ミラー の形 状 パ ラメ ー タお よび全 方位画像 中心 の
推定手法
274
41
双 曲面 ミラ― の形状 パ ラメー タお よび全方 位画像 中心 の
推定結果
44
目次
第
3章
全方位画像 中の特徴抽 出 および追跡
47
31
特徴点 の抽 出 と追跡
47
32
直線 の抽出 と追跡
51
321
322
323
33
34
35
第 4章
41
42
エ ッジ点群 の分離 に よるエ ッジセグメン トの抽出
51
エ ッジセ グメ ン トの直線判定
52
直線 の画像間 の対応 付 け
53
直線群 か らの平行線検 出
56
実画像 を用 いた特徴追跡実験
58
特徴追跡手 法 の今後 の課題
66
Structure from Mo●
on
67
カメラ運動 と座標系 の定義
基本 的な カメラ運動推定手法
… … … … … … … … … …
… … … … … … … … …
421 概要 …
422 8点 法 による 2視 点 のカメ ラ運動推定 … … … … …
423 RANSACに よるアウ トライア除去 … … … … .…
424 バ ン ドル調整 による誤差 の最小化 … … … … … …
425 従来 のカメ ラ運動推定 手法 の 問題 点 … … … … …
43
平行線 を利用 したカメ ラ運動推定手法
431
432
433
434
435
436
44
4.5
72
72
75
76
78
79
79
80
84
…
… 86
99
…
… 102
… … … … … … … … … … … … … …
… … … … … … …
特徴 点を結 んだ擬似直線 の作成
概要
消失 点 ベ ク トルの方 向合 わせ
… … … … … …
消失点 ベ ク トルを軸 とす る回転運動推定
… … …
平行線 に対 して垂直 な平面上 の並進運動推定
平行線 に沿 つた方 向 の並進運動推定
… …
… … … …
直線 を示す 3次 元点群 の生成 .… … … … … … … … ・ … 105
エ ッジ点 の 3次 元計測
… … … … … … … … … … … 106
451
452
46
… … … … … … …
67
72
概要
… … … … … …
エ ッジ点 の 3次 元計測手法
… … …
… 106
… … … … … … … … 107
カメ ラ運動推定 お よび 3次 元計測実験
461
… … …
…
・
アウ トライ ア判定 にお け るデ ー タの信頼性 に基 づ く重 み
… … …
… …
111
付 けの効果検証実験
462
463
提案 手法 と従来 手法 の比較実験
1
…
… … … … …
H4
テ クス チ ヤの 少 な い屋 内環境 でのカメ ラ運動推定 お よび
3次 元計測実験
…
122
Vu
4.6.4 屋外環境でのカメ ラ運動 推定 お よび 3次 元計測実験
47
第 5章
51
52
_.124
カメ ラ運動 推定 の今後 の課題 .… … … … … … … … …
3次 元計測点群か らのテクスチ ャ付 き 3次 元 モデル生成
3次 元 ドロネ ー分割 による三 角網 の構築 … … … …
5.3
126
127
… … ・ 127
三 角網 へ のテ クス チ ャマ ッ ピング .… … … … … … … … 133
3次 元 モ デル生成 実験
531
… … …
… … … … … … … … 137
.137
5.3.2 テ クスチ ャの少な い屋 内環境 の 3次 元 モ デル生成実験 ..139
533 屋外環境の 3次 元 モ デル生成 実験 .… … … … … … 142
5.4
第 6章
61
6.2
謝辞
参考文献
研究業績
シ ミュレー シ ョン画像 を用 いた 3次 元 モ デル生成実験
3次 元 モ デル生成 の今後 の課題
… … … … … … … … … 145
147
結論 と今後 の展望
結論
… … … … … … … … … … … ・… … … …
今後 の展望 .… .… … … … … …
147
… … … … … … ・ 148
149
151
159
Ⅸ
・
図 目次
11
ロボ ッ トに搭載 され るセ ンサ の例
1
1.2
基線長 の違 い に よるス テ レオ計測 の誤差
7
13
ス テ レオ計測 と共通視野
9
14
15
16
広視野 カメ ラ
10
魚眼 カメ ラ と全方 位 カメ ラの視野 の違 い
11
視点変化 と対応付 け
12
1.7
テ クスチ ャ レス環境 の例 (屋 内,廊 下 )
13
18
本研究 で用 い る双 曲面 ミラーの例
14
19
曲線 として投影 され る直線 の例
15
110
各特徴 の関係
19
1.11
各特徴 の例
20
112
処理 の流れ
21
113
本論文 の構成
22
21
双曲面 ミラー による全 方位 カメラの模式図
23
22
本研究 で用 い る全方 位 カメ ラ
24
2.3
本研究 で用 い る全方位 カメ ラ搭載移 動 ロボ ッ ト
25
24
25
26
27
28
双曲面 ミラーの分解図
26
二葉回転双曲面 の例
27
2つ の焦点 と光の経路
28
ミラー形状 と仰角側 の視野範 囲 の関係
29
全方位カメラの視野範囲 と双曲面 ミラーの形状 の関係
30
2.9
カメ ラ座標系
31
210
全方位 カメ ラ座標系
33
211
球面座標系
35
2.12
パ ノラマ画像
36
図 目次
213
214
歪曲収差 の影響
38
カメラ本体のキヤリブ レーシ ョンに用 い るチ ェ ックパ ターン
39
2.15
カメラ本体 のキヤリブ レーシ ョンに用 いた入力画像
キャ リブ レーシ ョンに用 い る直線 パ ター ン
2.16
.…
.
40
42
42
2.18
2D曲 線 として投影 された 3D直 線 の例
3D直 線 とミラー焦点 を含 む平面
219
全方位 カメ ラのキヤ リブ レー シ ョンに用 い た入 力画像
45
3.1
画像 の 階層 的表現 を用 いた特徴点 の探索
49
32
33
エ ッジセ グメ ン トの抽 出
52
直線 の画像間の対応付 けの流 れ
54
3.4
直線追跡 の実験環境
58
3.5
特徴点追跡 の結果 (廊 下)
60
3.6
直線追跡 の結果 (廊 下)
61
37
平行線検出の結果 (廊 下)
62
3.8
特徴点追跡 の結果 (部 屋 )
63
39
直線追跡 の結果 (部 屋 )
64
3.10
平行線検出の結果 (部 屋)
65
4.1
世界座標系 とカメラ座標系 の関係
42
2視 点 にお ける座標間 の関係 _…
4.3
直線 フィ ッテ イ ングの例
44
再投影誤差
4.5
本 手法 のカメラ運 動推定 の手順
4.6
特徴 の少 な い環境 の例
4.7
2つ の特徴 点 の距離 と擬似直線 の誤差 の関係
4.8
作成 された擬似直線 。… …
… … … ・… … … … … …
83
49
消失点 ベ ク トルの方 向の一致
.… … … … … … … … ・ …
84
4.10
回転角 の算 出
… … … … … … ・… … … … … …
85
4.11
未知 の 回転成分
… … … … … … … … … … … … …
86
4.12
3つ の平面 の交線
217
43
.…
… … … … … … …
.… … … … … … 70
… … … … .… ・ … … … … ・ 75
…
… … … … … … … … … ・… … … … …
.…
68
77
… … … … … … … … ・ 80
… … … … … … … ・… … …
81
… .… … …
81
4.13
… … … … … … … … … … … … ・ 88
理想的でな い条件 とな る環境 の例 (屋 内,通 路 ).…
…
… 91
414
点群 のば らつ きに対す る分布 の広が りと直線 の推定誤差
4.15
… … … ・ ― ― ・ … … … ・ 94
視線 ベ ク トル と消失点 ベ ク トル と平行線 の法線 ベ ク トルの関係 . 95
416
回転運動推定 の手順
.… …
.… …
92
Xl
417
視線 ベ ク トル と平行線 の 3次 元位置 ベ ク トル と平面 上の並進運
６ ７ ７ ８
９ ９ ９ ９
動 の関係
418
並進方 向 と正 常 な 3次 元計測結果
4.19
並進方向 と正常 な範囲の境界
4.20
限定 された探索範囲で の評価値 の傾 向
421
平行線 に対 して垂 直 な平面 上の並進運 動 .… … … … … … .100
422
423
直線 の再投影誤差
4.24
103
107
… … … … … … … … … … ・・ …
エ ッジ点の 3次 元計測 の手順
… … … … … … … … …
ー
ピンホ ル カメ ラモ デ ル にお け るエ ピポー ラ線 と 3Dエ ッジ点
の投影 .… … … … … … … ・ … … … … … … … … 108
エ ピポー ラ拘束 によ る対応 エ ッジ点探索 … … … … … … 109
425
426
検証実験 を行 つた環境 と入 力画像
4.27
重み付 けを行 った場合 と行 わなか った場合 のカメ ラ運 動推定結果 112
428
429
430
シ ミュレー シ ョン画像 の作成
.… … …
… …
… …
H5
… … … … H7
.… … .… H9
… … … … … … … …
4.31
カメラ運 動推定結果 の比較 .… … … … … …
よ り長 い距離で のカメラ運動推定結果 の比較
…
432
シ ミュレー シ ョン実験 にお けるカメ ラ運動 推定 お よび 3次 元計
測結果
433
434
435
436
51
…
■4
… … … … … … … … …
カメラ運動推定の比較実験環 境
Hl
… … … … … … …
実験 を行 った屋 内環境 と入 力画像
121
… … … … … …
… … … … … … … … 122
屋 内環境 にお けるカメ ラ運動 推定 お よび 3次 元計測結果
… … 123
.… … … … … … … ・ 124
屋 内環境 にお けるカメラ運動推定お よび 3次 元計測結果
… … 125
実験 を行 つた屋外環境 と入 力画像
ドロネ ー分割 (2次 元 )
128
5.2
観測点 と可視点 の間 の三 角錐
53
54
55
距離 の 2乗 に反比例 す る 3角 形 メ ッシ ュ面積
56
57
58
テクスチャ算出 .… … … … … … … … … … … … … 136
シ ミュレー シ ョン環境 の 3次 元 モ デル生成結果 … … … …
137
シ ミュレーシ ョン実験 にお ける 3次 元環境 モデル生成結果 .…
138
5.9
3次 元 モデル生成 の環境
5.10
生成 された三角網 (屋 内,廊 下 )
140
5.11
生成 された 3次 元環境 モ デル (屋 内,廊 下 )
141
cosφ
130
… … … … … … … … …
に比例す る 3角 形 メ ッシ ュ面積
… … … … … 133
… … … … … … … 134
全方位画像 か ら作成 したテクスチャの例
… … … … … … ・ 135
.
(屋 内,廊 下
)
… … … … … …
139
図 目次
5.12
3次 元 モ デ ル生 成 の 環 境
513
514
生成 された三角網 (屋 外 )
143
生成 された 3次 元環境 モ デル (屋 外 )
144
(屋 外 )
142
¨
ｎ
・
コ
表 目次
11
特徴 の定義
18
2.1
推定す るカメラの内部パ ラメー タ
37
2.2
カメ ラ本体 のキャリブレー シ ョン結果
40
2.3
推定す る全方 位 カメラのパ ラメー タ
41
2.4
全方位 カメ ラのキヤ リブ レー シ ョン結果
44
41
42
カメ ラ運動 推定 の結果
… … … … … … … … … ・…
■8
よ り長 い距離 でのカメ ラ運 動推定 の結果 。… … … … … …
120
第 1章
序論
1。
1
研 究背景
ロボ ッ ト技術 の発達 に よ り,自 律 的 に活動 す る移動 ロボ ッ トの,様 々 な場面 ヘ
の導 入が期 待 されて い る.自 律移動 ロボ ッ トの用途 としては,人 間 に とって危険
な場所 (災 害現場や原子炉 内部 な ど)で の作業や ,工 場や オ フィス,公 共施 設 で
の物品 の運搬や整頓 な どが考 え られ る。
移動 ロボ ッ トが 自律 的 に活動す るため には,活 動環境 の地図 と,地 図中での ロ
ボ ッ ト自身 の位置 と姿勢 (以 下 ,自 己位置 と呼 ぶ )を 推定す る機能 が必 要 で ある。
環境 中 に存在 す る物体 の配置 が全 く変化 しな い前提であれ ば,ロ ボ ッ トにあ らか
じめ地 図 を与 え る こ とがで きる。 この場合 ,ロ ボ ッ トに搭載 された セ ンサ によっ
て得 られ る現在地での情報 (例 えば レーザ ス キャナ (図 1.1(a))で 取得 した レン
ジデ ー タや カメ ラ (図 1.1(b))で 取得 した画像 )を ,与 え られた地 図 と照合 す る
こ とで,自 己位置 の推定 が 可能 であ る。
_L曲
(a)レ ーザ ス キャナ
図
1。
(b)カ メ ラ
1ロ ボ ッ トに搭 載 され るセ ンサ の 例
2
第 1章 序論
しか し,活 動環境 が全 く変化 しない とい う仮定が成 り立たない環境 も多数存在
す る.活 動環境 の変化 に応 じて地 図の構築や更新 を人手で行 うことが考 えられ る
が,こ れには多 くの手間がかか る.そ のため,ロ ボ ッ ト自身が活動環境 をセンシ
ン グ して地図を生成 す る機能 を持 つ こ とが望 まれ る.未 知環境 を前提 とす る場
合 ,ロ ボ ッ ト自身 がセ ンシングを行 つて環境 の地図を生成す るためには自己位置
を知 る必要があるが, 自己位置を知 るためには地図が必要である.す なわち,地
図 と自己位置 を同時 に推定す る問題 を解 く必要 が ある
.
地 図生 成 と移動 ロボ ッ トの 自己位置推定 には,さ まざまなセ ンサが利用 され
る.代 表的な ものに
,
(a)レ ーザスキャナ
,
(b)カ メラ
,
(o複 数 のセンサによるセンサフュージ ョン
,
がある.以 降では,そ れぞれのセ ンサ による従来手法や,セ ンサ の利点 と欠点を
簡単 に説明す る
.
(→
レーザスキ ャナ
レーザ スキャナを用 いた,地 図生成 と自己位置推定 の従来研究 としては,ICP
アル ゴ リズ ム [Besl'92]な どで レンジデ ー タの位置合 わせ をす る こ とに よ リロ
ボ ッ トの 自己位置 を推定す るとともに地 図 を生成す る手法 [Li'11][MilStCh'11]
や ,確 率 に基 づ き観測 デ ー タ (こ の場合 はレーザ スキヤナ によって取得 した レ
ンジデー タ)か らロボ ッ トの状態 (位 置 と姿勢)を 推定す る手法 (ShultaneOus
Localization and Mapphg(SLAM)と 呼 ばれ る)が ある [Lconard'91].SLAM
には様 々 な手法 が提案 されてお り,Rao― Blackwcl五 zed Particle Filterを 用 いた
SLAM(RBPF‐ SLAM)[msc饉 yZ'05],GraphSLAM[Car10ne'11]lKonolige'11]
[Yang'11]な どがある
レーザ スキ ャナ による計減1で は,対 象 が鏡面反射 を起 こす物体 で なけれ ば
.
,
time of iight方 式な どによってセ ンサー対象間 の絶対距離 を安定 して取得 で きる
とい う利点がある.異 なる地点間で取得 した レンジデー タの位置合 わせ を正確 に
行 う ことで,正 確 な地図 の生成 とロボ ッ トの 自己位置推定 が実現 で きる.し か
し, レンジデー タの位置合 わせが容易 でな い環境 も少なか らず存在す るため, 自
己位置推定 が不安定 になることがある
.
1.1 研究背景
SLAMは ,単 純 な位 置合 わせ に よる手法 と比 べ て ロバ ス ト性 が 高 いが ,非 線
型であるロボ ッ トの位置 と姿 勢 を線形近似 した運動 モ デルか ら予測す るこ とを繰
り返すな どの原 因 か ら,誤 差が累積 しやす い とい う問題 が ある.GraphSLAMは
評価 関数 を最小化 す る こ とで,地 図生成 と自己位置推定 を行 う非線型最適化 アプ
ローチで ある.こ の手法 で は誤差 の累積 を低減す る ことが 可能で あるが,最 小化
゛
の過程で局所解 に陥 る問題 を完全 に防 くこ とは困難 であ る
.
また, レーザ スキ ャナを用 い た手法 で は,ロ ボ ッ トの移動が (多 くの場合 ,生
成 され る地図 も)2次 元平面上 に限定 され る ことが ほ とん どであ る。 ロボ ッ トの
3次 元運動 を推定 す るためには,3次 元 の レンジ デ ー タが必要 で あ る。 しか し
,
レーザ ス キャナで 3次 元 レンジ デー タを取得す るためには レーザ光 を反射 させ る
ミラー を動 か して (あ るいはレーザ スキ ャナ自体 を回転 させ るな どして)空 間 を
ス キャ ンす る必要が あ り,2次 元 のスキャン と比 べ膨大 な時間 がかか る
.
また,離 れた位置で取得 した 3次 元 レンジデ ー タ間の対応付 け手法が確立 され
て いな い ことも問題 の 1つ として挙 げ られ る.カ メ ラを用 いた場合 には,異 な る
位置で撮影 された画像 間 の対応付 け手法が確立 されて い るため,対 応付 け情報か
らカメラの位置や姿勢 の 関係 を高速 に推定す る こ とが可能 であ り
(カ
メ ラを用 い
た手法 に関 して は,以 降 で詳 し く述 べ る),ロ ボ ッ トの 3次 元運動 が 問題 とな ら
な い ことが 多 い.し か し,3次 元 レンジ デ ー タ間 の対応付 けが 困難 で ある こ とか
ら,レ ーザ ス キ ャナのみを用 いて ロボ ッ トの 3次 元運動 を推定す る こ とは困難 で
ある
.
ロボ ッ トの位 置 と姿勢 のパ ラメ ー タを全探索 的 に推定 す る こ とも考 え られ る
が ,2地 点間で の位置 と姿 勢 のパ ラメー タは 6自 由度 あ るため, これ を全探 索的
に推定す るには膨大 な時間がかか る.以 上 の理 由か ら,3次 元 レンジデ ー タ同士
を直接 的 に位置合 わせ す るので はな く, レーザ ス キャナ以外のセ ンサか らレンジ
デ ー タを取得 した ときの ロボ ッ トの位置 と姿勢 の情報 を取得 す る こ とが現実 的で
あ る.こ の従来研 究 として ,互 いの位 置関係 の情報 を取得 可能 な セ ンサ を搭載
した親 ロボ ッ トと子 ロ ボ ッ トに よる 3次 元 モ デ リン グの 手法 が 提案 されて い る
[Kllrazulne'09].
4
第 1章
序論
(b)カ メラ
カメ ラを用 い た 手法 で は,撮 影 中 のカメ ラの位置 と姿勢 の 変化 (以 下 ,カ メ
ラ運 動 と呼 ぶ )を 推定 す る こ とが移 動 ロ ボ ッ トの 自己位 置推 定 と同義 で あ る
.
カメ ラを用 いた従 来研 究 として は,レ ーザ ス キ ャナ と同様 に確 率 に基 づ く手法
(VIsual sLAM(vSLAM)と 呼 ばれ る)[Davison'07][HsiaO'11]を 適用 した もの
と,カ メ ラ運動 を確定的 に推定 す る手法 (Smcture bm Motion(SNl)と 呼 ば
れ る)[Rachmielowsk'06][Tykkala'11]に 大別 され る
.
vSLAMは リアル タイ ム性 を重視 して い る こ とが多 く,処 理速度 の速 さが利点
の一 つ で ある。 しか し,一 度 に観測 す るラン ドマー ク (画 像 間 の対応 付 けが容易
な点 (特 徴 点)な ど)の 数 が多 い と処理 時間 が膨大 にな る こ とは避 け られな いた
め, リアル タイ ム性 の確保 のた めにはラ ン ドマー ク数 を少 な くす る必要 が あ る
.
その結果 ,疎 な点群 (数 メ ー トル四方 の 3次 元空間中 に数点 ∼数十点程度 )の み
で構成 され る地 図 しか生成 で きな い.た だ し,ス テ レオカメ ラを含 め,複 数 のセ
ンサ を組 み合 わせ た場合 は この 限 りで はな い
.
一 方 ,SfMは 計算処 理 上,SLAMと 比 べ て多数 の ラ ン ドマー クを扱 うのが 容
易 で あ る。 そのため,SLAMと 比 べ て密 な点群 (数 メ ー トル 四方 の 3次 元空間
中 に数千点∼数 万点)で 構成 され る地図 が生成 で きる.ま た,非 線型最適化 アプ
ロー チを適用 しやす い ことか ら,カ メ ラ運動推定 お よび 3次 元計測 の精度 に関 し
て も SLAMと 比 べ て有利で あ る とい われ る
.
一般 にカメラを用 い る手法 では,画 像間 で対応 付 けた特徴 (例 えば点や直線 )を
三 角測量 に よって計測す る.特 徴 の対応 付 け手法 として様 々 な手法 が提案 されて
い るが (KLTト ラッカ [Sh'94],SIFT特 徴 量 [Lmc'04],SIIRF特 徴量 pay'06]
な ど),画 像 間 での厳密 な対応付 け は困難 で,必 ず誤差 が生 じる。 この ときに生
じる誤差 は,必 ず しもガ ウス分布 に従 わない ため,多 数 の デ ー タを用 いて も誤差
の累積 は避 け られな い。 したが つて,Ime of■ ight方 式 で計測 が 可能 な レーザ ス
キヤナ と比 べ る と,計 測 の精度 や安定性 の面 で不利であ る
.
ただ し,空 間 をスキヤンす る必要 の あ るレーザ スキヤナ と比 べ ,カ メ ラは短 い
時間 で周 囲 の色 情報 を 2次 元 の画像 として取得可能であ る.ま た,レ ーザ ス キャ
ナの みを用 いて ロボ ッ トの 3次 元運動 を推定 す る手法が確立 されて い な いのに対
し,複 数枚 の画像 か らカメラの 3次 元運動 を推定す る基礎 的な理論 はすで に確 立
されて い る.そ のた め,ロ ボ ッ トの移動が 2次 元平面 上 に限定 され な い こ とが
,
カメ ラを用 いた手法 の大 きな利点 の 1つ である (た だ し,問 題 を簡単 にす るため
に 2次 元平面上 の運動 に限定 す る手法 も多数存在す る [Scaralrluzza'08]).
1.1 研究背景
5
3次 元運 動 を推定 す る手法 として は,2枚 の画像
間 で 点 の対応 が最低 8組 得 られれ ば撮影 した 2視 点間 のカメ ラ運動 を推定可能
な 8点 法 [Hartley'97al,近 似 カメ ラモ デ ル を用 い る こ とで複 数視 点 のカ メ ラ運
画像情報 のみか らカメ ラの
動 を推定可能 な因子分解 法 [PocLnan'97],そ の他 に も トリフォー カルテ ン ソル
[HartlCy'97b][Tor'97],5点 法 [Nister'04]な どが 提案 されて い る。3次 元運 動
を推定 す る こ とが 比較 的容易 で あ る とい う利点 か ら,カ メ ラを用 いて ヘ リ コ プ
ター な どの空 中 ロ ボ ッ トの 自己位置推定 をす る研究が行 われて い る [IIrabar'o3]
[Lee'11].ま た,配 管 内 の検 査 [HallSCn'H]や 内視鏡 [Grasa'11]の よ うな用途 に
も応用 されてお り,カ メ ラを用 いた手法 は汎用 性 が高 い とい える。
さらに,対 象物 の 3次 元形状 が得 られ るだけでな く,色 情報 を利用 した物体認
識 (エ ッジ方向特徴 によ る物体認識 [Miko珂 昭沐 '03],HOG特 徴量 に よる人検
出 [Danal'05]な ど)と の併用 に よる, よ り高度な ロボ ッ トの知能化 システムが
,
カメラのみで実現で きるとい う利点 もある [TomonCl'09].
(c)セ ンサフュージ ョン
複 数 の セ ン サ を 用 い た セ ン サ フ ュ ー ジ ョン に よ る手 法 も数 多 く存 在 す
る.カ メ ラ と超 音波 [Wci'98],カ メ ラ とオ ドメ トリ [Karlsson'05],カ メ ラ と
GPS[McrO'05b][Pollefeys'08],レ ー ザ ス キ ャナ と GPSと ジ ャイ ロセ ンサ
[SW」 ご 10],レ ーザ ス キャナ とカメラ Jeong'11],レ ーザ ス キャナ とカメラと
GPS[MegurO'05alな ど, さまざまな
「組み合わせが提案 されて い る
セ ンサ フュージ ョンに よる手法は,互 いのセ ンサの欠点を補 い合 うこ とで,安
.
定 して高精度な地図生成 とロボ ッ トの 自己位置推定 を可能 とす る。 しか し,シ ス
テ ムの複雑 さが増す ことや,ロ ボッ トの構成 が大型化す る,高 価 なセ ンサを複数
搭載する必要 が あるな どの問題 がある。 また,GPSの よ うに屋内で は使 えないセ
ンサがあるな ど,常 にすべ てのセ ンサが利用可能 なわけではない.し たがって
,
個 々のセ ンサによるセ ンシング技術 の向上 は重要 な課題である
.
以上の ことか ら,本 研究 では,比 較的安価 で汎用性 の高 いカメラを用 いて,地
図生成 とロボ ッ トの 自己位置推定を実現す る ことを目指す.以 降では,カ メラを
用 いた手法 をさらに詳組 に比較す る
.
6
第 1章
序論
まず,用 い るカメラの台数 に関 して議論す る
.
カメ ラを用 いた手法 で は,異 な る位置で撮影 された,少 な くとも 2枚 の画像 間
で対応 した特徴 (点 あるいは直線 )を 取得 し,画 像 を撮影 した視点間 のカメラの
位置 と姿 勢 の関係 か ら特徴 の 3次 元位置 を計測 す る.こ れ は一 般 にステ レオ計測
と呼 ばれ,三 角測量 の原 理 に基づ いて い る.ス テ レオ計測の手法 は,用 い るカメ
ラの台数か ら
,
(1)複 数 のカメラを用 いる手法 (複 眼 ステ レオ法 ),
(2)1台 のカメラを用 いる手法 (単 眼 ステ レオ法 ),
の 2つ に大別 され る。本論文 で は,複 数 のカメ ラを用 い る手法 を複 眼ス テ レオ法
と呼 ぶ .1台 のカメ ラで撮影 した動画像 か らカメ ラ運動 の推定 と被写体 の計測 を
行 う手法 は,そ の考 え方 か ら vSLAMと
SfMの 2つ が存在 す るが ,
ここで は
,
複 眼 ステ レオ法 と対比 して,1台 のカメ ラを用 い る手法 を単 限 ステ レオ法 と総称
す る こ ととす る.以 下 で はそれ ぞれ の方法 の利点 と欠 点 を比較 す る
.
(1)複 眼 ステ レオ法
複 眼 ステ レオ法で は,複 数 のカメ ラの相互 の位置 と姿勢 を固定 し,計 測 の前 に
あ らか じめカメ ラ間 の関係 をキ ャリブ レーシ ョンによって 求 めてお く.各 カメ ラ
で画像 を取得 して画像 間 の対応 を とることで,あ らか じめ求めてお いた カメ ラ間
の関係 か らステ レオ計測 が行 える
.
複 眼ス テ レオ法 の利点 は,キ ャリブ レー シ ョンにチ ェ ックパ ター ンな どの形状
が既知 で あ る物体 を利用 す る こ とで ,カ メ ラ間 の 関係 を精度 良 く推定 で きる こ
と,お よびステ レオカメ ラ自体 を動 か す こ とな くその場 で計測 が行 える (す なわ
ち ロボ ッ トが移動す る ことな く計測 がで きる)こ とであ る。一 方 .単 眼 ス テ レオ
法で は,3次 元計測 に必要 な,異 な る位置で撮影 された画像 を取得す るためには
,
ロボ ッ トを移動 させ なけれ ばな らな い。
1。
1
研究背景
ただ し,一 般 にス テ レオ計測 は,計 測対象 まで の距離 に対 して十分 に長 い基 線
(カ
メ ラ間 を結 ぶ線分 )が 得 られ な い場合 ,計 測誤差 が増加 す る。 ス テ レオ計測
で は,位 置や姿勢 の関係 が分 か つて い る 2つ 以上 の視点 か ら,3次 元 空 間中で 同
一 で あ る点 な どを観測す る (す なわち,画 像間 の対応付 けをす る)こ とで,三 角
測量 に基 づ き計測 を行 う。対応付 け に誤差 が全 く生 じな い場合 には,基 線長 に関
わ らず計測誤差 は生 じな いが,異 な る視点 で全 く誤差 な く対応付 けをす るのは困
難 で あ る。 なぜ な ら,1枚 の画像 か ら得 られ る情報 は,画 素 ご とに量 子化 された
離散的な輝度値 の みであ り,単 純 に考 え る と,対 応付 けの際 には最大 で画素 の半
分 の大 きさの誤差 が生 じるか らで あ る.以 上の こ とか ら,対 応付 け誤差 のため
3次 元計測 の奥行 き方 向の誤差 は,基 線 が短 い ほ ど大 き くな る
(図
,
1.2)。
0予 想される計測誤差
島 島
(a)短 い基線
図
1。
島
島
(b)長 い基線
2基 線長 の違 いに よるス テ レオ計測 の誤差
複 眼 ス テ レオ法 で は ロ ボ ッ ト上 に複 数 の カメ ラを固定 す るた め,基 線長 は ロ
ボ ッ トの大 きさ以下 に限 られ る。 したが つて複 眼 ス テ レオ法で は,ロ ボ ッ トか ら
遠 く離れ た物体 を計測 す るのには適 さな い。
複 眼 ス テ レオ法の従来研究 としては,ス テ レオカメ ラを用 いた地 図生成 と自己
位置推定 [Lategahn'H]や ,視 野 の狭 さを克服 す るために 2台 の魚 眼 カメ ラを用
いた 手法 [NishimotO'07]や 2台 の全 方位 カメ ラを用 い た 手法 (平 面推定 に よる
自己位置推定 [CarOn'H]や 広範 囲 の奥行 きマ ップの生成 [Labutov'H]な ど)が
提案 されて い る。
8
第 1章
序論
a)単 眼 ステ レオ法
単眼 ス テ レオ法で は,1台 のカメ ラを移動 させ る ことで,異 な る視点 か らの画
像 を取得 す る。画像 中か ら抽出 した特徴 の画像 間 での位置 の変化 か ら,撮 影 中の
カメ ラの位置 と姿勢 の変化 (カ メラ運動 )と 特徴 の 3次 元位置 を推定す る。
単 眼 ス テ レオ法 で は 1台 のカメ ラを移動 させ て画像 を取得 す るた め,対 象物
までの距離 に応 じて基線長 を調整 で きる とい う利点 が ある。 ただ し,(GPSな ど
の位置情報 を取得可能なセ ンサ を用 い な い限 り)撮 影 中 のカメ ラ運 動 は不明で あ
るため,画 像 か ら撮影 中 のカメ ラ運動 を推定す る必 要 が ある.そ のため,同 じ条
件 (基 線長や対象物 を撮影す る姿勢 な ど)で 計測 を行 う場合 ,キ ャリブレー シ ョ
ンに よってカメ ラ間の関係 を精度良 く推定 す る ことがで きる複 眼 ス テ レオ法 と比
べ ,単 眼 ス テ レオ法 は計測誤差 が大 き くな る。
単 眼 ス テ レオ法 の従来研究 として は,基 線長 を 自動的 に選択す る単 眼ス テ レオ
法 [TomonO'05],動 画像 中 の物体 の直線 を抽 出 し,そ の対応 関係 か らカメ ラ運動
推定 と直線 の 3次 元計測 を行 う手法 [Bart011'05],ロ ボ ッ トに搭載 された 1台 の
カメ ラで ラ ン ドマ ー クを観測す る ことで複数 の 同様 の ロボ ッ トとの協調 を行 う手
法 [Leung'11]な どが提案 されて い る。
以上 を踏 まえ,本 研究 で は,計 測対象 の距離 によ らな い計測 が 可能であ る単 眼
ス テ レオ法 を採用 す る.未 知環境 を前提 とす る場合 ,ロ ボ ッ トか ら周囲 の物体 ま
での距離 も未知であ るため,単 眼ス テ レオ法 が望 ま しい.ま た,単 眼 ス テ レオ法
の 中で も SfMに よる手法 を採用 し,精 度 の 良 い カメ ラ運動推定お よび 3次 元計
測 を 目指す
.
SfMは ,そ の基礎的な理論 はすで に構築 されてお り,さ
まざまな手法が提案 さ
れて い るものの,実 際 に ロボ ッ トが取得 した動画像 に適用 す るためには,い くつ
かの課題 を解決す る必要 があ る。以降 では 絣Mの 課題 について議論 す る
.
1。
1
研究背景
SfMの 解決すべ き課題 としては
,
(α )広 い視野 の確保
,
)特 徴 の対応付け
(0/pカ メラ運動推定
(β
,
,
の 3つ が挙げられ る。以降では上記 の 3つ の課題 とその解決策 につ いて述 べ る。
(α )広 い視野 の確保
ステ レオ計測 では複数 の画像間で共通 して写 って い る (共 通視野内 に存在する)
物体 しか計測 で きな い (図
1.3)。
一般的なカメラとレンズの構成 では,そ の視野
は数十度 で あ り,共 通視野 はカメラ単体 の視野 よ りも狭 くなる.広 い範囲の計測
が必要な周囲環境 の地図生成 のためには,カ メラの視野 は広 い方 が望 ましい。 ま
た,視 野 が狭 いカメラよ りも視野 が広 いカメラの方 がカメラ運動推定 に有利 で あ
る こ とが示 されて い る [Gluchnan'98].広 視野 カメラは,SIM以 外 に も,広 い視
野 が有効 となるナビゲ ー シ ョンや [Gaspar'00][Menegatti'04][Ramalingam'09],
3次 元 モデル生成 [PrettO'11]な どに も用 い られ る。
カメラA視 野
共通視 野
カメラA
島却
島
カメラB視 野
図 1.3ス テ レオ計測 と共 通視野
10
第 1章
序論
広視野 カメ ラ として は,魚 眼 カメ ラ [Torii'08]や 全 方位 カメ ラ [Chang'00]な
どが用 い られ る (図
1.4)。
全方位 カメラには,複 数 のカメ ラを組 み合 わせ ,そ れ
ぞれ のカメ ラで取得 した画像 をつ なぎ合 わせ る こ とによ リパ ノ ラマ画像 を得 るも
の も存在 す るが [SatO'05],画 像 間 の対応付 けの 問題 な どが あ る.そ のた め,一
般 的な視野 のカメ ラの先端 に曲面 ミラー を取 り付 けた全方位 カメ ラが多 く用 い ら
れて い る。曲面 ミラー として は放物面 ミラー [Geyer'03]も し くは双 曲面 ミラー
[BunSChOten'03]な どが用 い られ る。 以降 で は,全 方位 カメ ラ とは曲面 ミラー を
利用 した ものを指 す こととす る。
(a)魚 眼 カメ ラ
(b)全 方位 カメ ラ
(c)魚 眼 カメ ラ画像
(d)全 方位 カメ ラ画像
図
1。
4広 視野 カメラ
1。
1
研究背景
魚 眼 カ メ ラや全 方位 カメ ラで は,視 野 の広 さ 自体 はほぼ 同 じで あ り,空 間全
体 の 約 半分 を 1枚 の 画像 に結像 す る.し か し,視 野 の 範 囲 は それ ぞれ異 な る
(図
1.5)。
魚 眼 カメ ラは,カ メ ラの光 軸方 向 に対 して前方が視野範 囲 で,カ メ ラ
後方 は死角 にな る。全方 位 カメ ラは, ミラー の軸方 向 に対 して垂 直 な方 向 の全周
360度 が視野範 囲 とな り, ミラー の軸方 向 はカメ ラに対 して前方後方 に関わ らず
死角 にな る。魚 眼 カメ ラ,全 方位 カメ ラ ともに画像 は 円形 に歪 んで結像 され る。
以上 の こ とか ら,魚 眼 カメ ラは前方 を広 く見 る用途 に適 してお り,全 方位 カメ ラ
は周囲 360度 を見渡す の に適 して い る とい え る。
死角
度 一 一 動
０
卜
８
︲
90度
II11
90度
島
死角
(a)魚 眼 カメ ラの視野
(b)全
方位 カメ ラの視野
図 1.5魚 眼 カメ ラと全方位 カメ ラの視野 の違 い
魚眼 カメ ラを ロボ ッ ト上 に搭載す る ことを考 える と,魚 眼 カメ ラ光軸 を ロボ ッ
ト前方 に向ける とロボ ッ トの後方 が死角 とな り,光 軸 を床面 に対 して上 に向ける
と天 丼 もしくは上空 を広 く撮影 して しまい,カ メ ラよ り下方 が死 角 とな る。 した
が って,魚 眼 カメ ラは ロボ ッ トに搭載す る用途 に適 さな い。
一 方 ,全 方位 カメ ラの視野範 囲 は ロボ ッ トの前後左右 を撮影可能 で ,カ メ ラの
光軸方 向 に対 して上 下方 向の視野 も有 して い る。 そのため,移 動 ロボ ッ ト上 に搭
載 す る こ とを前提 とす る広 視野 カメ ラの研 究 で は,全 方位 カメ ラが 採用 され る
ケ ー スが 多 い。本研究 で は,通 常 の視野 のカメ ラの先 端 に双曲面 ミラー を取 り付
けた全方位 カメ ラを用 い る。 同 じ曲面 ミラーで も,放 物面 ミラー を用 い る全方位
カメ ラ と比 べ ,双 曲面 ミラー を用 い る全方位 カメ ラは,幾 何学的 に簡易 で扱 いや
す い ミラー焦点 を投影 中心 とす るカメ ラモ デルが適用 で きる。 カメ ラモ デ ルに関
しては第 2章 で よ り詳細 に述 べ る。
12
(β
第 1章
序論
)特 徴の対応付け
SfMで は,画 像 中か ら対応付 けが容易 な特徴 を抽 出 し,動 画像 中で連 続 して対
応 付 ける (追 跡 す る).特 徴 の対応付 け情報 か らカメ ラ運 動 を推定 す るた め,特
徴 の対応付 け誤差 が 大 きい とカメ ラ運動推定 の誤差 も大 き くな る。 したが つて
,
特徴 の対応付 け は非常 に重要 な問題 で あ る
.
前述 の よ うに,す で に有用 な特徴 の対応付 け手法 が 提案 されて い る。KLTト
ラ ッカ [Shi'94]は ,動 画像 中 で 隣 り合 う画像 間 の 変化 は十分 に小 さい と仮定 し
SUIV特 徴 量 [Bay'06]は
エ ッジの勾 配 を利用 して回転や ス ケ ー ル に不変 な特徴量 を記述 し,離 れた位置 で
撮影 された画像 間 にお いて もロバ ス トな対応 付 けを可能 とす る。 しか し,物 体 に
て ,特 徴 点 の追跡 を行 う。 SIFT特 徴量 [Lowe'04]や
対 して視点 が変化 す る際 に生 じる射影変形 の影響 を完全 に排除す る ことは困難 で
あ るため,い ずれ の手法 にお いて も対応付 けの誤差 が生 じる (図 1.6).
亀 島
Ｄ 一 ・
¨・
対応 付 けが容 易
図 1。 6視 点変化 と対応付け
対応付け
困難
1。
1
研究背景
13
また従来手法 で は,屋 外環境 での セ ンシン グ [Tardif'08]な ど,得 られ る特徴 が
豊 富 で あ る前提 の手法 が 多 い.し か し,移 動 ロボ ッ トが活動 す る環境 には,廊 下
の よ うに平 坦 で色 合 い変化 に乏 しい (テ クス チ ャ レス な)場 所 も含 まれ るため
,
利用 可能 な特徴 点 の 数 が極 めて 少 な くな る こ とも想 定 され る (図
1.7)。
その場
合 ,カ メ ラ運 動推定 の精度 が低下 した り,計 算処 理上で破 綻 した りす る可能性 が
あ る。 したが って,環 境 によっては,特 徴点 だ けでは安定 してカメ ラ運 動 を推定
す るためには不十分 であ る。
＼
図 1.7テ クスチ ャ レス環境 の例 (屋 内,廊 下 )
移動 ロボ ッ トが活動す る環境 には,建 物 を含 めさまざ まな人 工 物 が存在 す る こ
とが想定 され る。人 工物 は直線形状 を含 む ものが 多 いため,動 画像 中で直線 の対
応 が常 に得 られ る とい う前提 は 自然 で あ る。 そ こで,特 徴 として直線 を利用 す る
こ とが有効 で あ る と考 え られ る。直線 は射影変形 の影響 を受 けづ らいため,視 点
の大 きな変化 に対 して も頑 健 な特徴 で ある。 したが つて,点 を特徴 とす る場合 と
比 べ ,誤 差 の小 さい対応付 けが期待 で きる。
直線 の 対応 関係 を用 い る
SIMの 従 来研 究
[Ba■ 01i'05]の 他 に も,カ メ ラ運
動 を既 知 と して 直線 の 追 跡 お よび 計 測 を行 う こ とで 物 体 形 状 を復 元 す る手 法
,建 物 内 のモ デル を既知 として直線 の位置合 わせ を行 うこ とでナ
ビゲ ー シ ョンを行 う手法 [DeSouza'02]な ど,そ の他 に も多 くの 手法 が提案 され
[CrOWley'92]や
てお り lYagi'00],特 徴 として直線 を利用 す る こ との有用性 が示 されて い る。
第 1章
14
序論
以上 の こ とか ら,本 研究 で は,主 に利用 す る特徴 として直線 を採用 す る。 しか
し,カ メ ラ運動推定 の精度 お よび安定性 の 向上 のためには,よ り多 くの特徴 を用
い るのが望 ま しい.そ こで,2つ の特徴 点 を結 んで擬似 的な直線 (擬 似直線 )を
作成 す る。 これ に よ り特徴点 を,画 像 中か ら検 出 した実際 に存在 す る直線 と同様
に扱 うこ とがで きる。
ただ し,対 応付 け誤差 の大 きい特徴点 を用 い る とカメ ラ運 動推定 の誤差 も大 き
くな るため,利 用 す る擬似直線 (す なわち特徴点 )を 適切 に選択す る必要が あ る。
また,実 際 に存在 す る直線 の検 出,あ るい はその画像 間 の対応付 けに も大 きな誤
差 が含 まれ る可能性 が あ る。 そ こで,最 終 的 にカメ ラ運 動推定 の誤差 が小 さ くな
る特徴 のみを,自 動的 に選択す る必要が あ る。
直線 を利用 す るため には,ま ず画像 中か ら直線 を検 出す る必要が あ る.直 線 を
検 出す る上で 問題 とな るの は,画 像 の歪 みの影響で あ る.ミ ラー の反射 を利用 し
た全方位 カメ ラで は, ミラー の形状 に依存 して取得 画像 に歪 みが生 じる。本研究
で用 い る双 曲面 ミラー (図 1.8)を 利用 した全方 位 カメ ラの場合 ,双 曲面 の軸方
向か ら見 る とミラー は円形 に見 える こ とか ら,取 得画像 は円形 に歪 んで い る。 そ
のため,3次 元的 には直線 で あ つて も,全 方位画像上 で は曲線 として投影 され る
(図
1.9).そ こで,全 方位画像 か ら直線 を検 出で きる手法が必要で あ る。
図
1。
8本 研究 で用 い る双 曲面 ミラーの例
1.1 研究背景
15
…｀
ξⅢ
1
曲線として投影 された直線
‐、
ヽ′
(a)全 方位 カメ ラで撮影 した直線形状
図
1。
i
(b)元 の直線形状
9曲 線 として投影 され る直線 の例
特徴 点 と異 な り,直 線検 出 お よび対応付 けの手法 は確 立 されて い な い。 そのた
め従来研 究で は,手 動 で検 出や対応付 けをす るか [Ly'10], も し くは個 々 に独 自
の ア ル ゴ リズ ム を考案 して い る。直線検 出 の従 来方法 として ,直 線 の端 点 を抽
出 し,そ れ らを結 ぶ こ とで直線 を検 出す る手法が ある [Bart01i'05][Schindler'06]
[Smith'06].端 点 を コー ナ ー点検 出手法 (KLTト ラッカな ど)に よって取得 す る
ことが考 え られ るが,必 ず しもすべ ての物体 の角点 を検 出す る こ とはで きな いた
め,端 点 を利用 す る直線検 出手法 は好 ま しくな い。 その他 に放物面 ミラー を用 い
た全 方位 カメ ラ画像 か らの 直線検 出 [BossC'02]が 提案 されて い るが ,本 研 究 で
用 い る双 曲面 ミラー を利用 した全方 位 カメ ラに,そ の まま適用 す る ことはで きな
い。 そ こで本研究 で は,双 曲面 ミラー を用 いた全 方位 カメ ラ画像 か らの直線検 出
お よび対応 付 けの手法 を提案す る
(0/bカ
[り
‖西 '10].
メラ運動推定
提案 手法 で は,画 像 間 の 直線 の 対応 関係 か らカメ ラ運 動 を推定 す る。直線 の
対応 関係 か らカ メ ラ運 動 を推定 す る基礎 的 な理 論 は,す で に提 案 され て い る
[SpaCek'86][Faugeras'93][Hartley'97b].
16
第 1章
序論
SNIの 考 え方 として は,近 似 による線形解法 に よってカメ ラ運動 の
初期解 を算出 し,そ の後 に非線形最適化 アプ ロー チ によって線形化 近似 による誤
差 を最小化 す る こ とで,カ メラ運 動 を推定す る.こ れ は,カ メラ運 動 の推定 は 自
由度 の高 い非線形 問題 であ り,全 探索的 に解 くことは困難 であるか らであ る。 た
だ し,非 線形最 適化 アプ ロー チで は,真 値 に近 い初期値 が与 え られな い場合 には
一 般 的な
局所解 に陥 る こ とが あ り,カ メ ラ運 動推定 お よび 3次 元計測 の誤差 が大 き くな る
要因 とな る.多 数 の特徴 が得 られ る場合 は,線 形化 による誤差 をある程度抑 え ら
れ る こ とが あ るが ,廊 下 の よ うな特徴 の少 な い テ クスチ ャ レス環境 において は
,
多数 の特徴 を取得 す る ことはで きな い.そ のため,非 線形最適化手法 を適 用 して
も,精 度良 くカメ ラ運 動 を推定す る ことが 困難 な場合 があ る
.
そ こで ,特 定 の位置や姿勢 にあ る直線 を利用 す る こ とで ,問 題 を簡 単 に して
SfMを 解 く手法が提案 されて い る.直 線 の位 置や姿勢 が 限定 され る こ とで ,局
所解 に陥 る危 険性 を低 減 で き る とい う利 点 が あ る。床面 上 の直線 と床面 に対 し
て垂 直 な直線 のみを利用 す る手法 [G.Zhang'H]や ,天 丼 の直線 を利用 す る手法
[Folkessoll'05][WYJemぽ 07]な どがある。 しか し,こ れ らの手法 は適用可能な
環境 が 限 られ るとい う問題 がある。
その他 に,平 行線 を利用 す る こ とで,カ メ ラ運動推定 の 自由度 を低減す る手
法 が提案 されて い る.推 定す るパ ラメ ー タの 自由度 が低 いほ ど,非 線形最適化
アプ ロー チ を適用 した際 に局所解 に陥 りに くくな り,カ メ ラ運 動推定 の精度
の向上が 期待 で きる.平 行線 を利用 した
SfM手 法 もすで に提案 されて い るが
[SChhdler'06][M前 o“ d'071,従 来手法 の多 くはカメラ運動 を 2次 元平面上 に限
定す る必要がある,あ るいは特定 の環境 にしか対応 できないな ど,多 くの前提条
件 が存在す る。 また従来手法で は,推 定す るカメラの視点数や平行線の数が増加
す る こ とで 自由度 が高 まる ことに違 い はないため,根 本 的な解決 には至 ってい
ない。
そ こで本研究 では,前 提条件 を全方位画像 中か ら平行線 が得 られ ることのみ と
す る.人 工物 か らは床面 に対 して垂直 あるいは水平 な直線 が得 られやすい。 また
全方位 カメラは広 い視野 を有 してい るため,画 像 中か ら平行線 を常 に検出す るの
は難 しくない.平 行線 か ら得 られ る拘束条件 を利用す ることで,推 定す るカメラ
の視点数 によらず一定 で,か つ低 い 自由度 での非線型最適化 アプローチによるカ
メラ運動推定手法 を提案 す る
.
1.2 研究 目的
17
1.2 研 究 目的
本研 究 の 目的 は,Smcire ttom Motionの 枠組 みで周 囲環境 の地 図 生 成 とロ
ボ ッ トの 自己位置推定 を実現す る手法 を構築 す る ことで あ る.本 研究 で提案 す る
手法 は,従 来手法 では対応 困難 な,特 徴 の少 な い環境 にも対応可能 で ある.提 案
手法 の骨子 は以下 の とお りである
.
・ 視野 の広 い全方位 カメラを 1台 のみ用 いて
o視 点 の変化 に頑健 な特徴 で ある直線 を検 出 し
,
,
o平 行線 を利用 した ,局 所解 に陥 りに くい非線型最適化 アプ ロー チ に よ り
,
カメ ラの 3次 元運動 を推定す る
.
さらに,推 定 されたカメ ラ運 動 を用 いて画像 中 の物体 の 3次 元計測 を行 い,計
測結果 か ら環境 の地図 とな る 3次 元環境 モ デル を生成 す る.実 際 の環境 で撮影 し
た動画像 を用 い,提 案手法 の有効性 を示す
.
第 1章
序論
1.3 画像特徴 を指 す用語 の定義
本論文 で は,画 像特徴 を指す用語が複数登場す る
.
同 じ用語で あつて も,著 者
あ るいは分野 によって定義が異な る場合 が あるため 本論文 で用 い る画像 中の特
,
徴 に関す る用語 を以下 の表 1.1の よ うに定義す る
.
表 1.1特 徴 の定義
エ ッジ点
コー ナ ー点
色合 いが 急激 に (ス テ ップ状 に)変 化す る境界 にあた る点
.
複数 の方 向 に色 合 いが急激 に変化 す る交差 点 .直 感的 には物
体 の角 にあた る点
.
画像 間 での対応 付 けが容易 で あ る と評価 され た点 .評 価基準
悧
点
は手法 に よって異 な るが ,コ ー ナ ー点 も し くは コー ナ ー付近
の点が特徴点 として抽 出 され る ことが多 い。
直線
3次 元 空 間中の直線 もし くは画像上 に投影 された直線 .見 か
け上,全 方位画像 中では曲線 として投影 され る場合 も含む
.
平行線
同 じ 3次 元方 向であ る直線
.
本論文 において,画 像中の特徴 を指す場合 と,そ の 3次 元計測結果 を指す場合
とで明示的 に区別す る必要 がある,あ るい は区別 した方が可読性が良 い と判断 さ
れ る場合 には,特 徴 の名称 の前 にそれぞれ 2D,3Dを つ けて記述す る (2Dエ ッ
ジ点,3Dエ ッジ点な ど).
エ ッジ点は, コー ナー点,特 徴点,直 線 の全てを含 む.ま た,エ ッジ点 には曲
線上 の点 も含 まれ るが,本 論文 で は曲線 を検 出対象 とす る手法 を適用 しないた
め,特 に特徴 として表 1.1で 定義 していない.著 者 によっては, コーナー点 と特
徴点が同じ意味で用 い られ ることが あるが,実 際 の画像処理結果で は,特 徴点 と
して直線や曲線上 の点が選択 され ることもあるため,本 論文ではこの 2つ を区別
してい る
.
1.3 画像特徴 を指す用語 の定義
19
本論文 にお けるエ ッジ点 とコー ナ ー点 ,特 徴点 ,直 線 の関係 を図 1.10に 示 す
.
いずれ の特徴 に も含 まれ な いエ ッジ点 は,曲 線 上のエ ッジ点であ る。本研究 にお
い て ,直 線 の端 点 は コー ナ ー 点 として 扱 われ る (た だ し,明 示 的 に直線 の端 点
を抽 出す る こ とは しな い)。
したが って ,直 線 で あ り,か つ コー ナ ー点で もあ る
エ ッジ点 は,直 線 の端点 で あ る。 理想 的 には全 ての コー ナ ー点 お よび直線 の端点
が特徴点 として抽 出 され る こ とが期待 され るが ,実 際 に特徴点 として抽出 され る
のは それ らの一 部 で あ る。 また,直 線 上の エ ッジ点, もしくは曲線 上の エ ッジ点
が特徴 点 として抽 出 され る こともある。
図
1。
10各 特徴 の 関係
20
第 1章
序論
画像 中 のエ ッジ点 ,特 徴点 ,直 線 を抽 出 した例 を図 1.Hに 示す。
I
￨￨
(a)元 画像
(b)エ ッジ点
(c)特 徴点
(d)直 線
図
1。
11各 特徴 の例
1。
1。
4 3次 元環境 モデ リングの処理の流れ
21
4 3次 元環境 モ デ リング の処理 の流れ
本節 で は,提 案手法 に よる 3次 元環境 モ デ リン グの処理 の流 れ を説明す る。全
方位 カメ ラを搭載 した ロボ ッ トを移動 させ なが ら撮影 を行 い,全 方位画像 を取得
す る。取得 した全方 位画像 中か ら特徴 点 と直線 を抽 出 し,以 降 の画像列 で追 跡 す
る。 それ まで に取得 した画像特徴 の,画 像 間 の対応関係 を用 いて,画 像 を撮影 し
た際 のカメ ラ運 動 を推定 す る.こ の とき,提 案手法 ではカメ ラ運動 と画像特徴 の
3次 元方 向 と 3次 元位置 が 同時 に推定 され る。 カメ ラ運動 推定結果 を用 いて エ ッ
ジ点 の 3次 元計測 を行 う こ とで ,画 像特徴 のみで は計測 され な い部分 を補 完 す
る。計測 を続行 す る場合 には画像 を再度取得 し,上 記 の処理 を繰 り返 す。計測 を
終 了す る場合 には,そ れ まで に得 られた 3次 元計測結果 か ら 3次 元 モ デ ル を生成
し,処 理 を終 了す る.本 手法 の流れ を図
1。
12に 示す。
全方位 画像取得
特徴点 と直線 の追跡
カメラ運 動推定 と画像特徴 の計測
エッジ点の3次 元 計 測
3次 元 モデル生成
図
1。
12処 理の流れ
第 1章
1。
5
序論
本論文 の構 成
第 1章 で は,本 研究 の背景 や重要性 につ いて述 べ た:そ れ らをま とめ,本 研究
の 目的 を述 べ た。
第 2章 で は,本 研究 で用 い る全方位 カメ ラについて述 べ る。全方位 カメ ラの構
成 や ,カ メ ラ座 標 系 の定義 ,カ メ ラの 内部 パ ラメー タ と双 曲面 ミラー のパ ラメー
タのキ ャ リブ レー シ ョン手法 な どについて説明す る。
第 3章 で は,特 徴追跡 について述 べ る。提案手法 で は,画 像 中か ら点 と直線 の
2種 類 の特徴 を抽 出 し,画 像列 に沿 って追跡 す る。点 と直線 のそれ ぞれ の追跡手
法 を,実 際 の処理 画像 を用 いて説明す る。
第 4章 で は,Structure ttom Motion(SIM)に つ いて述 べ る.ま ず
SIMに お け
る基 本 的な カメ ラ運 動推定 の手法 につ い て概説 す る.そ して本研究 で提案す る平
行線 を利用 したカメ ラ運動推定手法 を説明す る。画像特徴 の 3次 元位置や姿勢 は
カメ ラ運 動 と同時 に最適化 され る。提案手 法で は,抽 出 した特徴 の 3次 元計測 だ
けで は な く,特 徴 として抽 出 され なか った画像 中 のエ ッジ点の 3次 元計測 も同時
に行 う ことで,よ り密 に環境 を計測す る。 ここで はエ ッジ点の 3次 元計測 につ い
て も記述 す る。
第
5章 で は,計 測 結 果 か ら環境 の 3次 元 モ デ ル を生 成 す る手法 につ い て 述
べ る。
第 6章 で は,各 章 の総括 ,今 後 の課題及 び展望 につ いて述 べ る。
以下 に本論文 の構成 図 を示す (図
1。
13)。
第 1章
序論
第2章
全方位カメラ
第 3章
特徴 追跡
第4章
Structure from Motion
第 5章
3次 元 モデル 生成
第 6章
結論 と今後 の課題
図 1.13本 論文 の構成
23
第
2章
双 曲面 ミラー を利 用 した全 方位
カメ ラ
2。
1
概要
一 般 に全 方位 カメ ラ とは,周 囲 360度 の シ ー ンを一 枚 の画像 に撮像 す る こ と
がで きるカメ ラで あ る。全方位 カメ ラには,異 な る方 向を向 いた複数 のカメ ラを
組 み合 わせ るもの [Sato'05]と ,通 常 の視野 の レンズ を装着 したカメ ラで 曲面 ミ
ラー な どを撮影 す る もの [Geyer'03]と の 2種 類 に大別 され る.本 研究 で は,カ
メ ラ先 端 に双 曲面 ミラー を取 り付 けた全 方位 カメ ラ [BunsChOten'03]を 用 い る。
双曲面 ミラー は,幾 何学的 に簡易 で扱 いやす い, ミラー焦点 を投影 中心 とす るカ
メ ラモ デル が適用 で きる とい う利点 が あ る
(カ
メ ラモ デ ルにつ いては 2.5節 で詳
しく述 べ る)。 双曲面 ミラー に よる全 方位 カメ ラの模式図 を図 2.1に 示 す。以降
で は,全 方位 カメ ラ とは双 曲面 ミラー を用 いた ものを指す こ ととす る。
」
双 曲面 ミラ
「
■■■
0く
暉電慢 射 点
被 写体
カメラ
図 2.1双 曲面 ミラー による全方位 カメ ラの模式図
第 2章
2。
2
双曲面 ミラーを利用 した全方位 カメラ
本研 究 で用 い る全方 位 カメラ
本 節 で は,本 研 究 で用 い る全 方位 カメ ラ につ い て説 明 す る。本研 究 で は,一
般 的 な視野 の レンズ を取 り付 けた カメ ラの ,レ ンズ先端 に双 曲面 ミラー を装着
した全方位 カメ ラを用 い る.カ メ ラ として は,IEEE… 1394bカ メ ラ (Point Grey
Research社 製 )も し くは一 眼 レ フカメ ラ (Canon社 製 )を 使用 す る。 双 曲面 ミ
ラー としては,各 カメ ラに合 わせ て設計 された双 曲面 ミラー (映 蔵社製 )を 使用
す る。 それ ぞれ の ビデオ カメ ラ と双 曲面 ミラー を図 2.2に 示 す。
(a)POint Grey Rescarch社 製
(b)映 蔵社製双曲面 ミラー
1
IEEE-1394bカ メ ラ
(C)CanOn社 製 一 眼 レフカメ ラ
(d)映 蔵社製双曲面 ミラー 2
図 2。 2本 研究 で用 い る全方位 カメラ
2。
2
本研究 で用 い る全方位 カメラ
25
ここで,理 想 的 には双曲面 ミラー全体 に ピン トを合 わせ る ことが望 ま しい。 し
か し, ミラー はカメ ラに近 い位置 に存在 す るため ミラー全体 に ピン トを合 わせ る
のは困難 であ る。 これ は,一 般 にカメ ラに近 い位置 で は ピン トが合 う奥行 きの範
囲,す なわち被写界深度 が浅 くな る こ とが原因 であ る。 そ こで,実 際 には ミラー
の一 部 にピン トが合 うよ うに設定す る必要が あ る。 この とき, レンズの絞 りを大
き くす る こ とで,画 像 のぼや けを軽減 す る こ とが可能 で あ る。
3次 元環境 モ デ リン グ に使用 す る動画像 として は,全 方位 カメ ラを搭載 した
移動 ロ ボ ッ トを走 行 させ なが ら撮影 した 動画像 ,も し くは全 方位 カメ ラを人が
手 で持 って移動 させ なが ら撮影 した動画像 を用 い る。使用 す る移動 ロボ ッ トは
,
Mobile Robots社 製 Pioneer3で あ る。実験 にお いては,移 動 ロボ ッ トと全 方位 カ
メ ラを,同 じ く移動 ロボ ッ トに搭載 した 1台 の ノー トPCに よって制御 す る。全
方位 カ メ ラは,双 曲面 ミラー の軸 が 床面 に対 して な るべ く垂直 にな るよ う,手
動 で ロボ ッ ト上 に設置 す る.た だ し,本 研究 で提案 す る SIM手 法 は,カ メ ラの
3次 元的な運動 を推定す る こ とが可能 であ るため,全 方位 カメ ラが床面 に対 して
垂 直 でな くとも理 論 上 問題 は な い.全 方位 カメ ラを床 面 に対 して垂 直 に設置す る
の は,よ り多 くの床面 に対 して垂 直 な方 向 の平行線 を,カ メ ラの視野 内 に捉 え
るためで あ る.全 方位 カメ ラを搭載 した移動 ロボ ッ トお よび撮影画像 を図 2.3に
示す。
(a)移 動 ロボ ッ ト
(b)撮 影画像
図 2。 3本 研究で用 い る全方位 カメ ラ搭載移動 ロボ ッ ト
第
2章 双曲面 ミラーを利用 した全方位 カメラ
2.3 カメラに装着 す る双 曲面 ミラー
本 節 で は,カ メ ラ に装 着す る双 曲面 ミラー につ い て説 明す る。 まず双 曲面 ミ
ラ ー の 構 成 につ い て 述 べ る。次 に双 曲面 ミラー の 幾何 学 的特 性 につ い て 説 明
す る。
2。 3。
1
双 曲 面 ミ ラー の構 成
双曲面 ミラー は, ミラー本体 と支柱 ,ア クリル板 ,円 筒 によって構成 されて い
る。支柱 は ミラー本体 とアクリル板 を,ア クリル板 は支柱 と円筒 を,円 筒 はアク
リル板 とカメラをそれぞれ接続 して い る.ミ ラー本体 に反射 された光 は,ア クリ
ル板 を透過 し,円 筒内 を通 ってカメラに届 く仕組み にな って い る。双曲面 ミラー
の分解図 を図 2.4に 示す。
】
ミラー本体
支
鰤
陥
ク
ア
図 2.4双 曲面 ミラー の分解図
Ｊ■ ■
E
2。
2。 3。
2
3
カメラに装着する双曲面ミラー
27
双 曲面 ミ ラー の幾何 学 的特 性
本研究 で用 い る双 曲面 ミラーの ミラー本体 の形状 は,厳 密 には 2対 の曲面 か ら
なる二葉回転双曲面 の片方 の曲面 である。二葉回転 双曲面 は以下 の式で表 わされ
る曲面である。
写―
多=‐
(2。
1)
この とき,c=yα 2+b2と す る と,二 葉 回転双 曲面 は点 C(0,0,6)と 点 C'
θ)か らの距離 の差 が一定 となる点の集合 として得 られ る曲面 で ある。 こ
の とき,点 Cと 点 C'は 双曲面 の焦点 と呼 ばれ る。本論文 では,(2。 1)式 の αとら
(0,0,―
を,双 曲面 ミラーの形状パ ラメー タと呼ぶ。二葉回転 双曲面 の例 を図 2.5に 示す
.
(a)鳥 欧図
(b)側 面図
図 2.5二 葉回転双曲面 の例
28
第 2章
双曲面 ミラーを利用 した全方位カメラ
双曲面 の形状 か ら,双 曲面 ミラー の ミラー側 の焦点 に向か う光 は, ミラー上で
反射 して もう一 つ の焦点 に向か う とい う幾何学 的特性 が あ る。 双曲面 ミラー は
,
ミラー側 でな い焦点 の位置 とカメ ラの レンズ 中心 とが一 致す るように設計 され る
(図 2.6)。
フ
側焦 点
光線
カメラレンズ
マ
Ч
１ 。
・■ ．．
ヽ‘・
カメラレンズ側焦点
図 2.62つ の焦点 と光の経路
2。
2。
4
4
全方位 カメラの視野範囲
29
全方 位 カメ ラの視野範囲
本節 で は,全 方位 カメ ラの視野範 囲 について説明す る.以 降 の説明 で は全方位
カメ ラを,床 面 に対 してカメ ラ光軸方 向を上 に した状態 で あ る とす る.こ の状態
では,全 方位 カメ ラは床面 に対 して水 平方 向 360度 の視野 を有す るが,垂 直方向
には視野 の 限界 とな る仰角 と俯角 が あ る。
ミラー本体 の視野範 囲 は,双 曲面 の形 状 パ ラメ ー タの α と ら (2.3.2項 )の 比
に よって決 まる。遮蔽物 が な い場合 は,俯 角側 に死角 は存在 しな いため,形 状 パ
ラメー タの比 を決定 す る こ とは,全 方位 カメ ラの仰角側 の視野範囲 を決定 す る こ
ととほぼ 同義 で あ る。 ミラー形状 に よる仰角側 の視野範囲 の違 いの イメ ー ジ図を
図 2。 7に 示す。
ラ
点
焦
一
Ｏ ＢＩ Ｉ Ｉ
囲
範
野
視
(a)仰 角側 の視野範 囲が狭 い場合
(b)仰 角側 の視野範 囲が広 い場合
図 2。 7ミ ラー形状 と仰角側 の視野範囲 の関係
全方位 カメ ラを移動 ロボ ッ トの頂点 に設置す る こ とを考 える と,全 方位 カメ ラ
よ り高 い位置 に あ る物体 は移動 ロボ ッ トの活動 に対 して影響 が 少 な いため,仰 角
側 の視野範囲 をそれ ほ ど大 き くす る必 要 はな い.市 販 されて い る全方位 カメ ラの
多 くは仰角側 の視野範囲 が 20∼ 30度 であ り,移 動 ロボ ッ ト用途 には十分 で あ る。
俯角側 の視野範囲 は,双 曲面 ミラー を構成 す る円筒 と支柱 の形状 に よって変化
す る。 ミラー本体 に よって反 射 され た光 は円筒 内を通過 して カメ ラに向 か うが
_こ
,
の とき円筒や支柱 に よって遮 蔽 され る光 はカメ ラに届 かな い。 ただ し,俯 角側
には円筒や支柱 だ けでな くカメ ラや ロボ ッ トも存在 す る。俯角側 の視野 を広 くし
す ぎる とこれ らが写 りこむため,あ ま り広 くとって も意味がな い.市 販 されて い
る全方 位 カメ ラの多 くが ,俯 角側 の視野範 囲 が 60度 前後 で あ り, これ も移動 ロ
ボ ッ ト用途 には十分 で あ る
.
第
2章 双曲面 ミラーを利用 した全方位 カメラ
なお , ミラー本体 とカメ ラを透 明 な ドー ム な どで接続 して 一 体化 す る こ とに
よって , ミラー の安定性 と広 い視 野 を両 立 す る全 方位 カ メ ラ も存在 す る。 しか
し, ドーム の材質 や厚 さ,形 状 に よって複雑 な屈折が生 じる とい う問題 が あ る。
全方位 カメ ラは,広 い視野 を有す る反面 ,解 像度 が低 く,わ ず か な屈折 が大 きな
誤差 の原 因 とな る ことも考 え られ る.し たが つて,本 研究 で用 い るような,円 筒
と支柱 で ミラー本体 とカメ ラを接続す る全方位 カメ ラを用 い るのが簡明で あ る。
本研 究で用 い る全方位 カメ ラは仰 角
25度 ,俯 角 65度 ,水 平方 向 360度 の視
野範 囲 で あ り,空 間全体 の約半分 を 1枚 の画像 中 に撮像 す る.ロ ボ ッ トの真 上 と
真下 が 死角 となって も,ロ ボ ッ トの 自律活動 に支障 は少 な い ため,本 研究 で用 い
る全方位 カメ ラは,移 動 ロボ ッ トに適 した視野範囲 を有す るカメ ラで あ る とい え
る。本研 究 で用 い る全方位 カメ ラの形 状 と視野範囲 の関係 を図 2.8に 示す。
ミラー軸
仰角25度
ミラー側焦点
レンズ側焦点
￨
t
―
図 2.8全 方位 カメ ラの視野範 囲 と双 曲面 ミラー の形状 の関係
2.5 全方位 カメラ座 標系
2。
5
31
全方 位 カメラ座 標 系
2.3.2項 で述 べ た よ うに,本 研究 で用 い る全方位 カメ ラで は,ミ ラー側 の焦点 に
向か う光線 が ミラー上で反 射 してカメ ラ レンズ に向か う。逆 に言 えば,あ る画像
座標 に向か う光線 をた どる と, ミラー上で反 射 して被写体 に向 か う。 この とき
,
反射点か ら被写体 へ 向か う光線 を延 長 す る と,必 ず ミラー側 の焦点 と交 わ る。 こ
の性質 か ら,本 研究 で用 い る全方位 カメ ラは, ミラー側 の焦点 を投影 中心 とした
ピンホー ルカメ ラ として扱 うことが で きる。
まず,画 像座標系 か ら一 般的な カメ ラ座 標系 へ の変換 を考 え る。 双曲面 ミラー
を取 り付 けるカメ ラの モ デルは, レンズ 中心 を通過 す る光線 の み の結像 を考 え る
ピンホール カメ ラモ デ ル とす る。 ここで は,レ ンズ収差 に よる歪 み は考慮 せ ず
,
カメ ラ座 標系 は レンズ 中心 を原点 とす る。実際 のカメ ラの結像面 は レンズ後方 に
存在 す るが,結 像面 を レンズ 中心 に対 して点対称 の位置 に表 して も幾何関係 は等
3次 元座標
はカメラ座標系で レ,ノ,dT,そ の点が画像上に投影される画像座標は画像座標系
で レ,」 Tで ある。み,シ はピクセルサイズ [mノ piXel],c夕 ,Cν は画像の中心座標
[p破 el],/は 像距離 [m]で ある。
価 で あ るた め,図 2.9で は結像 面 を レンズ 前方 に示 す 。 空 間 の 点 の
画像 中心
結像 面
[ε ,Cッ ]T
“
レンズ中心
図 2。 9カ メ ラ座 標系
空 間 の点
[χ ,ノ ,Z]
第 2章
双曲面 ミラーを利用 した全方位カメラ
カメラ座標 x=レ ,y,dTと 画像座標を斉次座標で表したm=レ ,ち llTの 関係は
(2.2■ 25)式 で表される
.
ウ
十
〓
ら
＋
〓
ツ
ル一
等 ル一
う
″
92)
(2.3)
ん
ｏ
ｏ
:
■︱︱︱︱︱︱コ
ｏ
ｏ
の ら１
九
ｒｌｌｌｌｌｌＬ
〓
Ａ
(om
(2.4)
Ax,
(2.5)
ここで Aは カメラの内部 パ ラメー タ行列 ,ω は 0以 外 の定数で ある。(25)式 か
ら,画 像座標系 か らカメ ラ座標系 へ の変換 は,定 数倍 を許 して
A lm∼ x,
(2.6)
と表 わされ る。 ここで ∼ は,両 辺 が比例 の関係 にあ る ことを示す記号で ある。
次 に,全 方位画像座標系 か ら全方位 カメ ラ座標系 へ の変換 を考 える.全 方位 カ
メ ラ座 標 系 の
Z軸 は,双 曲面 ミラーが 回転 対象 とな る軸
(以 下 ,双 曲面 ミラー
軸 と呼ぶ )お よびカメ ラの光軸 と一 致 して い る とす る。 全方位 カメ ラ座標系の原
点 は,双 曲面 ミラー の 2つ の焦点の 中間 とす る.全 方位 カメ ラ座標系の概念 図を
図
210に 示す
.
画像座標を レ,」 T,全 方位画像の中心を し,引 Tと すると,全 方位画像座標
れる
,メ ITは 以下の式で表わさ
.
ら ウ
一
一
″ ν
〓
ノ ノ
『
27)
カメ ラ レンズか ら全 方位画像座標 に向か うベ ク トル pは 以下 の式 で表 わ さ
.
＾″ ＾ツ ′
′
﹁︱︱︱︱︱ＩＪ
〓
ｒｌ ｌ ｌ ｌ ｌ ｌ Ｌ
﹁︱︱︱︱︱︱コ
ｒｌｌｌｌｌｌＬ
ｐ
〓
ノヴ／
■る
オ
98)
双 曲面
2+y2 z2
χ
シ =J
サ
全 方位
V
結
/
幼 す
２ 入
代
に
式
り
わ
表
で
式
の
下
０以
厳劇
ｒ ”′る
︿
線 ９ き
，
直 ﹁︱ 卜
Ｊ ｏで
つ ００イ る出
＾ｒ ゞ
こ
Ｓ ｌ
き
は ・
あ 算
以 ＦＩＩＬ で が
数 ｓ
一
，
定 の
ヽヽヽ
，
で
同判円こ
こ一
″
・
面
曲
双
レ
と
Ｌド
ク
と る
さ
ベ が で， ・
１。
と る
の ア
﹂ ０ ア
﹂れ
Ｉ
Ｉ
Ｉ
Ｉ
Ｉ
ε
Ｉ
０ ０ ２
・
Ｆ
Ｌ
﹁︱︱︱︱︱ＩＪ
(2.11)
/=Sp―
r″
sを 用 いて 以下 の よ うに表
,
ミラー側 の焦点 か ら反 射点 までのベ ク トル rra/は
(2.10)
2(分 2+っ 2)
α
%ρ _ら
S=
2)
ノ
,2_ト
/,2_卜
+ u、
(tt/7TF
o2
Y
全方位 カメラ座 標系
被 写体
反射点
33
全方位 カメラ座 標系
5
2。
[χ ,ッ ,Z]
α
2+b2
[が ,ソ ]T
フ
レンズ
図 2.10全 方位 カメ ラ座 標系
わ され る。
第
2章
双曲面 ミラーを利用 した全方位 カメラ
このベクトル rra/の 延長線上に,画 像座標 レ,」 Tに 投影された被写体が存在
する。このベクトルと同じ向きである単位ベタトルr(ノ ルムが 1の ベクトル)
を光線ベクトルと呼び,以 降の処理ではこの光線ベクトルを用いる
.
rィ
r=
lrra/1
912)
2。
2。
6
6
全方位画像 のパ ノラマ展開
全方 位画像 のパ ノ ラマ展 開
全方位 画像座標 か ら,全 方位 カメ ラの ミラー側焦点 を原点 とした球面座標 に変
換 す る こ ともで きる。球面座標系 とは,図
2.Hに 示 す よ うな,水 平角度 θ と垂
直角度 φで表 わ され る座 標系 であ る
.
図 2。 11球 面座標系
全方位カメラ座標系における光線ベ クトル rと 球面座標系における水平角度 θ
と垂直角度 φ との関係は以下の式によって表わされる。
Ｆ
Ｉ
cos 0 cos 0
cos @ sin 0
Ｉ
Ｉ
ｒ
〓
Ｉ
Ｉ
Ｉ
Ｌ
sin
@
(2.13)
36
第 2章
双曲面 ミラーを利用 した全方位カメラ
球面座標 の θ成分 を画像 の x軸 ,φ 成分 を画像 の y軸 にす る変換 を行 うこと
に よ り,パ ノラマ画像 を生成する ことがで きる。全方位画像 か ら作成 したパ ノラ
マ画像 を図 2。 12に 示す。
〆
(a)元 の全 方位画像
(b)パ ノラマ展 開後 の画像
図 2e12パ ノラマ画像
2.7 全方位 カメラのキヤ リプ レー ション
2.7 全方位 カメラの キ ャ リブ レー シ ョン
本節 で は全 方位 カメ ラの キャリブ レー シ ョンについて説明す る。本研究 で用 い
る全方位 カメ ラは,カ メラ本体 と双 曲面 ミラーが分離 で きるため,ま ず カメ ラ本
体 の 内部 パ ラメー タのキャ リブ レー シ ョンを行 う.次 に双曲面 ミラー を装着 して
全方位 カメ ラのキャ リブ レー シ ョンを行 う。
2.7.1 カ メ ラ 本 体 の 内 部 パ ラ メ ー タ
双 曲面 ミラー を装着 していないカメラ単体 でのキャリブ レーシ ョンに よ り,カ
メラ本体 の内部パ ラメー タを推定す る.推 定すべ きカメラ本体 の 内部パ ラメー タ
は,像 距離 二 画素 の縦サイズ 義,画 素 の横サイズ シ 画像 中心 の,ο ッ
,お よび
歪曲収差係数 κである (表 21).
表 2.1推 定す るカメラの内部パ ラメー タ
パ ラメー タ
/[m]
ら,シ [m/p破 el]
ixel]
cu, cy E
内容
像距離 (レ ンズ 中心か ら結像面 までの距 離 )
画素サイズ
画像中心
(レ
ンズ中心か ら結像面へ の垂線 が
結像面 と交差す る点)
歪 曲収差係数
κ
空間の点におけるカメラ座標x=レ ,ッ,drと ,そ の点が結像する画像座標 レ,」 T
の関係は(22卜(25)式 によって表わされる。しかし,実 際にはレンズの光学的な
歪みにより,空 間の点におけるカメラ座標x=レ ,ッ,drと 画像座標 レ,」 Tと の間
には誤差が生じる
.
38
第 2章
双曲面 ミラーを利用 した全方位カメラ
空間の点におけるカメラ座標x=レ ,ぁ drは , レンズ収差による歪みの影響を
考慮しない場合,画 像座標 レ,」 Tに 結像する.し かし,実 際にはレンズによって
生じる光学的な歪みにより画像座標 レ,JTに 結像する。この光学的な歪みを歪曲
収差 と呼ぶ.歪 曲収差における画像の影響を図 2.13に 示す。歪曲収差係数 κが
Tへ の
Tか ら
負の場合 には歪みは樽型に,正 の場合には糸巻方になる。レ,」
レ,」
変換およびその逆変換は κを用いて以下のように表される。
1+κ (″ +″ )
(2.14)
1 ,
2
〓
¨
び¨
／
[
]=
¨
び¨
／
[γ
1+ν 《1-4κ (′ 十/2)
ア
(2.15)
1,
ただ し
,
％ の ら の
″ ¨ν
″ ツ ¨
一
一
一
一
助 ヽ ち ら
一
一
〓
び″
／
び ／ ・
(2.16)
1 ,
o.17)
・
1
I
1
n―
u EII
(o糸 巻き型 (κ >o
o)歪 曲収差な し (κ =0)
図 2.13歪 曲収差の影響
cch樽 型 (κ
<0)
2.7 全方位カメラのキヤリブレーション
39
歪 曲収差係数 κを含 め,カ メ ラの内部 パ ラメ ー タの真値 が与 え られ る場合 に
は,画 像 中の全 ての画像座標 に対 して (25)式 が成 り立 つ。 既知形状の物体 を撮
影 した場合,物 体 上の各点 のカメ ラ座標
x=レ ,ぁ drの 相対的な関係 も既知であ
る.そ こで,チ ェ ックパ ター ンの ように形状や大 きさが既知な物体 を異なる視点
か ら複数回撮影 し,各 画像 に対 して 2.5)式 が成 り立 つ 内部パ ラメー タの値 を探
索的 に求 めることによ り,カ メラの内部パ ラメー タを推定す ることがで きる。
2.7.2 カ メ ラ 本 体 の 内 部 パ ラ メ ー タ の 推 定 結 果
本研 究 で は,カ メ ラの内部 パ ラメ ー タ推定 のた めの既 知形 状物体 として
,
図 214に 示すチ ェ ックパ ターンを用 いた.推 定手法 は,画 像処理 のオー プンソー
ス ライブラリとして広 く利用 され る,OpenCVか ら提供 され るアルゴ リズムに よ
る (OpenCVに ついての解説 は [奈 良先端大 '09]を 参照 の こと).こ こで,本研究
の処理上では像距離 とピクセルサイズ との比 のみが必要 となるため,像 距離 と縦
と横 それぞれの画素サイズ との比を推定 した
.
像距離 と画素サイズの比 の推定 には,画 像 中での対象物体 の大 きさが異なる複
数枚 の画像 が必要 である.ま た,歪 曲収差係数 の精度 の良 い推定 のためには,画
像中に,大 き くかつ さまざまな位置 にチェックパ ター ンが撮像 され る画像列 を入
力 とすることが望 ましい。
図 2.14カ メ ラ本体のキャリブレー シ ョンに用 い るチェックパ ター ン
第 2章
双曲面 ミラーを利用 した全方位カメラ
カ メ ラ本 体 の 内部 パ ラメ ー タ 推 定 に用 い た 入 力 画 像 は ,さ ま ざ まな 視 点
か らチ ェ ッ クパ タ ー ン を撮 影 した ,計 100枚 の 画 像 で あ る。画 像 サ イ ズ は
800× 600pixelで あ る。実際 の入 力画像 の一 部 を図
2。
15に 示 す。各 パ ラメ ー タ
の推定結果 を表 2.2に 示す。
(a)入 力画像
A
(d)入 力画像
D
(b)入 力画像
(c)入
力画像
B
(c)入 力画像
E
(o入 力画像 F
図 2.15カ メラ本体 のキヤリブ レーシ ョンに用 いた入力画像
表
2。
2カ
メラ本体 のキャリブレー シ ョン結果
像距離 と画素サイズ
(横 )の 比 ∫
lsx
3621.5
像距離と画素サイズ (縦 )の 比//シ
3633.3
画像 中心
`ν
[piXels]
画像 中心 ε
ν[piXels]
歪曲収差係数 κ
-0。
2057
C
2.7 全方位 カメラのキャ リブ レー シ ョン
41
2.7.3 双 曲 面 ミ ラ ー の 形 状 パ ラ メ ー タ お よ び 全 方 位 画 像 中 心 の 推
定手法
次 に,カ メラに双曲面 ミラー を装着 し,全 方位 カメラのキャリブレー シ ョンを
行 う.前 節 によってカメ ラ本体の内部パ ラメー タは推定済 みである。 したがって
ここでは,全 方位カメラ座標 か ら光線 ベ ク トル ((212)式 )へ の変換 を行 うため
に必要 な残 りのパ ラメー タである,双 曲面 ミラーの形状パ ラメー タ ク,ら および
全方位画像 中心 ら,ゥ を推定す る.た だ し,光 線 ベ ク トル を算出す るためには
,
双曲面 ミラーの形状パ ラメー タの αとらの比が分 かれば良 いため,こ のキャ リブ
レーションで推定するパラメータは,双 曲面ミラーの形状パラメータの比α
/ら と
全方 位画像 中心 ら,ゥ の 3つ で ある。推定 す べ き全方 位 カメ ラのパ ラメ ー タを
表
23に 示す。
表 2.3推 定す る全方位 カメラのパ ラメ ー タ
パ ラメー タ
内容
α
/ろ
双曲面 の形状パ ラメー タの比
cx, cy
lpixelf
全方位画像 中心
ここで,カ メラ本体 のキャ リブ レー シ ョンで推定す る画像 中心 ο
″,ι ッと,全 方
位 カメ ラのキ ャ リブ レー シ ョンで推定 す る画像 中心 の,ゥ は別 の もので あ る こ
とに注意 す る.カ メ ラ本体 の画像 中心 は,本 手法 で はカメラレンズによる歪曲収
差 を補正す るためだ けに用 い られ る。 その他 の処理 (全 方位画像座標 か らの光線
ベ ク トル rの 算 出な ど)に お いては全方位画像 中心 が用 い られ る
.
42
第 2章
双曲面 ミラーを利用 した全方位カメラ
全方位 カメ ラのキ ャ リブ レー シ ョンには,直 線 や 円を用 い る こ とが 有効 で あ る
こ とが 示 されて い る [Ying'03][BaretO'05].そ こで本手法 で は,直 線 を利用 して
キャ リブ レー シ ョンを行 う。全方位 カメ ラのキ ャ リブ レー シ ョンに用 い る直線 パ
ター ンを図 2.16に 示す。
図 2.16キ ヤ リブ レーシ ョンに用 い る直線 パ ター ン
ここで ,本 研究 で用 い る全方位 カメ ラ は双 曲面 ミラー の反射 を利用 す るため
,
取得画像 が 円形 に歪 む とい う問題 が ある.そ のため,全 方位画像 中で は,3D直 線
は 2D曲 線 として 投影 され る。2D曲 線 として 投影 された
3D直 線 の例 を図 2.17
に示す。
図 2。 172D曲 線 として投影 された 3D直 線 の例
2。
7
全方位 カメラのキャ リブ レー シ ョン
43
そ こで本研究 で は,全 方位 カメ ラを,双 曲面 ミラーの ミラー側焦点 を中心 とし
た ピンホ ール カメ ラ として扱 う こ とで ,2D曲 線 として投影 され る 3D直 線 で も
直線 として検 出す る こ とが可能 な手法 を提案 す る。 キャ リブ レーシ ョンの際 には
形状が既知のパ ター ン (図 2.16)を 用 い るため,画 像 中 の どの部分 が
3D直 線 が
投影 された 2D曲 線 で あ るか を判別 す るのは容易 であ る。 したが って, ここで は
画像 中 の どの部分 が各
3D直 線 に対応 す るか は既知 であ る として説明す る。未 知
環境 にお ける直線検 出手法 の詳細 は,3.2節 で述 べ る。
3次 元空間 中 の平面 の位置 と姿勢 は,平 面 が通 る 3D直 線 とその直線 上 に な い
1点 が 決 まる と一 意 に定 まる。 光線 ベ ク トル は ミラー側焦点 を始 点 とした ベ ク ト
ル で あ るか ら,3D直 線 が 投影 された
2D曲 線 上 の画素 に対応 す る光 線 ベ ク トル
は,す べ て双曲面 の ミラー側焦点 を含 む 1平 面 上 に存在 す る (図
ミラー側 焦点
〆
2。
18)。
‐
3D直 線に向かう
光線のなす平面
ヽ
“
_“ "
投 影された2D直 線
3D直 線
(b)側
(a)鳥 腋図
面図
図 2.183D直 線 とミラー焦点 を含 む平面
カメ ラの 内部 パ ラメ ー タが既 知 で あ る とす る と,全 方位画像 か ら算 出 され る
光線 ベ ク トル rは ,双 曲面 ミラー の形状 パ ラメ ー タの比 α/ら ,お よび全方 位画像
中心
h,引
Tの み に依存す る。光線 ベ ク トルの算 出 に用 いた全方位 カメ ラのパ ラ
メー タの値 と,全 方位 カメ ラのパ ラメ ー タの真値 との差が小 さい ほ ど,各
3D直
線 に属 す る光線 ベ ク トル と,そ の 3D直 線 とミラー側焦点 を通 る平面 との誤差 が
小 さ くな る。 しか し,3D直 線 とミラー側焦点 を通 る平面 の位置 と姿勢 は未知 で
あるか ら,各
3D直 線 ノに属 す る光線 ベ ク トル rJi,Jか
ら以下 の式 を満 た す ベ ク ト
ル nプ を算 出す る。
%=Σ
J
nノ
リ→min.
(2.18)
44
第 2章
双曲面ミラーを利用 した全方位カメラ
ー
ら の値 が 0で あ る とき,ベ ク トル 町 は 3D直 線 ノ とミラ 側焦点 を通 る平面
の法線 ベ ク トル と一 致す る.す なわち,す べ ての光線 ベ ク トル rJノ が ,3D直 線 ノ
3D直 線 ノに対す る
ー
パ
い
には
。 の和 が最小 とな る全方位 カメ ラの ラメ タを推定すれ ば よ .具 体 的
とミラー側焦点 を通 る平面上 に存在 す る。 よって,す べ ての
,
以下 の式 を満 た すパ ラメ ー タを全探 索的 に推定す る
.
Σゥ→min
(2.19)
ノ
2.7.4 双 曲面 ミラ ー の形 状 パ ラメ ー タ お よび全 方位 画像 中心 の 推
定結果
直線パターンを利用した全方位カメラのキヤリブレーションを行い,双 曲面
ミラーの形状パラメータの比α
/bと 全方位画像中心ら,ゥ の推定を行った.入
力画像 は,図 2.16に 示す直線パ ターンを異なる視点 か ら撮影 した,70枚 の全 方
位画像 で ある。画像サイ ズは 800× 600メ Юlで ある.実 際 の入 力画像 の一 部 を
図 2.19に 示す。
双曲面 ミラーの形状パ ラメー タお よび全方位画像 中心 の推定結果 を表 2.4に 示
す.キ ャリブ レーシ ョンによ り推定 されたパ ラメー タを用 いて投影 された 2D直
線 と,実 際 の画像 中の直線 に属す るエ ッジ点 の光線 ベ ク トル とのずれ は平均 で
,画 像上 に投影 した際 の誤差 に換算す ると約 0 3pixclと なった。 この
結果 か ら,サ ブ ピクセル精度 で全 方位 カメラのキヤリブ レーシ ョンが行 えた とい
0 05degで
える
.
表 2.4全 方位 カメ ラのキャ リブ レー シ ョン結果
双曲面ミラーの形状パラメータの比α
/b
0.5100
全方位画像中心 の lp鮨 lS]
4077
全方位画像 中心 ゥ [pixelS]
2.7 全方位 カメラのキャ リブ レー シ ョン
﹁﹁﹁ ・
﹄
(a)入 力画像
A
(b)入 力画像
B
(c)入 力画像
C
(d)入 力画像
D
L. J
(c)入 力画像
E
(o入 力画像 F
図 2.19全 方位 カメ ラのキヤ リブ レーシ ョンに用 いた入 力画像
47
第 3章
全 方位画像 中 の特徴抽 出 および
追跡
3.1 特徴点 の抽出 と追跡
本節 では特徴点の追跡 について説明す る。本手法で は動画像 を用 い るため,動
画像 中 の 隣 り合 った 画像 間 での特徴 点 の対応 付 け を繰 り返 す こ とで,動 画像 に
沿 って特徴 点 を追跡 す る.特 徴 点 の追跡 に よ り,離 れ た 画像 間 での対応 す る点
(対 応点 )を 取得す る。本手法で は KLTト ラッカ [Shi'94]に
,画 像 を ピラ ミッ ド
構 造化す る こ とで,効 率的 に画像間 で対応す る特徴 点を探索す る手法 を組 み合 わ
せ た特徴点追跡手法 [Bouguet'oO]を 適用 す る。
画像 間 での対応 付 け は,コ ー ナ ー 点 な どの よ うに周 囲 の色 合 い変化 が 大 きい
点で あ るほ ど容易 で あ る.注 目画素 の周囲 の色合 い変化 の度合 いの指標 として
,
KLTト ラッカで は,以 下 の (31)式 で表 わされ る行列 の最小 固有値 を計算 す る
.
場の
気 Ｑ
の あ
らは
〓
Λ
Ｃ
(3 1)
ここで,■ ,ん は輝度値 の χ方向の微分 とッ方向の微分値 であ り,Cσ (・ )は 標準
偏差 σのガ ウス分布 による平滑化 を表す.注 目画素 の周囲 の輝度勾配 が大 きい
ほ ど固有値 も大 き くなる.た だ し,直 線あ るい は曲線上の点 の ように,画 像間で
一意 に対応付 けをす るのが困難 な点が存在す る.こ のよ うな点の周囲の輝度勾配
は一方向 に偏 つて い るため,(31)式 の行列 の最大固有値 が大 き く,最 小固有値 が
小 さ くなる傾 向がある。 そ こで,最 小固有値 の とりうる最小値 を,特 徴点選択 の
閾値 とす ることで,直 線 上な どの対応付けが困難な点が特徴点 として抽出 されな
い ようにす る
.
48
第 3章 全方位画像中の特徴抽出および追跡
次 に,現 在 の画像 上 の特徴点 が ,次 の画像 上で ど こに対応 す るか を探索す る
.
動画像 に沿 って これ を繰 り返 す こ とで ,特 徴 点の追跡 を行 う.KLTト ラッカで
は以下 の (32)式 に基 づ き画像間で の注 目画素 の類似度 を算出す る
.
"
:
|
fiito^+d)
I(m)は ,画 像 Iの 座標値
(3.2)
-1(m)]2w(m)dm.
m=レ ,JTに お ける画素値 を表 す .こ の式 は画像 f
mに お けるウイ ン ドウが,別 の画像 Jの 座標値 mに 対 しアフィ ン変換
(変 形行列 D,並 進 d)を した ウィ ン ドウ と同一か ど うかの 判定 を して い る.″
の座標値
はウイン ドウサイズ,″ (m)は 正規分布 に基 づ く重み関数で あ る.評 価値 ιが小
さ くな るほ ど,2枚 の画像 にお ける特徴点 が 同 じであ る可能性が高 い
.
評価値 ιが小 さい座標 を,次 の フ レームで対応 して い る特徴点 として探索す る
こ とで,特 徴点 の追跡 を行 う。 ただ し,探 索範囲 にお ける最小 の評価値 ιが大 き
い場合 は対応 が取 れ て い な い可能性 が 高 い た め,以 後 の フ レー ムで追 跡 は行わ
ない
.
次 に,画 像 を ピ ラミッ ド構造イヒす る手法 について説 明す る 特徴点 の追跡で重
要 なのは,画 像間 の対応 の正 確 さ,そ して画像 の明度変化や歪 みな どに対す るロ
バ ス ト性 で あ る。 一 般 に画像 間 の対応 の正 確 さを増 す た め には探索画像 に対 し
ウィ ン ドウサイ ズ を小 さ く設定 し,よ り狭 い探索領域 で対応 を とる必 要 が あ る
.
一 方 ,ロ バ ス ト性 を高 め るには探索画像 に対 しウ ィ ン ドウサ イ ズ を大 き く設定
し,ノ イズな どによる悪影響 を低減 す る必要が あ る.つ ま り,対 応 の正確 さ とロ
バ ス ト性 は画像 とウイ ン ドウサイズの大 きさの比 において トレー ドオ フの関係 に
あ る とい える。 そ こで解像度 を変 えた複数 の画像 を ピ ラ ミッ ドの よ うに階層構造
化 し (図 3.1),各 階層 の画像 間 で特徴点の追跡 を段 階的 に行 う。階層化 を行 うこ
とで,対 応付 けの正 確 さ とロバ ス ト性 を両立 した特徴 点 の追跡 が可能 で あ る
.
3.1 特徴点 の抽出 と追跡
49
ウ ィ ン ドウ
図 3。 1画 像 の階層的表現 を用 いた特徴点 の探索
画像 の ピ ラ ミッ ド化 には以下 の (3.3)式 を用 い る
.
Lガ =:ノ Jレ ,切
+:rll二
二
1翼 ち
顎
477線 稚W線 ヽ
￨ダ 3零
(3.3)
,
ここで ノ 0,ノ )は 第 二階層 に =0,1,2,… )の 画像座標
る.Z=0の
)に お ける輝度値 であ
ときが元画像 で,階 層 が増 す に したが って解像度 が低 くな る ととも
(χ ,ノ
に画像 サイ ズが小 さ くな って い く。第 二 階層 の画像 サイ ズ を横 が 考 [pixel],縦
が 考 [pixel]と す る と,隣 接 した階層 の画像 サイ ズの関係 は以下 の (3.4),(3.5)式
で表 され る。
考≦年
,
考≦
字・
(3.4)
(3.5)
50
第 3章
全方位画像中の特徴抽出および追跡
画像 サイズは階層が増 える ご とに 2分 の 1と な る.ピ ラ ミッ ド構造化 した画像
列 に対 し,解 像度 が低 い順 に対応す る特徴 点 を段 階的 に探索 して い く.こ の とき
ウイ ン ドウサイ ズを変 えな い ことで,画 像サイズ に対す るウィ ン ドウサイズが相
対的 に変化 す る.す なわち,画 像 の解像度 が低 い ときには画像 に対 して ウィン ド
ウが大 き く,ロ バ ス トな特徴点探索 が行 え る。 また,画 像 の解像度 が高 い ときに
は画像 に対 して ウイ ン ドウが小 さ く,画 像間 で正 確 な対応 を取 る こ とがで きる
.
さ らに,画 像 を ピ ラ ミッ ド構 造化 して段 階的 な探索 を行 うこ とで,処 理 の高速化
が期待 で きる。 ここで,通 常 Zは 2∼
4程 度 の値 を とる.こ れ は,階 層 が増 える
に したが つて画像 の解像度 が低下す るため,階 層 をあ る程度以上 に増やす と特徴
点探索 に有用 な情報 が得 られず,特 徴点探索 の精度 が上が らな いか らであ る。
3.2 直線 の抽出 と追跡
51
3.2 直線 の抽 出 と追跡
本節 で は,直 線検 出 お よび追跡 につ いて説 明す る。本手法 で は,動 画像 中の直
線 の対応関係 に基づ いたカメ ラ運動推定 を行 う.し か し,従 来研究 で よ く用 い ら
れ る直線 の端点 を必要 とす る直線検 出手法 [Bart01i'05][Schhdler'06][Smn'06]
はノイズに弱 く,全 方位画像 の 円形歪み の影響 を受 けやす い。 そ こで,直 線 の端
点 を必 要 としな い直線 の検 出 お よび追跡手法 を提案す る ‖西 '10].
[ノ
3.2.1
エ ッ ジ 点 群 の 分 離 に よ る エ ッ ジ セ グ メ ン トの 抽 出
全 方位 画像 中 か らエ ッジ セ グメ ン トを抽 出 す る。本 論 文 にお い て ,エ ッジ
セ グメ ン トとは連 結 した エ ッジ点 の集合 を指 す。 まず Cannyの エ ッジ点 検 出
[Canny'86]に よって,画 像 中 の輝度勾配 の大 きい点 をエ ッジ点 として抽 出す る
(図 3.2(b)).
この状態 で は,エ ッジ点の多 くが連結 してお り, どの部分 が 3D直 線 にあた る
か を 自動 的 に判別 す るの は困難 で あ る.そ こで , コニ ナ ー点 お よび その周辺 の
エ ッジ点 を削除す る ことで,エ ッジ点 を分離す る。 コー ナー点 の検 出 は,基 本 的
KLTト ラッカの特徴 抽出 (31節 )と 同様 の考 え方 に基づ いて い る.各 エ ッジ
点 を注 目画素 として,(3.1)式 で表 わ され る行列 を算 出 し, この行列 の 2つ の 固
￨こ
有値 を算 出す る.こ の とき,最 大 固有値 が大 き く,最 小固有値 が小 さい,す なわ
ち 2つ の固有値 の比 が大 きいエ ッジ点 は,画 像 中の直線 上あ るいは曲線 上の点で
ある と推測 され る.そ こで,2つ の固有値 の比 が閾値以 上 とな るエ ッジ点 を,直
線 に属す るエ ッジ点の候補 として残 し,そ れ以外のエ ッジ点 を コー ナー点 として
除去す る。 コー ナ ー点 の 除去後 に連結 して い るエ ッジ点 の集合 を,エ ッジセ グメ
ン トとす る.コ ー ナー点 を除去 した画像 を図 32(c)に 示す.連 結 して いた エ ッジ
点 を分離 したエ ッジセ グメン トご とに直線 か ど うか を判定す る こ とで,効 率 の良
い直線判定 が可能 とな る
.
第 3章
全方位画像中の特徴抽出および追跡
1釉 i
(a)元 画像
(C)エ ツジセ グメ ン ト画像
(b)Cannyエ ツジ画像
図 3.2エ ッジセ グメ ン トの抽出
3。 2。
2
エ ッ ジ セ グ メ ン トの 直 線 判 定
各 エ ッジセ グメ ン トが,3D直 線 が画像 上 に投影 された 2D曲 線 に属す るエ ッ
ジ点で構成 され るエ ッジセ グメ ン ト (以 下 ,直 線 のエ ッジセ グメ ン トと呼ぶ)で
あるか どうかを判定する.こ れ には本研究 で用 い る全方位カメラを構成す る双 曲
面 ミラーの幾何学的特性 (2.3.2項 参照 )を 利用する
.
2.7.3項 で述 べ た よ うに,直 線 のエ ッジセ グメ ン トに属す るエ ッジ点に対応す
る光線 ベ ク トルは 1平 面 上に存在す る.そ こで,属 する光線 ベ ク トルが平面 をな
すエ ッジセ グメ ン トを,直 線 のエ ッジセ グメ ン トであると判定す る。 なお,本 項
の処理 はエ ッジセ グメ ン トごとに独 立 して い るため,エ ッジセ グメ ン トを示す添
え字 ノは省略す る。
全方位 カメラの円形歪み以外 に,直 線検出 にお ける問題 として,Cannyで 検出
され るエ ッジ点にはノイズが多数含 まれ るとい う問題 が挙 げ られ る。 1点 で もノ
イズが含 まれ ると,直 線 の信頼性 が大 き く低下す る こ とがある。 そ こで,本 手法
では直線 の判定 に RANSACア ル ゴ リズ ム [Fischler'81]を 適用 し,ノ イズに対 し
て ロバ ス トな直線検出 を行 う。
まず,同 一のエ ッジセ グメ ン トに属す るエ ッジ点 に対応する光線 ベ ク トル 均 を
算出す る。次 に,ラ ンダムに 2つ の光線 ベ ク トル を選択する。選択 された 2つ の
光線 ベ ク トル rl,r2に 対 して垂直 なベ ク トル n″ 4グ を算出す る
.
n″
α
η
グ=rl×
r2。
(3.6)
エ ッジ セ グメ ン トに属 す る光 線 ベ ク トル の 中 で ,以 下 の 式 を満 足 す る光 線 ベ ク
トル の 数 を数 え る。
ttrondT Yi
I
€tp,
(3。
7)
3.2 直線の抽出と追跡
ここで,ι レ は聞値 で ある.ι ゎ は,直 線 の法線 ベ ク トル を も とに投影 された
53
2D
直線 と,2Dエ ッジ点 との誤差が ,0.5ピ クセル 以 内 とな る値 とす る. これ に よ
り,画 像 中で 2つ の直線 が近 接す るな どの原 因で分離が不完全 になったエ ッジセ
゛
グメ ン トが,直 線 の エ ッジセ グメ ン トとして判定 され る ことを防 く.以 上の処理
を繰 り返 し,最 大数 の光線 ベ ク トル とな る ときの,(3.7)式 を満 た さな いエ ッジ点
をノイズ として除去す る。 この ときの最大数 が エ ッジセ グメ ン ト全体 の過半数 と
なるエ ッジセ グメ ン トを,直 線 の エ ッジセ グメ ン トとす る。残 った光線 ベ ク トル
のみを用 いて,以 下 の式 を満 た すベ ク トル nを 算 出す る
.
ΣnT職 →mm.
(3.8)
:
このベ ク トル nは ,双 曲面 の ミラー側焦点 と 3D直 線 を通 る平面 の法線 ベ ク ト
,レ
(以 下,直 線 の法線 ベ ク トル と呼ぶ)と
して扱われ る.本 手法 では,1枚 の画
像 か ら得 られ る 3D直 線 に関す る情報 は平面 のみ,す なわち直線 の法線 ベ ク トル
nの みである.直 感的 には,1枚 の画像 か ら得 られ る 3次 元空間中の点 の情報 が
,
点か ら光線 ベ ク トル (線 )に 次元が 1つ 上が った形で得 られ るのに対 し,3次 元
空間中の直線 の情報 は,線 か ら面 に次元が 1つ 上が った形で得 られ ることに対応
してい る。 これは,2次 元 の画像 1枚 か ら得 られ る情報 だけでは 3次 元的な情報
を決定する ことがで きず,曖 味性 が残 る
(自
由度 が存在す る)と い うことで ある
.
画像 中の情報 のみか ら 3次 元的な情報 を得 る方法 については,詳 しくは第 4章 で
説明す る
.
3.2.3 直線 の 画像 間 の 対応 付 け
直線を画像間で対応付け,画 像列で追跡を行 う。現画像から検出された直線 j
上に,画 像上で約 1画 素おきになるようにサンプリング点を得る (図 3.3(o).次
画像中でエ ッジセグメントを抽出す る (図 3.3o)).サ ンプリング点 と対応する
次画像での点 (以 下,対 応点)を KLT法 により取得する (図 3.3(c)).次 画像中
で対応点 とのユークリッド距離が最も短いエッジセグメン トプを探索する.次 画
像中のエ ッジセグメン トプの対応候補 としてラベル ゴに投票する (図 3.3(o).す
べてのサンプリング点の投票が終了 した ときの最多投票数のラベル 塩axの 直線
が,次 画像のエ ッジセグメントノと対応 しているとみなす
(図 33(e)).
54
第 3章
全方位画像中の特徴抽出および追跡
(a)2D直 線 上のサ ンプリング点
(c)追 跡 されたサ ンプ リン グ点
(b)次 画像 のエ ッジセ グメ ン ト
(d)追 跡後 サ ン プ リン グ点 の最近傍 の
次画像 エ ッジ点
● サンプリング点
■ 次画像のエッジセグメン
ム 追跡されたサンプリング
□ 最近傍のエッジ点
□ 対応するエッジセグメン
l
(c)現 画像 の
2D直 線 に対応 す る次画
像 の エ ッジセ グメ ン ト
図 3.3直 線 の画像間 の対応付 けの流れ
3.2 直線の抽出と追跡
55
ただ し,投 票数 が現 画像 の直線 プのサ ンプ リング数 の過半数 に満 たず,か つ次
画像 のエ ッジセ グメン トプのエ ッジ点数 の過 半数 に も満 たない場合 には,次 画像
のエ ッジセ グメ ン トノに対応す る現画像中の直線 Jは 存在 しない と判定す る.以
上の処理を画像間で繰 り返す ことで直線 を追跡する。
ここで,一 般 に直線 上での対応付 けには開 日問題 ENakayarna'88]が ある.し
か し,サ ンプリング点 の対応付けを行 う際の探索 ウイ ン ドウサイズを十分 な大 き
さに設定す ることで,隣 接 した別 の直線 な どに誤 つて対応づ けられ る問題が発生
す る可能性 は低 くな る。 また,計 測 には 2D直 線上 での点対点の対応ではな く
,
直線 の法線 ベ ク トル n(3.2.2項 )を 利用 す るため,開 日問題 による悪影響 は少
ない
.
第 3章
全方位画像中の特徴抽出および追跡
3.3 直線群 か らの平行線検 出
本節 で は,前 節 で 抽 出 した直線群 か ら平行線 を検 出す る手法 につ い て説 明す
る.本 手法 で は,画 像 中 の平行線 か ら得 られ る拘束条件 を利用 した カメ ラ運 動
推 定 を行 う。 その た め に,32節 で 抽 出 され た 直線 の 中で ,互 い に平行 で あ る
直線 を検 出す る必要 が あ る.安 定 した平行線検 出 のため に,直 線検 出 と同様 に
RANSACア ル ゴ リズ ム [Fischlcr'81]を
適用 す る
.
まず ランダ ムに 3本 の直線 を選択す る.選 択 された いずれ の直線 の法線 ベ ク ト
ルに対 して も垂直 なベ ク トル ミ
T品 が存在 す る とき,選 択 された
いに平行 で あ り,そ の ときのベ ク トル vに
"は
3本 の直線 は互
平行線 の消失点 の方向 と一 致す る。
そ こで まず ,選 択 された 3本 の直線 か ら以下 の式 を満たす単位 ベ ク トル v初 ′を
算 出す る
.
\(nir
v,ona)z
-+ mtn.
(39)
算出 されたベ ク トル ミ
.品 に対 して以下の式 を満 たす直線 の法線 ベ ク トルの数
をカウン トす る。
<
(niTv"on6)2
v,7,,
(3.10)
ここで ,ヵ みは閾値 で あ る。 ラ ン ダム選択 を繰 り返 し,カ ウ ン ト数 が最大 とな る
ときの,カ ウ ン トされ た直線 を互 いに平行 な直線で ある と判定す る.互 いに平行
であ る と判定 された直線 のみを用 いて,以 下 の式 を満たす単位 ベ ク トル vを 算出
する
.
Σ(.√ v)2→ 価n
(3.11)
ι
この単位 ベ ク トル vは ,カ メラの投影 中心か ら平行線 の消失点 に向か うベ ク ト
ル (以 下,消 失点ベ ク トル と呼ぶ)で ある
.
3.3 直線群からの平行線検出
57
この際,同 一の画像 中か ら異なる方向の平行線 が得 られ る可能性がある.本 研
究で は,ロ ボッ トに搭載 した全方位 カメラを, ミラー軸 が床面 に対 して垂直 にな
るように設置す る ことを想定 して い るため,視 野範囲の関係 か ら,安 定 して検出
され る平行線 は床面 に対 して垂直 な直線である。そ こで,前 画像 を取得 したカメ
ラ視点 の 1に おける消失点ベ ク トル v91に 対 して一番近 い消失点ベ ク トル とな
る直線群 を現画像 の平行線 として採用す る.画 像間 の姿勢変化 が十分 に小 さけれ
ば安定 して 同じ方向の平行線 が選択 され る.初 期画像 においては,ロ ボッ トが初
期位置 では床面 に対 して垂直 な姿勢であることを前提 とし,床 面 に対 して最 も垂
直 に近 い平行線 を採用 する
.
第
3。
4
3章
全方位画像 中 の特徴抽 出および追 跡
実画像 を用 いた特徴 追跡実験
KLTト
ラ ッカ に よる特徴 点追跡 ,提 案手法 に よる直線追跡 お よび平行線検 出
の 有効性 を,実 際 の環境 を撮影 した全 方位画像 列 を用 い て検 証 した .本 実験 は
図 3.4に 示す屋 内環境 (廊 下 お よび室 内)で 行 った。 入力画像 は廊下 ,室 内 とも
に画像 サイ ズ 800× 600pixelの ,計 140枚 の全方位画像 で ある。最初 の画像 か ら
特徴 点お よび直線 を抽 出 し,以 降 の画像列 で追 跡 した.ま た,各 画像 で抽 出 され
た直線 か ら平行線 を検 出 した。
(b)室 内
(a)廊 下
図 3。 4直 線追跡 の実験環境
実験結果 として,20フ レーム ご とに各特徴 を表示 した画像 を図 3.5-図 3.10に
示す。特徴 点 と直線 は,画 像間 で対応 す るものが 同 じ色で表示 されて い る。平行
線 の検 出結果 は,平 行線 を緑 色 ,そ の他 の直線 を赤色 として表示 されて い る
.
廊下 の撮影画像 を用 いた特徴点追跡 の結果 か ら,廊 下 の よ うにテ クス チ ャの少
な い環境 にお い て は得 られ る特徴 点 が 少 な い こ とが 分 か る (図
3.5)。
したが っ
て ,特 徴 点 が 多数得 られ る こ とを前提 とした手法 で は精度 の 良 い カメ ラ運 動推定
は困難 で あ る ことが想定 され る.た だ し,少 数 なが ら誤対応 を生 じる こ とな く追
跡 されて い る特徴 点 も存在 す る。 カメラ運動 を精度良 く推定 す るため には,な る
べ く多 くの特徴 を利用 す る ことが望 ま しい こ とか ら,直 線 だ けで はな く特徴 点 も
同時 に利用 す る こ とは有効 で ある と考 え られ る。 また,混 雑 した室 内環境 にお い
ては多数 の特徴 点 を抽 出す る ことがで きる こ とが ,図 3.8よ り確認 で きる。
3.4 実画像を用いた特徴追跡実験
59
廊下 の撮影画像 を用 いた直線追跡 の結果 か ら,全 方位 カメ ラ特有 の 円形歪み に
よって大 き く湾 曲 して結像 された直線 が,直 線 として判定 されて い る ことが分 か
る (図 3.6).ま た,廊 下 の よ うな直線 的な構造物 で構成 され る環 境 だ けでな く
,
様 々 な物体が存在 す る室内の ような環境 にお いて も直線 が検 出 されて い る こ とが
分 か る (図 39)。
られ る こ とが 図
また,廊 下お よび室内 のいずれ の環境 にお いて も,平 行線 が得
37,図
3.10よ り確認 で きる.全 方位 カメ ラは視野 が広 いため
,
廊下のような単純な環境だけでなく,室 内のような混雑 した環境においても,人
工的な構造物が存在する環境であれば平行線を取得できることが分かる
.
第 3章
全方位画像中の特徴抽出および追跡
(a)0フ
(b)20フ レーム
レー ム
ヽ
l
(c)40フ
(d)60フ レーム
レー ム
(o100フ レーム
(c)80フ レー ム
ノ ′ ，
(g)120フ レー ム
図
3。
5特 徴 点追 跡 の結 果
(h)140フ レーム
(廊 下 )
3。
4
実画像 を用 いた特徴追跡実験
(a)0フ レ ー ム
(b)20フ レ ー ム
(c)40フ レー ム
(d)60フ レ ー ム
(e)80フ レー ム
(o100フ レーム
Ｆ
′
︲
(h)140フ レー ム
(g)120フ レー ム
図
3。
6直 線 追 跡 の結果
(廊 下 )
61
62
第
3章 全方位画像 中 の特徴抽 出および追跡
(a)0フ レー ム
(b)20フ レ ー ム
(c)40フ レ ー ム
(d)60フ レ ー ム
(c)80フ レ ー ム
(o100フ レーム
(g)120フ レー ム
(h)140フ レー ム
「
図 3.7平 行線検 出 の結果 (廊 下 )
3。
4
実画像 を用 いた特徴追跡実験
(a)0フ レー ム
(b)20フ レー ム
(c)40フ レー ム
(d)60フ レー ム
/
(c)80フ
レー ム
(g)120フ レー ム
図
3.8特 徴 点追 跡 の 結果
(o100フ レーム
(h)140フ レー ム
(部 屋 )
第
3章 全方位画像 中 の特徴抽出 および追 跡
(a)0フ
(b)20フ レ ー ム
レー ム
(c)40フ レー ム
(d)60フ レー ム
(c)80フ レ ー ム
(o100フ レーム
｀
ヽ
、
、
、
こ。
(g)120フ レー ム
図
3.9直 線 追跡 の 結果
(h)140フ レー ム
(部 屋 )
3。
(a)0フ
4
実画像 を用 いた特徴追跡実験
(b)20フ レ ー ム
レー ム
―
l
(c)40フ
レー ム
(d)60フ レー ム
レー ム
(o100フ レーム
′
(c)80フ
(g)120フ レー ム
図
3。
10平 行線検 出 の結果
(h)140フ レー ム
(部 屋 )
第 3章
全方位画像中の特徴抽出および追跡
3.5 特徴追跡 手法 の今後 の課 題
特徴点 お よび直線 の追跡 で共通 して生 じる問題 には以下 の 2つ が挙 げ られ る。
● 全方位画像 内の明暗差
ぺ
・ 他 の物体 による隠 い
また ,全 方位 カメ ラは視野 が広 いた め,視 野 内 に光 が 届 きに い た め暗 い部分
と,光 が 当 た りや す い明 るい部分 との 両方 が 含 まれ る こ とが あ る.そ のた め
,
Cannyの オ ペ レー タ によるエ ッジ点検 出の閾値設定 が 困難 にな り,結 果的 に特徴
の検 出が不安定 にな る とい う問題 が発 生す る。 この問題 に対 しては,IIDR(high
dynmlc range)画 像 生成 に よる画像 内 の 明暗差 の影響 の低減 が 有効 で あ る と考
え られ る.こ れ は今後 の課題 であ る
.
特徴 を長 い画像列 で追跡す る際 には,他 の物体 による隠ぺ い によ り追跡 が途切
れ る,あ るい は他 の特徴 と重 な る ことで,特 徴 同士の区別が つか な くな る問題 ヘ
の対処 も必要 で あ る。 これ に関 して は,特 徴追跡 に特徴 の
3次 元計測 の結果 を
フィー ドバ ックす る こ とで対処が可能であ る と考 え られ る.3次 元 的 にカメラに
近 い位置 にある特徴 (す なわち物体 の隠ぺ いの影響 を受 けて い な い特徴 )で ある
｀
か どうか を判定す るアル ゴ リズ ム を組 み込 む こ とで,特 徴 の誤追跡 を防 くことが
で きる.特 徴 の追跡 と 3次 元計測 との相互 関係 を考慮 した
SfM手 法 の構築 は今
後 の課題 である
.
また,提 案手法 による直線追跡 で生 じる問題 として,実 際 は同 じ 3次 元位置 と
方 向であ る直線 で あ って も,直 線上 に コー ナー点 と判定 され るエ ッジ点が存在す
る場合 には, コー ナー点除去 によって分離 されて しま うことが挙 げ られ る。 その
結果 として,短 い直線 として検 出 され る,あ るい は直線 として判定 されな い とい
う問題 が生 じる.エ ッジセ グメ ン トの抽出手法 お よび直線判定手法 の改善 は今後
の課題 であ る。
67
第 4章
Structure from Motion
本 章 で は,ま ず本 論文 にお け るカメ ラ運動 と座 標系 の 関係 を定 義 す る。次 に
SfMに おけるカメ ラ運 動推定 の,基 本的 な手順 と解法 を説明す る.そ して,S,I
の従来手法 に共通す る問題 点 を挙 げ る。 それ らの問題 点 を解決 す る SfM手 法 と
して,本 研究 が提案 す る,平 行線 を利用 したカメ ラ運動推定手法 を説明す る。 よ
り密 な 3次 元計測 のため,エ ッジ点 の 3次 元計測 を行 う手法 につ いて も述 べ る
.
最後 に,シ ミュレー シ ョン画像 お よび実画像 を用 いた実験 によ り,提 案手法 の有
効性 を示す
.
4.1 カメラ運 動 と座標系 の定義
本節 では,本 論文 にお けるカメラ運動 と座標系 の関係 を定義す る。世界座標系
0″
とカメラ座標系 Oσ の関係 を図 41に 示す。
ある点のカメラ座標系における座標をxC=レ ,ノ,dT,世 界座標系における座
標をXソ =区 ,y,ZITと すると,こ れらの関係は(4.1)式 で表される.こ こで 畔
の
に対応 す る単位 ベ ク ト
げ ,り は世界座標系 か ら見 たカメ ラ座 標系 の各軸 方 向
,
ルで あ り,t″ は世界座標系 か ら見 たカメ ラ座標 の原点 の位置 を表 す ベ ク トルであ
る。 ここで,ベ ク トルの上 付 き添 え字 の ″,ι は,そ の ベ ク トルが基準 とす る座
標系 が,そ れぞれ世界座標系 ,カ メ ラ座標系であ る ことを示す。
X″ =χ 畔 十ッ +Zげ +t″
ザ
(41)
逆 に世界座標 か らカメラ座標 に変換す るには,ィ ,ず ,り が互 い に直交 して
い ることか ら
,
第 4章 Structure from Mo■ on
図 4.1世 界座標系 とカメラ座標系 の関係
rlX: x+rlrt*,
(4.2)
rf,Y:y+r!rt',
(4.3)
rlZ: z+r!rt',,
.4)
“
となるので
,
.5)
“
と表 され る。 これ らのベ ク トルを用 いて,世 界座標系か ら見 たカメラ座標系 の姿
勢 を表 わす回転行列 を,以 下 の式で定義す る
.
Ｔ Ｔ Ｔ
畔 げ ず
〓
ｒｌｌｌｌｌｌｌｌＬ
馬
(4.6)
4.1 カメラ運動 と座標系の定義
ここで,回 転行列 の添 え字 は,回 転行列 をベ ク トルに対 して左か らか ける こ と
で,そ のベ ク トル を下付 き添 え字 で示 され る座標系 を基準 としたベ ク トルか ら
,
上付 き添 え字 で示 され る座標系 を基準 とするベ ク トルに座標変換す る こ とを意味
す る。 これを用 いて,(4.5)式 を拡張 ベ ク トルで表現 す ると,“ 7)式 とな る.こ
こで拡張 ベ ク トル とはベ ク トルの最後 に 1を 加 え,1つ の行列 との積 によ り位置
と姿勢 の変換 を同時 にで きるようにしたベ ク トルで ある
.
〓
χ ｙ ｚ
χ
y
馬 tW]
[鶴
.7)
Z
“
1
.7)式 を 2.5)式 に代入することで (48)式 が得られる。
“
χ
″
ω
ツ
=A[鶴
y
￨― R3t″
(4.8)
Z
]
1
1
次 に,2視 点間 のカメ ラの位置 と姿勢 の関係 (2視 点幾何 ,も し くはステ レオ
幾何 )を 説明す る.1台 のカメラが移動 した ときの,移 動前 カメラの位置姿勢 と
,
移動後 カメ ラの位 置姿勢 との 関係 は,す なわちカメ ラの並進運動 と回転運動 で
ある
.
世界座標系 とカメ ラ 1及 びカメ ラ 2の 座標系 の関係 を図 42に 示す。世界座標
,世 界座標系 か ら見 たカ
とし,世 界座標系 とカメ ラ
系か ら見 たカメ ラ 1座 標系 の姿勢 を示す 回転行列 を 嘲
メラ 1座 標系 の原点 の位置 を示す並進 ベ ク トル を 晰
2座 標系 との位置 と姿勢 の関係 を ]嗜 ,tと す る と,カ メ ラ 1座 標系 とカメ ラ 2
9)(4.10)式 で 表 され る
座標系 との位置 と姿勢 の関係 であ る 馬 :,〈:は
.
ヨ
鴫 =時 瑚 =聯 咄
“
9)
,
“
t::=瑞
(喘
―t)
10)
“
空間の点Py=区 ,乙 ZITに おけるカメラ1に よる画像座標をml=[″ 1ノ 1,lIT,
カメラ2に よる画像座標をm2=レ 2,り ,1]Tと すると,“ 8)式 より 11),“ .12)
式の関係が得られる
“
.
第
4章 Structure from Mo■
o■
考
,tq
図 4.22視 点 にお ける座標間の関係
Q ml=Al[R9-R3喘
]Ⅳr,
Om2=A2[R,￨二 R9雌
]Ⅳ
(4 11)
r
(4.12)
これを(49),o.10)式 を用いて変形すると(413)式 となる
.
ar,
(r11m,)
この式 は,A子 lmlと I嗜
-
or,
(ngi-',1;t^r) :4:.
lA,lm2の
線形結合 で
(413)
tが 表 されて い るので ,こ
lmlと ,■ と
の 3つ の ベ ク トルが 同一 平面 上 にあ る こ とを表 す .そ こで ,A「
判
A,lml)と が垂 直 とな り,内 積 が 0
て デ げ mlの 外積 ベ ク トル
鴫
(t×
に な る.こ こで ,並 進 ベ ク トル tと 任 意 の ベ ク トル xと の 外積 演 算 に対 して
t×
x=Txと なるような行列Tを 導入する.具体的には,t=し ,多 ,ち ITに 対して
,
多 ｔ ０
毛 ０ ４
０ ち ﹁
Ｔ
〓
(414)
71
4.1 カメラ運動 と座標系の定義
である。これにより2つ のベクトルの内積から(415)式 の関係が得られる
.
m,(A,1)RttT::A『
以上 の こ とか ら,画 像間 で対応 す る点
lml=0
(4.15)
ml,m2の 間 には次式 の関係 が ある こと
ιる
が導 かオ
.
m,Fml=0
(4.16)
この Fは 基礎行列 (Fundamental Ma磁 x)と 呼ばれる。 また,o17)式 で表 さ
れる行列 Eは 基本行列 (Essential Ma■ x)と 呼ばれる
.
E=RT
17)
(4.15)式 から,基 礎行列 Fと 基本行列 Eと の関係は以下のようになる
“
.
F=(A,1)rEA「
1
0■
8)
第 4章 Structure from Mouon
4。
2
基 本 的な カメ ラ運 動推定手法
4.2.1 概 要
smcttЮ ,Om Mouon(sfM)と は,与 え られた動画像 か ら,映 ってい る物体
や シー ンを計測す ると同時 に,撮 影 中のカメラの運動 を推定す るとい う問題 であ
る。一般的 によ く行われ る,基 本的 なカメラ運動推定 の手順 を,以 下で簡潔 に述
べ る1
カメラ運動推定 は多 自由度 の非線型問題 であるため,ま ず は問題 を線型化 して
近似的な解 を求 めることが可能な,線 型解法 を適用す る.カ メラ運動 を推定する
ためには,画 像 中か ら特徴 を抽出 し,画 像間で対応 付ける必要 があるが,必 ず し
も精度良 く対応付 けされた特徴 ばか りが得 られ るわけではない.そ こで,対 応付
け誤差 の大 きい特徴 をアウ トライア として除去す るアル ゴ リズ ムを,線 型解法 に
組 み込む ことが よ く行 われ る。 その後 ,近 似解 を初期解 として,非 線型最適化 ア
プローチ に基 づ く誤差 の最小化手法 を適用す る ことに よ り, より精度良 くカメラ
運動 を推定す る.以 上が基本的な SfM手 法 の手順である
.
ここでは,線 型解法の代表例 として,2視 点間におけるカメラ運動の推定 に よく
用 い られ る 8点 法 lHartley'97alに ついて説明す る。次 に,ア ウ トライア除去 によ
く用 い られ る手法 として,RANdom SAmple Consensus(RANSAC)[Fischler'81]
につ いて説明す る。最後 に,非 線型最適化 アプローチ として広 く知 られてい るバ
ン ドル調整 [THggS'00]に ついて説明す る.ま た,線 型解法 と非線型最適化 アプ
ローチの欠点について も言及す る
.
4.2.2 8点 法 に よ る 2視 点 の カ メ ラ運 動 推 定
本項 では,線 型解法の 1つ である 8点 法 について説明す る.8点 法 は,少 な く
とも 8組 の,2枚 の画像間で対応す る点か ら,最 小二乗法 によ り
17)式 で定義
は 9つ ある
され る基本行列 E(41節 )を 算出す る手法 である.基 本行列 の要素
“
が,基 本行列 には定数倍 の不定性 がある。 したがつて,要 素 の うちの 1つ を固定
し,他 の要素 を算出 して も結果 は変 わ らない.し たがつて,少 な くとも 8組 の対
応点が得 られれば基本行列 を算出可能である.以 下 に 8点 法 の手順 を述 べ る
.
4.2 基本的なカメラ運動推定手法
17)式 を代 入 し,整 理 す る と以 下 の式 とな る
.15)式 に
“
“
73
.
r7TEr=0,
(4.19)
ただ し
,
r=A『 lml,
(4.20)
ノ=Aテ lm2,
(421)
である.“ .19)式 の形では最小二乗法を直接適用できないため,以 下のように変
形する
.
Be=o,
22)
“
ここで,Bは 各カメラ座標系から対応点に向か うベクトルである町=L,も ,L]T,
弓=14,t,tlT(′ =1,… ,″ )を 用いて (4.23)式 のように表わされる行列である。
ちt
%ち
t4 Lち
また,eは 基本行列の各要素 を並べ たベ ク トルで,基 本行列 の
23)
“
の要素
列
ら4
ノ
Lt
・ 侮ち
︱
L4
4x ■
4y ち4z ″
イ
し
2イ ッ
′r与 4χ 均
χ
ち 角
ッ
Ｌ Ｌ ”
B=￨
ttχ
ｔ ｉｔ 行
■
4χ
χ
を E〃 とす ると
,
e=[Ell E12 E13
島 1 島2 島3 島 1 島2 島3]T,
0・ 24)
である。ただし,対 応点が誤差を含む場合,厳 密に .22)式 を満たす ことはな
い.そ こで,以 下の式を満たす基本行列を算出する “
.
Be2→
面
n
25)
“有ベ
この ときの eの 解 は,BTBで 表 され る 9× 9行 列 の最小固有値 に対す る固
ク トル として与 えられ る
.
74
第 4章
Structure from Motion
8点 法 を含 む,画 像情報 の みを入力 とす るカメ ラ運動推定手法で は,ス ケー ル
情報 ,す なわちカメ ラ間の絶対的 な距 離 が 決定で きな い。 そ こで,カ メ ラの移動
前後の並進ベクトルのノルム lt‖ を 1と 置く。これにより行列 Tの 各要素の二
乗和の平方根であるフロベニウスノルム IT‖ はν2と なる.回 転行列 Rを 掛け
てもノルムは変化しないため,基 本行列のノルム I EIIが νりとなるように基本
行列を正規化することで,カ メラ間の距離を 1に 正規化する
.
E′
最後 に,正 規化 した基 本行列
=舌 E.
26)
“
E′
を特異値分解 す る ことに よって,回 転行列
R
と並 進 ベ ク トル tに 分解す る.基本行列 は以下 の よ うに特異値分解で きる
.
E′
=lDV,
.27)
“
Σ =d力 g(q,0,Q),
(428)
q,o,Qは 特異値 で あ り,q≒ Q■ 1,Q≒ 0で ある.こ こで は回転行列 を
1,Q=0と す る.そ して以 下 の よ うに変形 させ る。
作 るため,q=0■
E': UYvrvzvr,
1429)
０ ０ ０
雄
ベ ク トルの要素 か らな る行列
R=UYVT,
(430)
■１１１１１１Ｊ
■ ０ ０
＝
行
転
回
カ
ら
ら
式
の
こ
れ
〓峰
Ｚ
・
dctUVT
﹁︱︱︱︱︱ＩＪ
± ０ ０
０劃０
ｒｌ ｌ ｌ ｌ ｌ ｌ Ｌ
〓
Ｙ
0
0
14.31)
Tは
,
_32)
“
T=VZVT,
33)
“
と表わされる.行 列 Tか ら並進ベクトル tを 算出することで,2視 点間の位
置と
姿勢の関係が求まる。
75
4.2 基本的な カメラ運動 推定手法
4。 2。
3 RANSACに
よ る ア ウ トラ イ ア 除 去
カメ ラ運 動 を推定す るためには,画 像 間 で特徴 を対応付 ける必要 が あ る。 しか
し,実 際 の動画像 か ら特徴点や直線 を検 出す る際 には,必 ず誤差 が生 じる。 その
ため,誤 差 の小 さい特徴 をイ ン ライア として残 し,誤 差 の大 きい特徴 をアウ トラ
イア として 除去 す る必 要 が あ る。 ここで はアウ トライ ア の 除去手法 として よ く
用 い られ る,RANdom SAmple Consensus(RANSAC)[Fischler'81]に つ い て説
明す る.RANSACは アウ トライ アを含 むデ ー タ群 に対 して,ロ バ ス トにモ デ ル
フイッテ ィ ングを行 うアル ゴ リズ ムで あ る。
RANSACの 適用例 として,入 カデー タ群 を 2次 元平面 上の点 ,フ ィッテ イ ン グ
す るモ デ ル を直線 とした場合 の アウ トライア除去 の手順 を以下 に示す (図
4。
3).
1.入 カデ ー タ群 か らラ ンダム に 2点 を選 択す る
2.選 択 された 2点 を通 る直線 を算 出す る
3.算 出 された直線 まで の距離 が 閾値 以内 とな る点 の数 ″を数 え る
4.1∼ 3を あ らか じめ指定 した 回数 だ け繰 り返す
5。
4が 最大 とな る ときの,直 線 まで の距離 が 閾値 よ り大 きい点 をアウ トライ
ア と判定 す る
○ 入カデータ
● 選択 された点
● アウトライア
(a)入 カデ ー タ
(b)最
適 な フィッテ ィ ング結果
図 4。 3直 線 フィッティ ン グの例
76
第 4章 Strllcmre frOm MOtion
RANWく
をカメ ラ運動推定 に適用 す る場合 には,カ メ ラ運動推定 に必要 な最
低 限 (あ るいは それ以上 )の 特徴数 をランダムに選択 し,選 択 された特徴 を用 い
てカメ ラ運動 を推 定 す る.例 として,カ メ ラ運 動推定 の手法 が 8点 法 で あれ ば
,
抽 出 した特徴点 の 中か ら 8点 を ランダム に選択すれば よい。
RANSACの 利点 は,デ ー タ中のアウ トライアの割合 が十分 に小 さければ,ラ ン
ダム選択 とモデル フィッテ イ ン グの繰 り返 し回数 を多 くす る こ とで,安 定 して ア
ウ トライ アを除去 で きる とい うこ とで ある。欠点 としては,適 切 な閾値 を設定す
る必要があること,繰 り返 し処理を行 うため計算時間がかか る ことな どが挙 げら
れ る。 ただ し,閾 値 の設定 は,入 力画像 の解像度や,特 徴 の対応付 け誤差 の実験
値 な どか ら,カ メラ運動推定 に生 じる誤差 を見積 もる こ とで解決 で きる.ま た
,
計算時間 については,同 じ演算 を繰 り返す処理であるため,GPGPUな どによる
並列演算 による高速化が可能であ り,実 用上では問題 にな らない と思われ る
.
4.2.4 バ ン ドル 調 整 に よ る 誤 差 の 最 小 化
8点 法な どの線 型解法 によって推定 されたカメラ運動 には,線 型化 による誤差
が含 まれ るため,必 ず しも良い推定結果 であるとは限 らない.そ こで,非 線型最
適化 アプローチにより誤差 の最小化 を図 る.本 項 では,非 線型最適化 アプローチ
として よ く用 い られ る,バ ン ドル調整 [TnggS'00]に ついて説明す る.バ ン ドル
調整 は,動 画像全体 での再投影誤差 の和 が最小 となるカメラ運動 を推定す る手法
である
.
再投影誤差 とは,特 徴 (特 徴点や直線 )の 元 の画像座標 と,そ の 3次 元計測結
果 を各視点の画像上 に再 び投影 した時 の座標 との誤差である.こ こでは,簡 単 の
ために特徴点 の場合 を考 える.再 投影誤差 の概念図 を図 4.4に 示す
.
再投影 した座標 と元 の画像座標 とで違 いが生 じるのは,画 像間 の特徴点 の対応
付 け誤差や カメラ運動 の推定誤差 が原因である。理想的には,特 徴点 に向か うそ
れぞれの視点か らの光線 が,3次 元 空間中で 1点 に交 わ る位置が特徴点の 3次 元
位置 である.し か し,誤 差 を含んだデー タを用 いて 3次 元計測 を行 う と,特 徴点
に向か う光線 は 1点 で交 わ らない。 そ こで,特 徴点 の 3次 元位置 は光線間 の最短
距離 の 中点な どとして算出 され る.元 の光線 か らずれた位置が 3D特 徴点 の 3次
元座標 とな るため,3D特 徴点を再度画像 に投影 した時 に,元 の 2D特 徴点 の画
像座標 との間で誤差が生 じる。 この誤差 が再投影誤差 である
.
4.2 基本的なカ メラ運 動推定手法
77
画像 上の点
再投影 点
図 4。 4再 投影誤差
3D特 徴 点 に向か う光
線間 の距離 が小 さ くな る。 光線間 の距離 が小 さ くな るほ ど,再 投影誤差 も小 さ く
な る。 したが って,再 投影誤差 が最小 とな る ときのカメ ラ運 動 が ,入 カデ ー タに
カメ ラ運 動 の推定精度 が 良 い ほ ど,各 視点 か ら対応 した
対 して最適 なカメ ラ運 動 で ある。 これが バ ン ドル調整 の基本 的な考 え方で あ る。
各視点 ノにお ける特徴 点 Jの 元 の画像座標 を xノ ,J'再 投影 された特徴 点 の画像
座標 を xク ″とす る と,動 画像 全体 の再投影誤差和 島7は 以下 の式で表わ され る。
Erc′
=Σ Σ
Ilxノ
ノ J
F―
弓
「
￨12
(4。
34)
島ッ の 最小化 には,勾 配 に基 づ く非線形 最小 二 乗 法 で あ る レー ベ ンバ ー グ・
マー カー ト法 を適用 す る。線 型解法 によって得 られ る近似解 を初期値 とし,(4.34)
式 を回転行列 お よび並進 ベ ク トルで偏微分 して得 られ る勾配方 向 に探索 し,カ メ
ラ運 動 を更新す る。探索 と更新 を繰 り返 す ことで,再 投影誤差 が 最小 とな るカメ
ラ運 動 を推定す る。
第 4章 Structure from Mouon
4.2.5
従 来 の カ メ ラ運 動 推 定 手 法 の 問題 点
8点 法 を含 む線 型解法 は,カ メ ラ運 動 を高速 に推定 す る こ とが 可能 で あ るた
め,処 理時 間 の面 で は,移 動 ロボ ッ トに適 して い る とい える。 しか し,線 型解法
は,本 来 は非線型 で あるカメラ運 動 を線型化 して推定す るため,誤 差が生 じる と
い う問題 が あ る。 この例 として,8点 法 にお い ては,“ 25)式 を満 たす基本行列
を特異値 分解 した際 に,回 転行列 の各要素 が 回転行列 を表す形 になって い る こと
が保証 され な い.そ のた め,カ メ ラ運動 に矛盾 が生 じる。 これ は,回 転行列 は
,
互 いに直交す る 3つ の軸周 りの 回転量 を示す,3つ の角度 の三 角関数 の掛 け合 わ
せ によって表現 され るが,8点 法 の解法 で は その拘束 を満 た さな い こ とが原因で
あ る。線型解法 による近似解 は,カ メ ラ運動や画像 中の対応点 の配置 な どによっ
ては大 きな誤差 を持 つ ことが ある。
バ ン ドル調整 を含 む非線型最適化 アプロー チ は,特 徴 の対応付 け誤差がな い理
想 的な条件下 においては,カ メ ラ運動 の真値 を得 る こ とが可能 で ある.し か し
,
実際 に ロボ ッ トによって撮影 された動画像 を処理す る上で は課題 が残 る
.
バ ン ドル 調整 を含 む多 くの非線型最適化 アプ ロー チの大 きな問題 の 1つ とし
て は,局 所解 に陥 る危険性 が あ る とい うこ とで ある.カ メ ラ運 動推定 は多 自由度
の非線型問題 であ るため,総 当 た り的 にパ ラメー タを探索す る方法で は,現 実的
な処理 時間 で推定す ることがで きな い。 そ こで,評 価 関数 を偏微分 して勾配 を算
出す るな どの方法 によ り,パ ラメー タ探索 を効率化す る必 要 が ある.し か し,勾
配 に基 づ く方法で は,完 全 に局所解 を回避 す るのは困難 で あ る.こ こで,一 般 に
非線型最適化 アプローチ は,十 分 に真値 に近 い初期値 を与 えることで,局 所解 に
陥 る危 険性 を低減す る ことがで きる。 しか し,線 型解法 によって得 られた近似解
には必ず何 らかの誤差 が含 まれ るため,常 に十分 に真値 に近 い初期値 を与 える こ
とは困難 である.ま た,理 想的 には視点数 が 多 い ほ ど精度良 くカメ ラ運動 推定 が
可能 で あ るが,実 際 ほ視点数 が増 えるに従 って推定す るパ ラメー タ数が膨大 にな
り,処 理時 間 が指数関数的 に増大す る上,局 所解 に陥 る危 険性 も増す ため,常 に
良 い結果 が得 られ る とは限 らな い
.
4.3 平行線 を利用 したカメラ運動推定手法
4.3
平 行 線 を 利 用 した カ メ ラ運 動 推 定 手 法
4.3.1 概要
本研究では,画 像 中の平行線 を利用す ることで,線 型解法 によ り推定 したカメ
ラ運動 を初期値 とす る必要がな く,か つ局所解 に陥 りに くい,ブ ト
線型最適化 アプ
ローチ に よるカメラ運動推定 の手法を提案す る.提 案手法 は,動 画像全体 のカメ
ラの 3次 元運動を同時 に推定す ることが可能である.提 案手法 の前提条件 は,画
像中か ら少な くとも 3本 の平行線 と,3本 の平行線 と異なる方向の直線 が得 られ
ることのみで ある。人工物 が存在す る環境下 で,視 野 の広 い全方位画像 か ら 3本
以上の平行線 を検 出す るこ とは容易である
.
提案手法で は,平 行線 か ら得 られ る拘束条件 を利用 し,カ メラ運動 を 4つ のス
テップに分 けて推定す る.各 推定 ステ ップにおけるカメラ運動 のパ ラメー タの 自
由度 は,推 定す るカメラの視点数 に関わ らず最大で 1で ある。そのため,多 自由
度 のパ ラメー タ推定 を必要 とする従来手法 と比べ,局 所解 に陥 る危険性が大幅に
低減 され る。 また提案手法 では,画 像特徴 の位置関係 か らパ ラメー タ探索の範囲
を限定す る ことに よ り,処 理速度を向上 しつつ,局 所解 に陥 る危 険性 をさらに低
減す る
.
以下 に,提 案手法 によるカメラ運動推定 の手順 を簡単 に説明す る。提案手法 で
は,カ メラの回転運動 と並進運動 をそれぞれ 2つ のステ ップに分 けて推定す る。
具体的 には,以 下 の手順 でカメラ運動 を推定す る
.
1)平 行線 の消失点を検出 し,消 失点方向が一致す る各視点 のカメラの回転運動
を算出す る。
2)消 失点方向を軸 とす る回転運動 を推定す る
.
3)平 行線 に対 して垂直 な平面上での並進運 動 を推定す る
.
4)平 行線 に沿 つた方向の並進運動を推定す る
.
提案手法 のカメラ運動推定の手順 を図 45に 示す
.
第 4章
Structure from Motion
回転運動の推定
消失点方向を一致させる回転
消失点方向を軸とする回転
並進運動の推定
平行 線 に対 して垂 直 な 平 面 上の並
平行 線 に沿 つた方 向の並進
図 4.5本 手法のカメラ運動推定の手順
また,実 画像 か ら検 出 した直線 の 中 には,ア ウ トライアが存在 す る こ とが考 え
られ る.そ こで本手法 で は,各 推定 ス テ ップ にお いて逐 一
RANSAC(4.2.3項 参
照 )に よるアウ トライア除去 を適用 す る
.
なお,以 降 の説 明 で はカメ ラの 回転行列 お よび並進 ベ ク トル はすべ て,カ メ ラ
の初期位置 60に 対 す る他 のカメ ラ座標 系 の の位置 と姿勢 を示 す。 したが って
,
基 準 のカメ ラ座 標系 を示す下付 き添 え字 は省略 し,上 付 き添 え字 の みで カメ ラ座
標系 を示す。 また,3D直 線 の 3次 元方向 を示す ベ ク トル dお よび 3次 元位置 を
示 す ベ ク トル 1は カメ ラの初期位置 を基準 として い る.し たが つて,ベ ク トル の
基 準 とな るカメ ラ座 標系 を示す上付 き添 え字 は省略 す る。
4。
3.2
特 徴 点 を結 ん だ擬 似 直線 の作 成
平 坦 な壁のみで構成 され る廊下 の よ うな,特 徴 が極 めて少 な い環境 において
は,直 線 の利用 が有効 である.し か し,そ の よ うな環境 においては直線 の数 も少
ないこ とが想定 され る (図 4.6).カ メラ運動 を精度良 く推定す るためには,よ り
多 くの特徴 を利用す ることが望 ましい.そ こで本手法 では直線 の他 に,特 徴点 も
同時 に利用す る。
4.3 平行線 を利用 したカメラ運動推定手法
81
図 4。 6特 徴 の少 な い環境 の例
本 手法 は直線 の対応 関係 に基 づ い た
SIM手 法 で あ る。特徴 点 を直線 と並 列 に
扱 うため,2つ の特徴 点 を結 ぶ ことで擬似的な直線 を作成 す る。特徴 点数 を Ⅳ と
す る と,擬 似 的な直線 は Ⅳ(Ⅳ -1)だ け作成で きる。
ここで,特 徴点 を画像 間 で対応付 ける際 には,様 々 な要因 か ら必ず誤差が生 じ
る とい う点 に注意 が必要で ある。特徴 点 の対応付 け誤差 の大 きさが どれ も同 じで
あ って も,擬 似直線 を構成 す る 2つ の特徴点 の画像座標 が近 い ほ ど,相 対的 に直
線 としての誤差 (位 置や傾 きな ど)が 大 き くな るか らで あ る (図
4.7)。
そ こで
,
擬似直線 を構成 す る 2つ の特徴点 の画像座標 が近 い場合 は,直 線 としての信頼性
が低 いため破棄す る。
拳 ――
● ……・ 元 の特徴 点 の位置 と擬似直線
(a)抽 出 された特徴点
対応付け誤差 がない場合
● ……・ 対応付け誤差 がある場合
(b)対
応付 け られ た特徴点
図 4.72つ の特徴点 の距離 と擬似直線 の誤差 の関係
82
第 4章
Structure from Mo■ on
提案手法では,カ メラ運動推定のために直線の法線ベクトル n(3.2.2項 参照)
を必要 とする。擬似直線の法線ベクトル し剛ぁ は,そ れを構成する全方位画像
中の 2つ の特徴点の光線ベクトル rl,r2に 対して垂直な単位ベクトルとして
,
以下の (4.35)式 より算出される
.
nPsθ
ぁ =‖
.× ち
.
(4.35)
提案手法 に よるカメラ運 動推定 では,擬 似直線 は,平 行線 と異なる方向である
直線 として扱 われ る.よ つて以降 の説明 では,擬 似直線 の法線 ベ ク トル
し 吻ぁ
の下付 き添 え字 は省略す る.ま た,擬 似直線 は実在 しない仮想的な直線であるた
め,そ の 3次 元計測結果 は生成 され る地図に表示 しない
.
4.3 平行線 を利用 したカメラ運動 推定手法
擬似直線 を用 い る利点 として,環 境 中 に実際 に存在 す る直線 だ けで は得 られ な
い,様 々 な 3次 元方 向や 3次 元位置 で あ る直線 を利用 で きる とい うこ とが挙 げ ら
れ る.SIMに 基 づ く手法で は,多 数 の特徴 を用 い るほ どカメ ラ運 動推定 の安定性
の 向上 の面 で 有利 で あ る。
一 方 ,擬 似直線 を用 い る こ とによる欠点 として,特 徴 点 の画像 間 の対応付 け誤
差 は,直 線 と比 べ て大 きい ため,生 成 され る擬似直線 にはア ウ トライ アが 多 く
含 まれ る とい う こ とが 挙 げ られ る。 ア ウ トライ アの割合 や ,含 まれ る誤差 の性
質 に よっては,単 純 に RANSACな どの アウ トライア除去手 法 を適用 す るだ けで
は,ア ウ トライアを適切 に除去す る こ とがで きな い こ とが あ る。 そ こで提案手法
で は,カ メ ラ運 動推定 の評価 関数 に,デ ー タの信頼性 に基 づ く重みづ けを行 う こ
とによって, この 問題 を解決す る。 この重 み付 け に関 して は 4.3.4項 で 詳 し く述
べ る。
特徴点 か ら作成 された擬似直線 の例 を図 4.8に 示 す。図中で は,特 徴点 を結 ん
だ擬似直線 が実際 に存在 す る場合 に,全 方位画像 に どの よ うに投影 され るか を計
算 して表示 して い る。実在 す る直線 だ けで は得 られな い,さ まざまな方 向 の直線
が利用 で きる こ とが分 か る。
″
● 特徴 点
〕擬似 直線
卜 ｀
′
```口
(a)抽 出 された特徴点
(b)特
徴点 を結 んで作成 した擬似 直線
図 4.8作 成 された擬似直線
第
4。 3。
3
4章 Structure from Motion
消 失 点 ベ ク トル の 方 向 合 わ せ
回転運動 は 2つ のステ ップに分 けて推定 され る。最初 のステ ップで は,各 カ
メラ座標 にお ける消失点ベ ク トルが 同じ方向 となるよ うに補正す る回転行列 を算
出す る.こ れ は解 の探索 を必要 としない単純 な演算 によって得 られ る。 したが つ
て,本 ステ ップで は推定す るパ ラメー タの 自由度 は 0で ある。本 ステ ップの入力
は,各 カメラ座標系 にお ける消失点ベ ク トル (3.3節 参照)で ある。
消失点 は無限遠 に存在す る点である と考 えられ るので,各 カメラ座標系 の消失
点 ベ ク トルは,基 準 とな るカメラ座標系 60か ら見 て,す べ て 同じ 3次 元方向 と
なる (図
4.9)。
したが つて,以 下 の (4.36)式 を満 たす,基 準 となるカメラ座標系
60に 対す る各 カメラ座標系 の の回転行列 R協 が存在す る。
v"o
:
RfiT
v'i
(4.36)
.
フ
ヽ
平行
X.X
]
Y'
b_
///
図 4。 9消 失点 ベ ク トルの方向 の一 致
回転行列 R窮 は,2つ の各 カメラ座標系 にお ける消失点ベ ク トル vε O,vら に対
して直交す るベ ク トル mの を回転 の軸 とし,角 度 θのだ け回転 させ る回転行列 と
して算出 され る (図
4。
10)。
この 回転行列 は ロ ドリゲ スの回転 公式 (Rodrigues'
Rotation Fommla)に よって以下 の式で表 わされ る。
R%=IcoS
の
θ 十
(1-COS
の
θ )Ml+M2Sin
θら
(4。
,
Tと すると
ここで,Iは 単位行列である。また,mの =レ χ
;“ッ
,“ 」
,
37)
4。
3
平行線 を利用 したカメラ運動 推定手法
Ｉ
Ｉ
Ｉ
Ｉ
ＦＩＩＩ！︱ＩＬ
,
θQ=arccos(V60TVQ)。
(4.38)
(4.39)
る
ゴ
さ
mσ J ==v60 x vε
れ
ま
０鶴巧 ”
Ｌ
”
４
０％
Ｉ
であ る。軸 ベ ク トル mの と回転角
＝刹
Ｉ
〓
﹁︱︱︱︱︱ＩＪ
Ｆ
Ｍ
PI12=
多統移
(4。
40)
(4.41)
V角
Vσ
図 4。 10回 転角 の算出
ここで,消 失点 ベ ク トル を軸 とす る回転成分 は,消 失点 ベ ク トルの方 向を変化
させ な いため,消 失点 ベ ク トルの方 向を一 致 させ る拘束条件 を表す (4.36)式 か ら
一 意 に決定す る こ とはで きな い。 したが って, このス テ ップの終 了時 で は,カ メ
ラの 3次 元 回転運動 の成分 の 中で,消 失点 ベ ク トル を軸 とす る回転成分 (1自 由
4.H).逆 に言 えば,平 行線 を利用 す る こ とで,本 来 1つ
のカメ ラ座 標系 あた り 3自 由度 あ る 3次 元空間 中の 回転運動 を,1自 由度 に低減
度 )は 未知 で あ る (図
す る こ とがで きる。
第 4章
Structure from Motion
カメラ座標 系 ε
そ
zヽ
ー
3-_
未知 の回転成タ
J
Rλ
肇
:‐
図 4。 11未 知の回転成分
4。
3.4
消 失 点 ベ ク トル を 軸 と す る 回 転 運 動 推 定
次 のス テップで は,カ メラの回転運動 の残 りの 1自 由度 で ある,消 失点ベ ク ト
ル を軸 とする回転角 φらの回転 を示す回転行列 R夕 を推定す る。本 ステ ップの入
力 は,平 行線 とは異な る方向の直線 (擬 似直線 を含 む)の 法線 ベ ク トル n(3.2節
参照)で ある。 この直線 は 3本 以上必要であ り,用 い る直線 の うち,少 な くとも
1本 は,そ の他 の直線 と 3次 元方向が異な って い る必要が ある.3D直 線 プの
,
カメ ラ座標系 の にお いて対応す る 2D直 線 の法線 ベ ク トル を nァ と表 わす。
カメラ座標系 60に 対す るカメラ座標系 の の姿勢を表わす回転行列 Rの は,前
項 で算出 した消失点 ベ ク トルの方向を一致 させ る回転行列 琳 と,消 失点ベ ク ト
ル を軸 とする回転行列 Rク の 2つ で表現す る こ とができる.カ メラの 3次 元回転
運動 を示す回転行列 R%を ,2つ の回転行列 琳 と Rク を用 いて以下 の よ うに定
義す る
.
RQ=ヨ 協Rク
.
(4。
42)
また,3D直 線 プの 3次 元方 向を示す ベ ク トル dプ は,各 カメ ラ座 標 系 の の原
点 を通 り,対 応 す る直線 の法線 ベ ク トルに対 して垂 直 な平面上 に存在 す る.こ こ
で,dノ はカメ ラ座標系 60を 基準 とした ベ ク トルで あ る。 したが って dメ ま,直 線
Tnア
に
の法線 ベ ク トル n夕 を基 準 とな るカメ ラ座 標系 θ
Oに 合 わせ た ベ ク トル Rの
対 して垂 直 で あ る.よ つて 以下 の式が成 り立 つ
.
＼
Ｔ
ヽ ︱ ノ
ｎ
Ｔ
の
ｆ ｌ
Ｒ
／
島 =0・
(4.43)
4.3 平行線 を利用 したカメラ運動推定手法
提案手法 では,3D直 線 の 3次 元方 向 は未知である。 したがつて,(443)式 の
なわち消失点ベ ク トルを軸 とした回転
みか らカメラ座標系 の の回転行列 Ⅳ
',す
成分である Rク を推定するためには,3D直 線の 3次 元方向も同時に推定 しなけ
ればならない.し かし, これは多自由度の非線型問題 となる.そ こで本手法で
は,計 算の手順を工夫することで,自 由度を大きく低減する方法を提案する
まず,あ るカメラ座標系 のの回転行列 馬 ′
,す なわち消失点ベクトルを軸 とす
る回転の回転角 φ9を 仮に決定する.こ れにより,(442)式 を用いてカメラ座標
.
系 Qの 回転行列 Ⅳ :が 算出できる.カ メラ座標系 のの回転行列 RCiが 決定 され
ると,初 期カメラ座標系 ο
Oを 基準 とした場合の各 3D直 線 ノの 3次 元方向ベク
トル dプ は以下の式から算出できる。
ヽ
ｎ
１ ′
Ｔ
ｒ
×
ノ
／ｆ ｌ ヽ
ザ
〓
ら
(4.44)
ただ し,仮 に決定 した回転角 φ。が,カ メラ運動 の真値 と異 なる場合 ,実 際 の
3D直 線 の 3次 元方向 と,o44)式 によって算出 された d/と が一致 しない.し か
し,2つ のカメラ座標系 ι
O,qか ら得 られ る情報 だけでは,推 定 されたカメラ運
動 と 3D直 線 との幾何学的整合性 を検証 す ることはできない。
3D直 線 ノは,各 カメラ座標系 Qの 原点を通 り,直 線 の法線 ベ ク トル 巧iを 法
線 とす る平面 の交線 として算出 され る。 しか し,2つ の平面 のなす交線 は無数 に
存在す るため,2つ のカメラ座標系か ら得 られ る平面だけでは,カ メラ運 動 を推
定す るため に必要な拘束 は得 られない.こ れが 2視 点か ら得 られ る直線の情報だ
けではカメラ運動推定 が推定 で きない理 由である。 カメラ運動 を推定す るために
は,少 な くとも 3つ の平面 が 1本 の線 で交 わ るとい う条件 が必要 である.ピ ン
ホールカメラモ デルにおける,画 像中の 2D直 線 と座標系原点 を通 る平面が 1本
の線 で交 わる様子 を図 4.12に 示す
.
以上のことから,(444)式 によって算出された ら が,少 な くとも, もう 1つ
以上のカメラ座標系 %に おける直線の法線ベク トル 可たとの間で,(443)式 の
qが
関係を満たしているかどうかを検証する必要がある.仮 に決定 した回転角 φ
カメラ運動の真値 と等 しい とき,理 想的にはすべての 3D直 線 プの 3次 元方向 と
(444)式 によって算出された d7は 一致するため,他 のカメラ座標系においても
(4.43)式 が成 り立つ.た だし,ノ イズなどの影響で厳密に (4.43)式 を満たす こと
はない.そ こで,カ メラ座標系 0に 対する以下の評価式が最小 となる 3D直 線
の 3次 元方向 dyが 算出されるときの回転角 φ。を,最 も真値 に近いカメラの回
転運動を表わす回転角 として推定する
.
第 4章
Structure from Motion
平面3
カメラ座 標 系3
カメラ座標系 1
図 4.123つ の平面 の交線
ｄ
ｎ
ヽ ︱ ノ
Ｔ
Ｔ
／ｆｔ＼
ε
た
)=Σ
ｒ
Q(φ
(4.45)
ノ
ここで,κ ′は直線の数である。カメラ座標系 ε
たの回転行列 RCた はこの段階では
た
未知であるため,η (φ ε
)を そのまま計算す ることはで きない。ただし,(4。 44)
式によ りdプ は既知であるため,(4.45)式 の未知パ ラメータは,回 転行列 Rε たの
ε)の みで
未知成分である,消 失点ベ クトルを軸 とした回転成分 (そ の回転角 φ々
ある。
ε
た
(4.45)式 は未知パ ラメータが 1つ だけであるから,(4.45)式 は Q(φ )の 値を
最小 にする回転角 φ を算出する問題 として解 くことができる。(4.45)式 を展開
たに関する4次 関数 となる ((4。 46)式 ).
すると,最 終的に回転角 φε
Cた
2+τ χ
3+ザ χ
4+サ χ
十サ
像 )=サ χ
(χ
fた
(4。
46)
4.3 平行線 を利用 したカメラ運動推定手法
こ こで ,
χ=COS(φ %),
.47)
“
である。 また,4次 関数の各項の係数は
,
f=Σ (可 ″
2+′ 2)2,
(4.48)
ノ
ォ=平 芦 (け 2+′ 2),
4γ
(4.49)
1芦
2′ 2)+4げ 21芦
サ=Σ レ(け 2+′ 2)(γ芦
司
,
(4.50)
ノ
4げ け 2′ 2),
τ
=平
(ィ
『
51)
“
ォ=Σ (ィ 2_′ 2)2,
52)
ノ
“
である.た だ し
,
島
√
ヽ１，ノ
Ｖ
ヽ
ヽ１′ノ
Ｔ
Ｔ
寸
時
〓
１ １
／′ ︱ ヽ
／
げ
.53)
“
uf
:{ (";r'4-) -
[("*'4n)',] "]'u,,
′=卜 ×(琳 T寸 )]Tら
,
1454)
(4.55)
である。 したがって,各 直線 ノの 3次 元方向 ち があらかじめ与えられる場合
46)式 で表わされる4次 関数の最小値を求めることによって,各 カメラ座標系
の における消失点方向を軸とする回転運動の回転角 φ針 を推定することが可能
“
,
である
.
4次 関数の最小値は一意に算出可能であるから,カ メラ座標系 ο
たの回転行列
Rqι を算出するにあたって自由度は実質的にゼロであり
,そ の値は最初にカメラ
座標系 ので仮に決定した回転角 φOに 依存する。 このときヽ(φ 針)が とる最小値
は,回 転角 φ。が真値に近いほど小さくなる
.
90
第 4章 Strucmre frOm MOtion
以上のことから,3D直 線の実際の 3次 元方向に対 して最適な回転角 φOを 推
定することができれば,そ の他のカメラ座標系における回転行列の最適解も同時
に求まることが分かる.具 体的には以下の式で表 される評価値 Zk(φ 。)を 最小化
する φ。を推定すればよい
.
身 °
)=Σ Q(φ 録
56)
),
(φ
た
“
ここで,″ cは カメ ラの回転運動 を推定す るカメ ラ座標系 の数 であ る.こ の推定 ス
テ ップにお け る実質 的な未知 パ ラメ ー タ は,選 択 されたあ るカメ ラ座標系 の に
お け る回転角 φ。 のみで あ り,そ の他 のカメ ラ座 標系 qに お け る回転運 動 は 自
動 的 に決定 され る こ とか ら,推 定す るカメ ラ座 標系 の数 に関 わ らず,実 質的 には
自由度 が 1の 非線型問題 とな る
.
本 手法 は推定す るカメ ラ座標系 の数 に関 わ らず同 じ自由度 ,式 表現 でカメ ラの
3次 元 回転 が 推定 で きるため,従 来手法 と比べ 非常 に効率的 で ある。 また,自 由
度 が 1と 小 さいため,精 度 の 良 いカメ ラ運動推定が可能 な非線型最適化 アプ ロー
チであ りなが ら,従 来手法 と比 べ ,局 所解 に陥 る危険性が大幅 に低減 され る。
アウ トライア除去 とデータの信頼性 に基 づ く重み付 け
提案手法 で は,擬 似直線 を含 む直線 デー タ中にアウ トライアが含 まれ る ことが
あるため,RANSAC(423項 参照)に 基 づ くアウ トライア除去手法 を適用す る
.
アウ トライア除去 の手順 は以下 の通 りであ る.ま ず ,3本 の直線 を ランダ ムに選
択する.次 に,選 択 された直線を用 いて .56)式 を最小 にする回転運動を推定
となる直線の数を数える。具体
し,推 定された回転運動に対して誤差が閾値以下
“
57)式 を満たす直線の数を数える
的には,以 下の
.
Ｔ
″
均
＜
Ｊ 刊
％
ｎ
ヽ１，ノ
Ｔ
／１ １ ヽ
蜂
をマん た
１ 一％
“
57)
“
ここで,4ヵ は閾値 であ る.こ の とき理想 的な条件 では,最 大数 のインライアを
用 いて推定 した,(456)式 を最小 にす る回転運動が,カ メラの回転運動 の真値 に
対す る誤差が最小 となる回転運動である と考 えられ る.こ こでい う理想的な条件
とは,直 線 の対応付 け誤差 のば らつ きがガウス分布 の ような一様 な分布であ り
,
かつカメ ラ運動を推定す るための拘束力が大 きい直線 が多数得 られ るとい う条件
で ある
.
4.3 平行線 を利用 したカメラ運動推定手法
91
しか し,一 般 に特徴 の 対応 付 け誤差 の ば らつ き は一 様 な分布 にな らな い。 ま
た,環 境 によって は,視 差 が小 さい な どの原 因 で,カ メ ラ運動 を推定す るための
拘束力 が小 さい直線 の割合 が多 くな る こ とか ら,必 ず しも理想 的な条件 とはな ら
な い。理想 的 でな い条件 とな る環境 の例 として,屋 内の通路 の よ うに一 定 の方 向
に奥行 きが大 き く変化 す る環境 が挙 げ られ る (図 4.13).屋 内 の通路 での 自己位
置推定 は移動 ロボ ッ トに とって必 要不可 欠であ るため,理 想 的 でな い条件 にお い
て も精度良 くカメ ラ運 動 を推定 で きる こ とは重要 であ る。
図 4。 13理 想的でな い条件 とな る環 境 の例 (屋 内,通 路 )
対応付 け誤差 のば らつ きが偏 つた分布 にな る場合 ,イ ン ライアの数 が最大 であ
る ときが最適 なアウ トライアの 除去結果 で ある保証 がな い。 そ こで,イ ン ライア
と判定 された直線 を用 いて算 出 された (4.56)式 の値 み をイ ン ライ ア数 η加 で正
規化 した,(4.58)式 の値
4を
カメ ラの 回転運動推 定 の評価値 とす る こ とが 考 え
られ る。弓[は ,各 直線 の 3次 元方 向ベ ク トルの推定誤 差 の平均値 と同義 で あ る。
4=助 ル加
基 本 的 には,評 価値
4が
(4.58)
小 さい ほ ど,直 線 の 3次 元方 向 の誤差 が小 さい,す
なわちカメ ラ運 動推定 の誤差 が小 さい とい える。 しか し,イ ン ライア と判定 され
た直線 の 中で,対 応付 け誤差 と比 ベ カメ ラ運 動 を推定 す るための拘束力 が相対的
に小 さい直線 の割合 が 多 い場合 ,推 定 されたカメ ラの 回転運動 とその真値 との誤
差が大 きい場合 に も,評 価値
4が
小 さ くな る ことが あ る。
第
4章 Structure from Motion
この 問題 を,簡 単 のため,2次 元平面 上 の点群 を直線 に フィッテ ィ ン グす る場
合 に対応 させ て説 明す る。 対応付 け誤差 に相 当す るのが ,直 線 の真値 に対す る点
群 のば らつ きで あ る。 カメ ラ運動 を推定す るための拘束力 に相 当す るのが ,直 線
方 向 の 点群 の分布 の広 が りで あ る。点群 のば らつ きが 同 じ程度 で あ る場合 には
,
直線方 向 に点群 が広 く分布 して い るほ ど,フ ィッテ ィ ン グされ た直線 と,直 線 の
真値 との誤差 は小 さ くな りやす い とい え る (図 4.14).
●
データ点群
……… 直線の真値
点群 のばらつき
―
(a)狭 く分布 して い る場合
フィッティングされた直線
(b)広 く分布 して い る場合
図 4。 14点 群 のば らつ きに対す る分布 の広 が りと直線 の推定誤差
ここで 問題 とな るのは,点 群 のば らつ きが小 さい場合 ,フ ィッテ イ ン グされ た
直線 と直線 の真値 との 間 の誤差 (真 の誤差 )が 大 き くとも,選 択 され た 点群 と
フィッテ ィ ン グされ た直線 との間 の誤差 (仮 の誤差 )力 測ヽさ くな る可能性 が あ る
とい うこ とで ある.真 の誤差 を知 る ことはで きな いため,仮 の誤差 を評価基準 と
す る必 要 が あ るが ,上 記 の 問題 が生 じる と仮 の誤差 のみで は信頼性 の高 い評価 は
で きな い こ とが予想 され る。 そ こで,選 択 された点群 とフィッテ ィ ン グされ た直
線 との間 の誤差 に加 え,点 群 の分布 の広 が りを評価 に加 え る ことが ,信 頼性 の高
い評価 のために効果的 で あ る。以 上の こ とか ら,点 群 が広 く分布 してお り,か つ
仮 の誤差 が小 さい とい う条件 で あれ ば,真 の誤差 も小 さい ことが期待 で きる。
4.3 平行線を利用したカメラ運動推定手法
93
この条件 をカメ ラ運 動推定 に対応 させ ると,カ メ ラ運動推定 に対す る拘 束力
58)式 の値 4が 小 さ
が大 きい直線 がイ ンライア として選択 されてお り,か つ
い
であ るとい
くな る回転運動が ,回 転運動 の真値 に対す る誤差 の小 さ
“ 回転運動
える
.
そ こで提案手法 では,各 直線 ノに関 して
.45)式 を展開 した 4次 関数 ((446)
″9を 導入す る
式)の 4次 の係数 τγ の逆数で定義 され る重み係数
“
.
′=÷・
(459)
4次 の項 の係数 は,4次 関数 の値 の変化 に最 も大 きな影響 がある.4次 の項 の
係数 が大 きい (ノ ″が小 さい)ほ ど,カ メラ座標系 ι
ルにおける消失点ベ ク トル軸
たの変化 に対す る評価値 み の変化量 が大 きい.わ ずかな回転角
周 りの回転角 φε
の変化 に対 して評価値 蠍 が大 き く変化す るとい うことは,カ メラの回転運動推
定 に対す る拘束力が大 きい とい うことに等 しい。 また,4次 の項 の係数 が 0に な
(d/=v,す なわち直線 ノの 3次 元方向が平行線 と等 しい とき),そ の他 の
項 の係数 も 0に なるが,本 推定 ステ ップの入力 は平行線以外 の直線 であるため
る場合
,
4次 の項 の係数 が 0に な ることはない.4次 の項 の係数 の逆数 で定義 され る重み
係数 が たをカメラの回転運動推定 の評価値 に乗ず る ことで,信 頼性 の高 い直線群
か ら推定 されたカメラ運動 に良 い評価 を与 える ことが可能 である.具 体 的 には
,
カメラの回転運動推定 の評価式 は以下 の (460)式 となる
.
ぬ
。
り
2=芳 ψ
準欽
1460)
ただ し,ラ ンダムに選択 された 3本 の直線 に,視 差 が極 めて小 さい ものが含 ま
れて い る場合 ,実 質的 に 2本 以下 の直線 で用 いてカメラの回転運動推定を行 うこ
とに近 い状態 とな り,カ メラの回転運動 を推定す るための拘束条件 が不足す るこ
とが ある.そ の場合 ,計 算が不安定 にな り,重 み係数 だ たが不 自然な値 として算
出 され るとい う問題 が発生す る.そ こで,評 価値 み 2を 算出す る前 に,選 択 され
た 3本 の直線 が動画像中で一定以上 の視差が あるか どうかを判定す る。 カメラ座
標系 のィ ル間 の直線 プの視差 の評価値 ′ち
んは,以 下 の
Pi,t: | -
′
(riT弓 )T(rた
61)式 よ り算出 され る
.
“
T寸
)
(4.61)
評価値 ′け は 0∼ 1ま での値 を とる.0に 近 い ほ ど視差 が小 さ く,1に 近 い ほ ど
視差 が大 きい とい え る。 これ を動画像 中 のす べ ての画像 の組 み合 わせ で算 出 し
,
最大 の視 差が閾値 以下 である場合 には,直 線 の選択 をや り直 す。 これ によ り,評
94
第 4章
Structure from Motion
価値 最 2の 安定 した算 出が可能 とな る.最 終的 に,提 案手法 に よるカメ ラの回転
運動推定 の手順 は以下 の よ うにな る (図 415).
1)ラ ンダ ム に 3本 の直線 を選択す る
2)選 択 された 3本 の直線 を用 いて,(456)式 を最小 化 す るカメ ラの
回転運動 を推定す る
3)選
択 された
3本 の 直線 の視 差 が 閾値 よ り大 き いか ど うか を判 定
し,閾 値 以下で ある場合 には 1に 戻 る
4)“ 57)式 を満たす直線をインライアとし,そ れ以外の直線をアウ
トライアとして除去する
5)イ
ンライアのみを用 いて,再 度
56)式 を最小化するカメラの
カメラの回転運動推定の評価値
回転運動を推定 し,“ 60)式 よリ“
ER2を 算出する
6)評 価値
最小 となる場合,イ ンライアとなる直線 と,推 定さ
=R2が
れたカメラの回転運動を更新する
7)1∼ 6を あらかじめ指定 した回数だけ繰 り返す
図 4.15回 転運動推定 の手順
4。
3
平行線 を利用 したカメラ運動推定手法
解 の探索範囲 の 限定
本手法 のカメ ラの 回転運動推定 は 自由度 が 1と 非常 に小 さい ため,全 探索的 に
解 くこ とも可能で あ る。 全探索的 に解 く場合 ,局 所解 に陥 る危 険性 を限 りな く排
除 で きるため,効 率 が悪 い探索方法 であ るが安定性 の面 では有効 であ る.全 探索
以外 の方法 で は,一 般 的な非線型最適化 アプ ロー チであ るバ ン ドル調整 と比 べ れ
ばわず かでは あ るが ,局 所解 に陥 る危 険性 が あ る。 そ こで本研究 で は,平 行線 と
各 カメ ラ座 標系 の姿勢 との幾何学的整合性 を満 た す解 の範囲 を算 出 し,そ の範 囲
内のみで探索 を行 うこ とによ り,局 所解 に陥 る危 険性 を低減 しつつ効率的 に解 を
探索す る。
以下 の処理で は各平行線 は独 立に扱 われ るため,平 行線 のラベ ル を示す添 え字
プは省略す る。 まずカメラ座標系 60-の 間 の回転角 φQを 設定 し,カ メラ間 の回
転行列 RQを 算出す る。平行線 の 3次 元方向,す なわち消失点ベ ク トル v60に 対
して垂直 で,カ メラ座標系 の か ら平行線 の 3次 元位置 に向か うベ ク トル gQ(以
下,視 線 ベ ク トル と呼ぶ)を それぞれ算出す る。gQは 初期 カメラ座標系 θ
Oを 基
準 としたベ ク トルであ り,gq tt vε Oか つ gの 上 RCrTnの を満 たす単位 ベ ク トル と
して算出 され る.こ れ らのベ ク トルの関係 を図 4.16に 示す。
V%
摯縣
レ
t/
Rら
平行
Tnq
図 4。 16視 線 ベ ク トル と消失点ベ ク トル と平行線 の法線 ベ ク トルの関係
カメ ラ座 標系 60に 対す るカメ ラ座 標系 の まで の,平 行線 の 3次 元方 向 に対 し
て垂 直 な平面 上でのカメ ラの並進運 動 サ (以 下 ,平 面 上の並進運 動 と呼 ぶ )と
平行線 の 3次 元位置 1は ,理 想 的 には以下 の関係 を満 た す。 これ らのベ ク トルの
,
関係 を図 4。 17に 示す。
gの 十
l=60gcO=傷 ブ
り
,
(4.62)
第 4章
Structure from Motion
V60
平行
l=δcog%
t;
QJgq
カメラ座標系 θ′
X
図 4。 17視 線 ベ ク トル と平行線 の 3次 元位置 ベ ク トル と平面 上の並進運 動 の関係
ここで,ζ は各カメラ座標系から平行線の3次 元位置lま での奥行きを示す定数
である。ζが負となるとき,各 カメラ座標系からの見た目の平行線の位置 (す な
わち視線 ベ ク トル)と ,3次 元計測 された平行線 の位置 が逆方 向 に な るため,幾
何学 的整合性 が満 た されて い な い とい え る.た だ し,現 在 の推定 ス テ ップで は平
面 上の並進運 動 サ は未知 で あるため,さ らに以下 の手順 を踏 む必 要 が あ る
カメ ラ座標系 と平行線 との位置関係 が ,幾 何学的な整合性 を満 た して い る,す
.
なわ ち ら0>0か つ らブ>0と な る平面 上 の並 進運 動 サ の範 囲 を求 め る。 ここ
で ,ζ の符号 は,平 面 上 の並 進運動 の方 向 の み を考慮 すれ ば判別 で きる.し た
が って,平 面 上の並進運動 の正 常範囲 は,そ の並進運動 の方 向を示す角度 の範囲
で表 わ され る。
幾何学的 な整合性 を満 た す (正 常 な)並 進方 向 と,幾 何学 的な整合性 を満 た さ
な い (正 常 で な い)並 進 方 向 の模 式図 を,図
4。
18に 示 す。 正 常 な並進 方 向で あ
る場合 には,そ れ ぞれ の視線 ベ ク トルの方 向 に対 して前方で交 わって い るの に対
し,正 常 で な い並進方向で あ る場合 には,視 線 ベ ク トルの方 向 とは逆 の位置 で交
わって い る。 これ はすな わち,カ メ ラ座 標系 と平行線 との位置関係 に矛盾 が生 じ
て い る (幾 何学 的な整合性 が満 た されて い な い)と い う ことで あ る。
ζの符号が正から負へ と変化する境界は,60=0の ときとらブ=0の ときにそ
れぞれ 2つ ずつ存在する。各ベクトルの定義から,傷 0=0の 境界における並進
方向は,サ =gの もしくはサ =― gの であり,cプ =0の 境界における並進方向は
サ =g60も しくは サ =― gε Oで ある.こ れらの境界前後の 作0お よび 傷′の符号
,
を確認することで,60>0か つ ら′>0と なる範囲を得る
(図
4。
19).
4。
3
平行線 を利用 したカメラ運動推定手法
● 平行線 の3次 元計測位置
正 常な並進方 向によ
計汲1結 果
正 常 でない並進方 向による
計測結果
図 4。 18並 進方向 と正 常 な 3次 元計測結果
π// ｀ ド
gq
止―
ノ
図 4。 19並 進方向 と正 常 な範 囲 の境界
カメ ラ座 標系 60-の 間 の,あ る回転角 傷プにお いて,す べ ての平行線 で共 通
す る並進運動 の正 常範囲が存在す る場合,そ の回転角 では直線 と視線 ベ ク トルの
幾何学的整合性 が保証 されて い る,す なわち解である可能性 が ある。以上の操作
を,回 転角を 一πか らπまで変化 させ ,解 が存在す る可能性 の ある範囲,つ まり
プの探索すべ き範囲 を決定す る。 この処理 は非常 に単
純 であ り,カ メラ運動推定 の評価値 の算出 と比 べ計算 コス トが極 めて低 いため
5。
2.2項 において 回転角
o6・
,
実用 上は探索範囲 の限定を行 う分 だ け処理時間が短縮 され ると考えてよい
.
第 4章
Structure from Motion
また,探 索範囲 を限定 す る ことによって,処 理時間が短縮 され るだ けで はな く
,
局所解 に陥 る危 険性 を低減 で きる.基 本 的 に回転角 傷プの 変化 が微小 で あれ ば
回転角 傷ゴによって決 まる (4.60)式 の評価値 の変化 も同 じ く微小 で あ り,最 適解
,
か ら離れ るほ ど評価値 は増 加傾 向を示す。回転角 傷Jの 値 が 最適解 と大 き く異 な
る場合 にはその 限 りで はな いが ,探 索範 囲 を幾何学 的整合性 に基 づ いて 限定す る
こ とによ り,明 らか に不 自然 な解 とな る範 囲 は あ らか じめ除外 されて い る。 その
ため,探 索範囲内 は基本 的 に最小値 を とる位置 を中心 に単純増 加傾 向を示す。 し
たが って,2分 法 な どの簡易 な方法 で算 出 された範 囲内 を探索す る こ とで,容 易
にか つ速や か に大域 的最適解 を得 る こ とがで きる
.
シ ミュレー シ ョンデー タを用 いて,提 案手法 によるカメ ラの回転運動推定 を行
い,探 索範 囲 を算 出 した .探 索範 囲内 の カメ ラの回転運動推定 の評価値 み を
,
一 定 の角度 間隔 で プ ロ ッ トした グラフを図 4.20に 示 す 。 このシ ミュレー シ ョン
で は,評 価値 が最 も低 い ときの 回転角 が,カ メ ラの 回転運動 の真値 と一 致 して い
る.解 の周辺 で は評価値 の変化 が 滑 らかで ,か つ 単純 な増加傾 向を示 してお り
,
解 の探索 が容易 で あ る ことが分 か る
.
﹃埋暉能
→
０、
︶
]l」
-0.8
-0.6
-0.4
-0.2
回転角 ψら[rad]
図 4.20限 定 された探索範 囲での評価値 の傾 向
0
4.3 平行線 を利用 したカメラ運動推定手法
4。
3.5
平 行 線 に対 して垂 直 な 平 面 上 の並 進 運 動 推 定
並進運動を 2つ のステップに分けて推定する。 まず平行線の 3次 元方向に対
して垂直な平面上の並進運動 ,を 推定す る。 このステップの入力は 434項 節
で推定 した回転運動および平行線の法線ベクトルである。少な くとも3本 の平行
線が必要 となる
.
平面上の並進運動 ψ と434項 で算出 した視線ベクトル g。 ,平 行線 プの 3
,ノ
次元位置ベクトルリ との間には以下の(4.63)式 が成り立つ.あ るカメラ座標系
ιOて,間 の平面上 の並進運動 サ を仮 に決定す る と,以 下 の式 よ り平行線 の 3次 元
位置ベクトルしが算出できる
.
り=(ら 。
Jg。 OJ十 争 g9,ノ 十
サ)/2,
j,ノ
ここで,gcOJと
g。 ,ノ
(4.63)
は,そ れぞれカメ ラ座標系 ιOと ι」こお ける視線 ベ ク トル で
ある。40,ブ , 傷 は
:,ノ
1仇 gの
,ノ
→mln,
ら,goJ― サ‖
(464)
を満 た す定数 として一 意 に算 出 で きる.本 手法 で は,カ メ ラ座標 系 の にお ける
平面 上の並進 ベ ク トル サ は,以 下 の式 で定義 され る。
t7:acostlf' *bsinr/f;,
(4.65)
ここで,a,bは 平行線 に対 して垂直な平面 と平行 で,互 いに直交す るベ ク トルで
ある./'は ,こ の平面上にお いてカメラ座標系 ο
Oを 基 準 とした場合 のカメラ座
標系 の の並進方向である.こ れ らの関係 を図 4.21に 示す。SfMで は並進 スケー
ルが不定 で あるため, この並進方向 /Jが 推定すべ き未知パ ラメー タ となる
.
回転運動 の推定 の際 と同様 に,2つ のカメ ラ座標系間 の情報 だけでは平行線 の
3次 元位置 を一意 に決定す る こ とはで きない.そ こで,少 な くとももう 1つ 以上
のカメラ座標系 ι
たにおいて,(463)式 によって算出 された平行線 プの 3次 元位
置 り とそのカメラ座標系における視線ベクトル g9,ノ との整合性を検証する必要
がある.理 想的には,以 下の式を満たすとき,最 適な平行線の 3次 元位置が得ら
れているといえる。
り
′
″︶え一
侮
,ノ
g%,ノ
92=0.
(466)
100
第 4章
Structure from Motion
V60
′
／
，︲
１
．
a
図 4.21平 行線 に対 して垂 直 な平面上の並進運 動
ただ し,カ メ ラ座 標系 ε
たの平面上 の並 進運 動 サ は この推定 ス テ ップの段 階
で は不 明 で あ る。 (4。 66)式 の未 知 パ ラメ ー タ は,平 面上 の並 進 ベ ク トル サ の平
面 上の並進方向を示す角度 /た およびカメラ座標系 60-の 間 の並進量 に対す る相
対的な並進 ス ケールである。 ここで,並 進 ス ケール を推定す る必要 が あるのは
,
SIMで 未知 であるのは全体 の絶対的 な並進 スケールであ り,視 点間の相対的なス
ケールに関 しては算出す る必要があるか らである。 そ こで,平 面 上の並進方向を
示す角度 /た と相対的なスケール を含 めた,カ メラ座標系 60-ε た間 にお ける平面
上の並進運 動を以下 の (4.67)式 で再定義す る。
た
げ=几″a十 だ b,
(4.67)
(4.67)式 の表現 で は,平 面 上の並進運 動推定 にお ける各 カメ ラ座 標系 ご との未
知 パ ラメー タは だ たと イ たの 2パ ラメー タであ る.し たが って,以 下 の (4。 68)式
たを算 出す る こ とに よ り
を最小 にす る 房 たと λ∫
,カ メ ラ座 標 系 cた にお ける平面
上の並進運 動 ク が算 出で きる。
た夕
ー
の
ら
υ
げ
)=免 ー
たゎ
ブ
げ
,礼
Jgε
￨￨リ
￨12.
(4.68)
このとき,(4.68)式 を最小にする免た
」は以下の式で算出できる。
らた
J=
(C詐
―
―]り
,ノ
)T gεた
義 g%J
,ブ
(4.69)
ｎＵ
4.3 平行線 を利用 したカメラ運動推定手法
以下 に,房 たと 石 たを算 出す る方法 お よび計 算 式 の導 出 を記述 す る。 まず
,
ん
めると以下の .70)式 のように
代入し,だ た
,λ′でまと
(468)式 に(4.69)式 を
なる
“
.
Ｗ
十
Ⅵ
可
ｕ
＋
露
(λ
ｊ
″でえ一
〓
η
た
のげ
(4,70)
こ こで ,
u=a―
(471)
(aTgc″ 」)gcた J,
V=b―
(bTg9,ノ )g9,ノ
(4,72)
'
W=1-(lTgε た′)gσ ″」
(4.73)
,
んで微分すると
である.“ 70)式 を た
,λ ∫
,
〓
０
Ｗ
＋
Ⅵ
弓
ｕ
＋
:労￨==)]V『
汚
Ｔ ι
，
ｕ
〓
∂′′
た
∂′
″
″でλ一
，
'げ
げた十λ
″ +W,)==0,
ψ
u′
V′
(4.74)
(475)
たの連 立 方程式 として解 くことに
の 2つ の方程式が得 られ る。 これ を ,」たと λ∫
よって,カ メラ座標系 σ
に■ 間の平面上 の並進運動 を算出す る ことがで きる
.
以上 の ことか ら,あ るカメラ座標系 ο
Oィ ′間 の平面上 の並進運動 が決定 され る
と,そ の他 のカメラ座標系 の並進運動 は一意 に決定 され るため,平 面上の並進運
′
動を推定する問題 は,カ メラ座標系 ο
O― Q間 の平面上の並進方向 プ を推定す る
1自 由度の非線型問題 として解 くことができる.具 体的には,以 下の (476)式 で
表わされる島(/′ )を 最小 にするカメラ座標系 ι
Oィ ′間の平面上の並進方向 /'
を探索すればよい
.
η
〓
の
をマん た
ぽ
島
,イ
た
)
.76)
“
102
第 4章 Structure from Mo■
o■
なお,並 進運 動 の 2つ の推定 ス テ ップにお い て も回転運動 と全 く同様 の考 え
方 ,す なわち平行線 の 3次 元位置 と視線 ベ ク トルの幾何学的整合性 に基づ いて探
索範囲 を限定 す る こ とがで きる.回 転運動 の推定 の際 と異な る点 としては,並 進
運動の推定時 にはすで に回転運動 が分 か って い るので,並 進運動 の正 常範囲を算
出す るだ けで よい とい うこ とであ る
.
4。
3.6
平 行 線 に沿 っ た 方 向 の 並 進 運 動 推 定
最後 に,平 行線 に沿 つた方向の並進量を推定す る.入 力 は擬似直線 を含む平行
線以外 の直線 である。43_5項 と同様 に,カ メラ座標系 匈ィ ′間の並進量が決定 さ
れ ると他 のカメラ座標系 の並進量 も一意 に決定 され る.し たがって, この推定 ス
テ ップも,推 定 した いカメラ座標系 の数 によらず 1自 由度 の非線形問題 を解 くこ
とで最適解 が得 られ る。具体的 には以下 の手順 でパ ラメー タを探索す る。
まず,カ メラ座標系 ι
Oィ,間 の並進量 ωら を仮 に決定 し,以 下 の式 に よリカメ
ラ座標系 ι
Oィ,間 の並進運動 ′ を算出す る
.
′=サ +ω °
fO
(477)
並進運動′が得られると,直 線プの3次 元位置しを以下の式より算出できる
.
り=“為JgttJ十 争:J&:J+fi)/2,
.78)
“に
ここで,視 線ベクトル gお よび奥行きを示す定数 ζは平行線の場合 と同様
し
て算出できる。直線の3次 元位置が仮に決定されると,カ メラ座標系 0に おけ
る見 た 目の直線 の方 向 (視 線 ベ ク トル )&″ と,計 測 された 直線 の 3次 元位置
へ 向か うベ ク トル 襲
との誤差 ,す なわち再投影誤差 (4.2.4項 参照 )は 以下 の
.79)式 で算 出す る ことがで きる
,ブ
.
“
ι
7(ω
Cた
)=】 ](1-―
■
、
JgC々 .7)2,
ノ
gtt」
―砕 十ルを
JdJ
= し
権
―
十
し
梅 Jら
79)
“
14.80)
'
ここで ル″ は定数 であ り,以 下 の式か ら算 出で きる
.
けな
(4.81)
4。
3
平行線を利用 したカメラ運動推定手法
103
,計 測 された直線 の 3次 元位置 へ 向か うベ ク トル 倉εたJと
たが ,与 え られた
22に 示 す。(4.79)式 の値 を最小 にす る並進量 ωε
視線 ベ ク トル gε た
Jと
の 関係 を図
4。
ε
直線 の 3次 元位 置 に対 して最適 な並進 量 ω たで あ る。(4.79)式 はカメ ラ座 標 系
ε
60-ε た間 の並 進量 ω たに関す る 4次 関数 として,以 下 の よ うに展開す る こ とがで
きる。
4+ρ た
ε3+ρ ε2+ρ ε十ρ
ε
た
θ
r(ω )=ρ ω
∫ωた ωた ωた
Cた
(4.82)
gた
jた
Fた
fた
,
ここで,4次 関数 の各項 の係数 は
ｇ
Ｔ
Ｘ
一
Ｘ
Ｔ
Ｘ
И
ぇ午ノ
い
〓
ρ
(4.83)
ヽ
＞
＋ Ｔ
Ｉ
也
加
ｋ
Ｌ 硼
し に
Ｌ イ
ル
ヽ
し
Ｘ
り ヽ
И
ｒ
〓
ν
ぇ午ノ
︶
ρ
リ
ｔ ｒ
リ
カメラ座標 系 ε0
(b)上 面図
gθ
μθ
たdノ
た
,ブ
,ブ
カメラ座標系 εた
gθ
ヵ
,ブ
(a)鳥 隊図
(c)側 面図
図 4.22直 線 の再投影誤 差
84)
ヽ
＋ ％
ｇ
ｌ
ヽ ノ Ｔ
％ 乳
．
″ 一
ｒ、
Ｔ ′
毎 ⊃
中 ‰瀞
一
ル
写
ヽノ Ｔ
ｔ
％ ％
ｙ ｘ
︲は
Ｔ
¨
。
︱
ノ
り ヽ
Ｌ
ｒ
″ノ 鋼
И
λ午ノ
︶
〓
た
ρ
」
(4。
(4.85)
104
ρ
「
第 4章 Structure from Motion
=】 ]237 {И 夕
′
￨(yCた
JTyCkJ)一 (y%ブ
J)2]+
TgttD(bJT%⊃
I考
「
a計
Tgcた
[(XttJThJ) (XIぉ ブ
=,ァ
2[(れ
TyC・
,ノ
t,D―
T%,D司
(yct,ノ
,
]},“・86)
(487)
である.た だ し
,
И
F=(Xc・ t,ブ
イ
=(れ
Tれ
,ノ
)(も
T&,ノ
,ノ
ThJ)(L,ノ T助
」
X9,ブ
)一 (L,ノ
J)(Xご
TXCt,ノ
TyctJ)(れ TgqO,
ゎノ
,ブ
=(VTら )彎 ―V,
yqJ==リ ー巧
r―
[(1プ
88)
)(yttJTg%J),
ー写F)Td」
]dブ
“
(4.89)
(490)
91)
,
“の 3
である.4次 関数 の最小値 は一 意 に算出可能 であるため,与 え られた直線 プ
次元位置 し に対 して最適なカメラ座標系 の_間 の並進量 ω年 は,自 動的 に決定
され る.各 視点 %に おける再投影誤差 (す なわち ′7(ω 戦)の 最小値 )は ,(4.78)
式 よ り算出 され る直線 の 3次 元位置ベ ク トル Iが 実際 の直線 の 3次 元位置 と一致
して い るほ ど,す なわち仮 に決定 したカメラ座標系 匈ィ ′間 の並進量 ω●が実際
の並進運動 と一致 して い るほ ど小 さ くな る.し たがって,以 下 の式 で表 され る
,
すべ てのカメラ座標系 にお ける計測誤差 の和 が最小 となるカメラ座標系 ι
O“ ′間
の並進量 ω9を 探索すれ ばよい
.
年
助(ω °
)=Σ ι
r(ω
)
々
.92)
“
以上 の ことか ら,本 手法 はカメ ラ運 動 を推定 した い カメ ラ座標系 の数 によら
ず,1自 由度 の非線型 問題 を 3回 解 くだけでカメ ラの 3次 元運動 を推定で きる
.
これは,推 定 した いカメラ座標系 が増加す るに従 つてパ ラメー タ推定 の 自由度 が
増加す る従来手法 と比べ て非常 に効率的で ある。本手法 では直線 に加 え,特 徴点
か ら作成 した擬似直線 を併用す ること,お よび信頼性 の高 い推定結果 に高 い評価
を与 えることで,カ メラ運動推定の ロバ ス ト性 を向上 させ る.幾 何学的な拘束条
件 に よ り解 の探索範囲を限定す ることで,局 所解 に陥 る危険性 を低減 しつつ,効
率的 に解 を探索 で きる
.
4.4 直線 を示す 3次 元点群 の生成
105
4.4 直線 を示 す 3次 元点群 の生 成
本手法で は,直 線 を 3次 元点群 の集合 として地 図 に登録す る。本節 で は,推 定
された直線 の 3次 元方 向ベ ク トル dと 3次 元位置 ベ ク トル
pか ら,直 線 を表 す
3次 元点群 を生成 す る手法 につ いて説 明す る
.
本手法 のカメ ラ運 動推定 では,検 出 された直線 を,長 さが無 限長 で ある直線 と
して扱 うため,直 線 の長 さに関す る情報 は基本 的 には不要 であ る.し か し,地 図
を生成 す るため には,環 境 中での直線 の長 さを知 る必要があ る.本 手法 では,直
線 の最終 的な 3次 元計測結果 を,任 意 の間隔 でサ ンプ リング した 3次 元点群 とし
て表現す る。 なお,以 下 の説明 では,各 直線 を独立 に扱 うため,直 線 の ラベ ル を
表 わす添 え字 ノは省略す る
.
まず 3次 元方向ベ ク トル dと 位置 ベ ク トル 1を 用 いて,任 意 のサ ンプ リン グ間
隔 で,3D直 線 上の 3次 元点 の座標 を取得 し,直 線 が追跡 された各画像 に再投影
す る.3次 元点 は以下 の式 によって算 出 され る。
en
: hndll,
(493)
ここで,e′ は算出 された 3次 元点,み はサ ンプ リング間隔,″ は整 数 であ る.い
ずれか の画像上 で,対 応す るエ ッジセ グメン トと 3次 元点 を投影 した ときの画像
座標 との距離 が十分 に小 さい と判断 された場合 ,そ の 3次 元点 を直線 を構成 す る
3次 元点 として採用 す る.い ずれ の画像 において も対応す るエ ッジセ グメ ン トと
の距離が大 きい場合 には破棄す る.こ の処理 をサ ン プ リン グされ た全 ての 3次 元
点 に対 して行 うことで,直 線 の 3次 元計測結果 を生成 す る
.
もし追跡 中 の直線 の一 部 が 他 の物体 に隠 れ た り,画 像 外 に 出 た りす る こ とに
よつて見 え隠れす る状況 において も,本 手法で は追跡過程 で一 度 で も撮像 された
部分 で あれば計測結果 として 出力 で きる.画 像間 で点対応が必要 とな る点 ベー ス
の計測手法 においては,追 跡 が途切れ た場合 には計測 がで きな い.そ れ に対 して
直線 を利用 した計測で は,あ る程度 のオ クルージ ョンに対応 で きる ことか ら,画
像 間 の 点対応 を必 要 とす る計測 と比 べ ,オ クル ー ジ ョンに ロバ ス トで あ る とい
え る。
106
第 4章 Structure from MOJon
4.5
エ ッジ点 の 3 次元計測
4.5。
1
概要
本節 では,直 線 として抽出 されなかったエ ッジ点を 3次 元計測す る手法につい
て説明す る
.
4.3節 においてカメ ラ運動 と共 に 3次 元計測 され る画像特徴 は,特 徴点 として
抽出 され る一部 の コーナー点,お よび一定以上 の長 さの直線 のみである.画 像 上
で短 く見 えるために直線 として検出 されなかった直線や,曲 線,特 徴点 として抽
出されなか った コー ナ ー点な どは計測 されな い。抽 出 され る直線や特徴点 な ど
は,環 境 を構成す るエ ッジ点の ご く一部 で しかないた め,特 徴 の計浪1結 果 のみで
は環境 の地 図を生成す るためには不 十分 な こ とがある
.
そこで本手法 では,特 徴 として抽出 されなかった画像 中のエ ッジ点を 3次 元計
浪1す る ことが可能な,文 献 [TomOnO'06]の 手法 を適用 す る.文 献 [TomOn。 '06]
の手法で は,3次 元計測 に用 い る画像列 を撮影 した ときのカメラ運動が既知であ
る必要 がある.こ れ には,我 々の提案手法 に よって推定 されたカメラ運動を利用
す る。
エ ッジ点の 3次 元計測 の手順 は以下 の通 りである。 まず初期画像 fOで Canny
のエ ッジ点検 出を行 う。得 られた 2Dエ ッジ点 に対応 す る,次 の画像 にお ける
エ ッジ点の候補 を探 索す る.マ ッチ ングス コアが良いエ ッジ点を対応候補点 とす
る.画 像 4に お いて得 られた対応候補点 に対 して,最 もマ ッチ ングス コアが 良
いエ ッジ点 を,次 の画像 島+1上 で探索す る.新 たな対応候補点が得 られた場合
,
エ ッジ点の 3次 元計測 を行 う.こ の とき,そ れ まで の 3次 元計測結果 よ りも奥行
き誤差が小 さ くな る場合 には,エ ッジ点の 3次 元座標 を更新す る。 これを動画像
に沿 つて行 うことで,画 像間で対応す るエ ッジ点を追跡す る.エ ッジ点の 3次 元
計測 の手順 を図 4.23に 示す
.
文献 [TomOnO'06]の 手法 で は,画 像間 で対応 す る 2Dエ ッジ点 を探 索す る際
に,エ ピポー ラ拘束 と,そ れ までに得 られて い る 2Dエ ッジ点の 3次 元計測結果
(3Dエ ッジ点)の 画像 へ の投影 によ り,探 索 を行 う範囲を限定す る。 エ ッジ点追
跡の初期の段 階では,1つ の 2Dエ ッジ点 に対 して複数の対応候補点が得 られ る
ことが あるが,対 応 を誤 った候補点 は,3次 元的な位置関係 に矛盾 が生 じるため
,
追跡 を続 けるうち に探索範囲内 にマ ッチ ングス コアが良 いエ ッジ点が存在 しな く
なる.そ のため,対 応 を誤 つたエ ッジ点が長 い問追跡 され続 ける可能性 は低 い
.
4.5 エ ツジ点の 3次 元計測
107
Canllyエ ッジ点の検 出
対応候補点の探索
対応候補点と最も相違度が小さいエッジ点の探索
エッジ点 の3次 元計測
3Dエ ッジ点の更新
図 4.23エ ッジ点の 3次 元計測 の手順
4.5。
2
エ ッジ点 の
3次 元 計 測 手 法
まず,全 方位画像 で Cannyの オペ レー タ [Canny'86]に よるエ ッジ点検出 を行
2Dエ ッジ点 に対応す る現在の全方位画像上 の 2Dエ ッジ点の候補
を探索す る.こ の際,エ ピポー ラ拘束 と 3Dエ ッジ点の投影 を利用 して探索範囲
う.次 に,各
を限定す る
.
ピンホ ー ルカメ ラモ デル にお けるエ ピポ ー ラ拘束 とは,初 期画像 上での 2D
エ ッジ点の座標 を mご 0,現 在 の画像 上での 2Dエ ッジ点 の座標 を mら ,カ メ ラ座
標系 ο
Oィ ,間 の基礎行列 を Fと した ときに,以 下 の式 で表 わ され る制約条件 で
ある。
mqTFm匈 =0,
(4.94)
108
第 4章
Structure from Motion
ここで,す で にカメ ラ運動 は推定済 みで あ るか ら,基 礎行列
Fは 既知 で あ る。 ま
た,初 期画像 上での 2Dエ ッジ点 の画像座標 mCOも 既知 で あ る。 したが つて,対
応 す る現在 の画像 上での 2Dエ ッジ点 の画像座標 mの のみが未知 パ ラメー タ とな
り,(4。 94)式 は mの の各要素 の線 型和で表 され る。 これ はすなわち,対 応 す る現
在 の画像 上で の 2Dエ ッジ点座標
mqは ,(4。 94)式 で表 され る直線上 の どこか に
存在 す る とい うこ とで あ る.こ の直線 はエ ピポー ラ線 と呼 ばれ る。 エ ッジ点 の探
索範囲 をエ ピポー ラ線上 のみに限定す る ことで,誤 対応 の危険性 を低減 し,か つ
処理時間 を短縮 す る こ とがで きる。
また,探 索 中の エ ッジ点 の,そ れ まで に計測 された 3次 元座標 を現在 の画像上
に投影 し,そ の周囲 のエ ピポー ラ線上 の みを探索範囲 とす る こ とで ,さ らに探索
範 囲 を限定す る。初 めて検 出 されたエ ッジ点 の場合 は,動 画像 中で 隣 り合 う 2枚
の画像間 で は対応 す るエ ッジ点 の移動 量 が小 さい と仮定 し,初 期画像 の画像座標
を 中心 とした一 定範 囲内 を探索範 囲 とす る。 ピンホール カメ ラモ デ ルにお けるエ
ピポー ラ線 と 3Dエ ッジ点 の投影 の模式図 を図 4.24に 示す。
探索範囲
3Dエ ッン点
エピポーラ線
2D-yi,f;
カメラ座標 系 θノ
カメラ座標 系 60
図 4.24ピ ンホールカメ ラモ デ ルにお けるエ ピポー ラ線 と 3Dエ ッジ点の投影
ただ し,全 方位 カメ ラ座標系 で は直接 (4.94)式 を用 いて全方 位画像座標 と基礎
行列 との関係 を記述 す る ことがで きな い。 そ こで ,各 画像 の画像座標 に対応す る
光線 ベ ク トル rCO,rの を算 出 し,光 線 ベ ク トル と基 本行列
Eを 用 いた以下 の関係
か らエ ピポー ラ線 を算出 す る
.
rの
TErε O=0,
(4。
95)
4。
5
エ ッジ点の 3次 元計測
109
Eは ,(4。 17)式 で定義 され るカメ ラの回転運動 と並進運 動 の情報
を含 んだ行列 で あ る。光線 ベ ク トルは,双 曲面 ミラー側 の焦点 か ら,全 方位画像
ここで基 本行列
座標 に対応 す る 3次 元 空 間中 の物体 に向か うベ ク トルで あ り,(2。 12)式 によ り算
出 され る。 カメ ラ運 動 が既 知で あ るか ら基本行列
Eは 既知 で あ る。 また,初 期
画像 にお ける光線 ベ ク トル rε Oも 既知 で あ る。 したが つて,(4。 95)式 は 3次 元 空
Qの 全方位画像 に投影 した 2D
曲線 (3次 元 空 間中 の直線 は全方位画像 中 で は曲線 として投影 され る)が,全 方
位 カメ ラ座 標系 にお けるエ ピポー ラ線 であ る.全 方位画像 にお けるエ ピポ ー ラ線
間中 の直線 を表す。 この 3D直 線 をカメ ラ座 標系
の模式図 を図 4.25に 示す
.
初期画像 の2Dエ ッジ点
図 4。 25エ ピポー ラ拘束 による対応 エ ッジ点探索
現在 の画像 か ら 1フ レーム前 の画像 上での 2Dエ ッジ点 mq_1と
,現 在 の画像
mQと の 間 で 相違度 (Sum Of Absolute
Differencc(SAD))を 算 出す る。 ここで ,初 期画像 上での 2Dエ ッジ点で は な
く 1フ レーム前 の画像 上での 2Dエ ッジ点 との間 で マ ッチ ン グをす るの は,視 点
にお けるエ ピポ ー ラ線 上 の
2Dエ
ッジ点
変化 によ る射影歪み の影響 を低減 す るためであ る。 また,マ ッチ ン グは全方位画
像 をパ ノ ラマ展開 した画像 上で行 う。 これ は,全 方位画像 はカメ ラの 回転運動 に
よ り短 い フ レーム数 で も大 き く見 た 目が 変化 す る ことが あ るためであ る。初 めて
検 出 されたエ ッジ点の場合 は,相 違度 が 閾値以下 のエ ッジ点すべ て を対応候補 点
として残 し,各 対応候補点 ご とに以降 の フ レームで 対応点探索 に よるエ ッジ点追
跡 を行 う。 それ以外 の場合 は,最 もマ ッチ ングス コアの良 いエ ッジ点 を対応 す る
エ ッジ点 とす る.た だ し,最 小 のマ ッチ ン グス コアが 閾値 以上 とな った場合 に
は,そ の対応候補点 を破 棄す る
.
110
第 4章
Structure from Motion
最後 にエ ッジ点 の 3次 元計測 を行 い,そ れ まで の計測結果 と比 べ て奥行 き誤
差 が小 さ くな る場合 には,エ ッジ点の計測結果 を更新す る.こ れ を繰 り返す こと
で,エ ッジ点の 3次 元計測 を行 う
.
エ ッジ点追跡 の初期段 階で は,1つ のエ ッジ点 に対 して複数 の対応候補 点が得
られ る ことが ある.誤 つて対応付 けられたエ ッジ点の 3次 元計測結果 は,実 際 の
物体 の配置 と矛盾 す るため,2Dエ ッジ点の探索範囲 を,3Dエ ッジ点 を投影 した
ときの画像座標 の周囲 のエ ピポー ラ線 上のみに限定す る ことに よって,長 い間対
応 を誤 ったエ ッジ点が追跡 され続 ける可能 性 は低 くな る.最 終 的 に,対 応候補点
が 1つ だ けであ り,か つ 3次 元計測 の精度 が 良 いエ ッジ点 を地図 に登録す る
.
4.6 カメラ運動推定および 3次 元計測実験
4。
6
4.6。
カメラ運動推定 お よび 3次 元計測実験
1
ア ウ トラ イ ア 判 定 に お け る デ ー タ の 信 頼 性 に 基 づ く重 み 付
けの効 果検 証 実験
提案手法 に よる,ア ウ トライア判定 にお けるデー タの信頼性 に基 づ く重み付け
の効果 を検証す る実験 を行 つた.実 験 は図 4.26(a)に 示す屋内環境 で行 つた。入
■
力画像 は,画 像サイズ 800× 600 pixelの 全方位画像 101枚 である。実際 に用 い
た入力画像 の一部 を図 4.26(b)に 示す。
￢
「
Ｌ■■■
L
(a)実 験環境 (屋 内,廊 下 )
(b)入
力 とな る全方位画像
図 4.26検 証実験 を行 つた環境 と入力画像
本実験 で は,初 期画像 を取得 した視 点 にお け るカメ ラ座 標 系 を基 準 の座標 系
(世 界座標 系 )と し,基 準 の座標系 に対す るその他 の画像 を取得 した
100視 点 の
カメ ラ座 標系 の 回転行列 お よび並進 ベ ク トル を推定 す る。 カメ ラの 回転運動 を推
定 す る際のアウ トライア除去 を,異 な る 3つ の条件 で行 つた結果 を比較 す る。 こ
こでい う 3つ の条件 とは,回 転行列推定時 の アウ トライア除去 に用 い る評価 を
,
それぞれ
回転推定 の誤差値 にデ ー タの信頼性 に基 づ く重み付 けを行 つた評価値 助 2
を用 いた場合 (提 案手法 ),
2.
イ ン ライア数
(こ
こで は精度良 く 3次 元方 向が推定 された直線 の数 )を 最
大化 す る一般 的な RANSACア ル ゴ リズ ム を適用 した場合
つＪ
回転推定 の誤差値
4の
みを用 いた場合
,
112
第 4章
Structure from Motion
の 3つ で あ る。 それ ぞれ の条件 で 推定 され た 回転行列 を用 い て並 進運動 も推定
し,最 終 的 に 3次 元計測 された直線 の再投影誤差で比較 す る。 カメ ラ運 動推定 に
用 いた画像特徴や ,並 進運動 の推定手法 な ど,回 転運動推定以外 の条件 は同一 で
あ る。擬似直線 は実際 には存在 しな い仮想 的な特徴 で あ るため, ここで は平行線
の再投影誤差 を評価 す る
.
それ ぞれ の条件 で 100回 ず つ カメ ラ運 動 を推定 した結果 を プ ロ ッ トした グラ
フを図 4。 27に 示す.縦 軸 は,平 行線 の再投影誤差 の平均値 [pixel]で あ る。 一 般
に,再 投影誤差 が小 さい ほ どカメ ラ運 動推定 の精度 が 良 い.ま た 1ピ クセル ご と
の離散 的な値 の みか らカメ ラ運 動推定 をす る こ とか ら,再 投影誤差 が l pixel以
下 とな る とき入 力画像 に対 して十分 な精度でカメ ラ運 動推定 がで きて い る とい え
る。横軸 は,回 転運動推定 の誤差値
4で
あ り,基 本 的 には, この値 が 小 さい ほ
ど回転運動推定 の精度 が 良 い
.
◆提 案 手法
雪累 一
島 川 籠 織 郭障
■最 多インライア数
A回 転 誤差値 最 小
▲
▲
▲
▲
亀
0
3.5E-06
4.OE-06
4.5E-06
5.OE-06
回転運動推定 の誤差値 E:R
図 4.27重 み付 けを行 つた場合 と行 わなかった場合 のカメ ラ運 動推定結果
カメ ラ運 動推定 の結果 が 毎 回異 な るのは,RANSACで 除去 され るアウ トライ
アが処理 のた び に異 な るか らで あ る。毎 回同 じ直線が アウ トライア と判定 され な
い理 由 として は,回 転運動推定 に用 いた直線 の数 が 多 い こ と,用 いた直線 の 中 に
は多数 のア ウ トライアが含 まれ る こと (本 実験 で は,擬 似直線 を含 めた約 600本
の 直線 の うち,200本 以上 が アウ トライ ア と判定 された ),直 線 の画像 間 での対
応誤差が ,直 線 ご とに異 な る方 向 と大 きさで あ る こ とな どが原 因で あ る。
4.6 カメラ運動推定および 3次 元計測実験
113
直線 の数 が多 い場合 ,そ の組 み合 わせ 数 は膨大 であ るため,す べ ての組 み合 わ
せでカメ ラ運 動推定 を行 う ことは現実 的で はない。 したが つて, ランダ ム選択 し
た直線 を用 いてカメ ラ運 動推定 を行 う処理 を一定 の回数 だ け行 い,そ の 中で最 も
推定誤差が小 さい と判断 されたカメ ラ運動の推定結果 を採用 す るのが,ROSAC
アルゴ リズムの考 え方であ る。 ラ ンダ ム選択 され る直線 の組 は試行 ご とに異な る
こ とか ら,同 じ直線 を入力 とした場合 で も,処 理 ご とにカメ ラ運動 推定 の結果 が
異な る
.
実験結果か ら,デ ー タの信頼性 に基 づ く重み付 けを行 う提案手法 は,並 進運動
427,青 色
の菱形 ).一 方 ,イ ン ライ ア数が最大 とな るように直線 を選択 す る方法 で は,結
果的 に並 進運動推定 の誤差 が大 き くな り,試 行 ご とのば らつ きも提案手法 と比 べ
て大 きい (図 427,赤 色 の四角形 ).
実験結果 か ら,多 数 のデー タを用 い る こ とで,か え つてカメ ラ運動 推定 の誤差
が大 き くな る とい う現象 が生 じる こ とが確認 された.こ れ は,直 線 の画像 間 での
対応誤差 に偏 りが あるため,多 数 の デ ー タを利用 して も誤差 の平均化 を図 る こと
推定 の誤差 が小 さ く,か つ そのば らつ きの幅 も狭 い ことが分 か る (図
がで きな い こ とが原 因 である と思われ る。以 上の ことか ら,イ ン ライア数が最大
とな るときのカメ ラ運動推定結果が,カ メ ラ運 動 の真値 に近 い推定結果 で ある と
は,必 ず しもい えな い こ とが分 か る.た だ し,実 験環境 によって は,イ ン ライ ア
数 を最大 とす る方法 と,提 案手法 とで選択 され る直線 が ほぼ 同 じに な る こ とも
あった .こ れ は,カ メ ラ運 動推定 に用 いた特徴 の画像 間 での対応誤差が小 さ く
,
かつ得 られ る特徴数が多か つたためで あ る と思われ る。
回転運動推定 の誤差値
4が
最小 とな るように直線 を選 択す る方法で は,回 転
運動推定の誤差値 は最 も小 さ くな った (図 4.27,緑 色 の三 角形 )。
しか し,並 進
運動 の推定誤差 とそのば らつ きは非常 に大 き くな った.こ れ に関 して も,直 線 の
画像間 での対応誤差 の偏 りが原因 であ る と思われ る
.
離散 的なデ ー タ しか持 たな い デジ タルカメ ラ画像 の みを入力 とす る こ とか ら
,
カメ ラ運動推定 には必ず ある程度 の誤差 が生 じる.解 像度 の限界 以下 の誤差 でカ
メラ運動 を推定す るのは一般 に困難 である。 しか し, ランダム選択 された直線 に
よつては,そ の画像間 での対応誤差 の偏 りな どによって,カ メ ラ運動 の推定誤差
が ,解 像度 か ら推測 され る限界 よ りも (偶 発的 に)イ ヽさ くな る こ とが ある.こ の
ときに推定 されたカメラ運 動 が,解 像度 の限界付 近の誤差で推定 されたカメ ラ運
動 よ りも,カ メ ラ運 動 の真値 に近 い保証 が な い こ とは,図 4.27か らも明 らかで
あ る。提案手法 では,カ メ ラ運 動推定 に用 いた直線 の信頼性 を評価 に加 え る こ と
で , この 問題 を解決す る ことがで きた
.
114
4。 6。
第
2
4章 Structure from Motion
提 案 手 法 と従 来 手 法 の 比 較 実 験
提案手 法 と従来手 法 のカメ ラ運 動推定 の精度比較 を行 った。比較 す る従来手法
は,8点 法 によってカメ ラ運動 の初期値 を推定 し,バ ン ドル調整 に よって誤差 の
最小化 を行 う標準的 な SM手 法 とした。
ここで ,実 際 の環境 を撮影 した際の カメ ラ運 動 の真値 を取得 す るの は困難 で あ
る.そ こで,本 実験 はシ ミュレー シ ョンによって行 った。手動 で作成 した仮想 的
な環境 の 3次 元 モ デル 内で ,指 定 した運動 を全方位 カメ ラにさせ た場合 に取得 さ
れ る画像列 を作成 す る。 この方法 に よって作成 された画像列 を取得 した際 のカメ
ラ運 動 の真値 は既知 で あ る。画像 列 の作成 は以下 の手順 で行 われ る (図 4.28).
1.カ メ ラの投影 中心 の 3次 元位置 と姿勢 を設定す る。
2.画 像座標 レ,」 に対応した光線ベクトルrを 算出する。
3。
光線ベクトルrと 最初に交差する3次 元モデル表面の色を,画 像座標 レ,」
の 色 とす る。
)l
標
日ν酬ノ
， 娩
．
訂
■ ３
投 影 中 心の
ラ
︱
メ
.[ν ,ソ ]
(b)作 成画像
(a)仮 想環境 中のカメ ラの位置
図 4.28シ ミュレーシ ョン画像 の作成
作成 した 3次 元 モ デ ルお よび全方位画像 を図
4。
29に 示 す .本 実験 での入 力画
像 は 800× 600 pixelで 作成 された 51枚 の全方位画像 で あ る◆ この画像列 は,カ
メ ラ軌跡 が滑 らか なカ ー ブを描 く状況 をシ ミュレー トした もので あ る。
4。
与
6
カメラ運動 推定 および 3次 元計測実験
115
＼
ヽゴ
(b)入
(a)実 験環境 のモデ ル
力画像
図 4.29カ メ ラ運 動推定 の比較実験環境
この方法 によって作成 された全方位画像 で は,解 像度 による影響 は実際 の画像
と同程度 であ るが ,環 境光 な どの外乱 の影響 が存在 しな い。 また,実 際 に全方位
カメ ラで環境 を撮影 す る場合 には, レンズや ミラー な どの光学系 が仮定 したカメ
ラモ デ ル と厳密 には異な るため,画 像 の歪 みは想定 された通 りにな らな いが ,シ
ミュレー シ ョン画像 は仮定 した モ デ ル と厳密 に一 致す るカメ ラで撮影 した画像 と
みなせ る.た だ し,仮 定 したカメ ラモ デル と実際 の全方位 カメ ラの光学系 との差
異 はわずかであ る こ とが ,キ ャ リブ レー シ ョン実験 にお いて確認 されて い る。 そ
のため,シ ミュレー シ ョン画像 を用 い る場合 で は,外 乱 の影響 を受 けな い とい う
.。
点 が最 も大 きな差 異 で あ る と考 え られ る
作成 した 51枚 の画像 列 を用 いて,特 徴 追跡 ,カ メ ラ運 動推定 お よび特徴 の 3
次元計測手法 を適用 した.従 来手法 ,提 案手法 ともに,特 徴追跡 の結果 ,す なわ
ちカメ ラ運 動推定 に用 い る特徴 は 同 じで あ る.51枚 の画像 を取得 した各 カメ ラ
の位置 と姿勢 の ,推 定値 と真値 との誤差 の平均値 を評価 した .た だ し,SIM手
法で は移動距離 の絶対値 が不定 で あ るため,位 置誤差 のス ケール は,初 期画像 を
取得 したカメ ラ位 置 か ら 51枚 目の画像 を取得 したカメ ラ位置 まで の移動距離 を
1と して計算 した。 また,カ メ ラの初期地点 を基 準 としてその他 のカメ ラ座 標 系
の位置 と姿勢 を推定 したため,画 像枚数 は 51枚 で あ るが ,実 質 的 に推定 す るカ
メ ラ座 標系 は 50個 で あ る。姿勢誤差 は,回 転行列 を各 カメ ラ座 標 系 の X軸 ,Y
軸 ,Z軸 周 りの 回転角 に分解 して算出 した 3つ の角度 を評価値 とした。 それ ぞれ
0に 近 い ほ ど精度 が 良 い。
116
第 4章
Structure from Mo■
o■
カメ ラ運動推定 の比較結果 を図 4.30お よび表 41に 示す.各 軸 の値 は,初 期画
像 を取得 したカメ ラ位置 か ら 51枚 目の画像 を取得 したカメ ラ位置 までの移動距
離 を 1と した ス ケ ール で表示 して い る.青 色で示 され る点がカメ ラ運 動 の真値
,
赤色 で示 され る点が従来手法 によって推定 されたカメ ラ位置,緑 色 で示 され る点
が提案手法 によって推定 されたカメラ位置であ る.並 進運動 に関 しては,従 来手
法で はカメ ラが移動す るに したが つて徐 々 に推定誤差 が大 き くな ってい るのに対
し,提 案手法 で推定 されたカメ ラ運動 は真値 とよ く一 致 して い る.カ メラの 3次
元位置 の推定誤 差 は,移 動距離 に対 して
1%未 満 で あ り,移 動 ロ ボ ッ トが屋 内
環境 を走行 す る際の 自己位置推定 に とって十分 な精度 であ る.回 転運動 に関 して
は,従 来手法 ,提 案手法 ともにほぼ同 じ程度 の誤差 であったが,今 回 の実験 に用
い た全方位画像 の解像度 を考慮 す る と, これ以上の精度 向上 は困難 であ り,い ず
れの手法 にお い て も理想 的な推定結果 が得 られて い る とい え る.ま た,提 案手法
によるカメ ラ運動推定 の結果 を用 いて 3次 元計測 された直線 の再投影誤差 は 0.5
pixel以 下で あ り,画 像 の解像度 に対 して十分 な精度 が得 られた
.
今 回 の実験 にお いて特徴追跡 に要 した処理時間 は,1フ レーム あた り約 0.l sec
で あ った .そ の うち ,抽 出 された 50点 の特徴 点 の追 跡 に要 した処理 時間 が 約
0 01 sec,抽 出 され た 30本 の直線 の追跡 に要 した処理時間が 0 09 secで あ った
.
50視 点のカメ ラ運動推定 に要 した処理時間 は,従 来手法 が約 0.l sec,提 案手法
が約 0.01 secで あ つた。 ただ し,従 来手法 ,提 案手法 ともに,RANSACに よる
アウ トライア除去 にお い て,選 択す る特徴 を変 えてカメ ラ運動 推定 を行 うこ とを
2000回 繰 り返 して い る。全 ての処理 に要 した時間 は,従 来手法 が約 100 scc,提
案手法 が約 10 sccで あ る.従 来手法 で よ く用 い られ るバ ン ドル調整 は,推 定す
る視点数が増加 す るとパ ラメー タの 自由度 が大 き くな るため,指 数関数 的 に処理
時間 が増 加 す るアル ゴ リズ ムであ る.そ れ に対 し,提 案手法 は視 点数 に比例 して
処理時間が増加 す るアル ゴ リズ ムで ある.そ のため,カ メラ運 動 を推定 した い視
点数が多 い場合 は,提 案手法 は従来手法 と比 べ処理時間 の面 で有利 である
.
4.6 カメラ運動推定および 3次 元計測実験
● 真値
● 従来手法
● 提案手法
００
５０
００
０Ц０
︲
０
０
００
・ ｌ
去
(a)鳥 腋図
0500
0300
0i00
-0100
(b)上 面図
(c)側 面図
図 4.30カ メ ラ運 動推定結果 の比較
117
118
第 4章
Structure from MO● on
表 4.1カ メ ラ運 動推定 の結果
従来手法
提案手法
位置誤差
(X座 標 )
0.00783
000251
位置誤差
(Y座 標 )
00155
0.00194
位置誤差 (Z座 標 )
0.00150
000707
姿勢誤差 1[dcg]
0.270
0305
姿勢誤差 2[deg]
0405
0235
姿勢誤差 3[deg]
0.218
0173
次 に,カ メラ運 動推定が 困難 で ある状況 をシ ミュレー トした画像列での実験 を
行 つた.カ メラ軌跡 は,作 成 したモ デルの 曲が り角 に沿 って旋 回す る軌跡であ
る。 また,先 程 の実験 よりも移動距離が長 い。 そのため,物 体 の見 え隠れによる
特徴 の追跡 の途切れや,見 え方の変化 による画像特徴 の対応付 け誤差 の発生な ど
に より,一 般 にカメラ運動推定 は困難 な状況である.こ の実験 にお ける入力画像
列 は,画 像 サイズ 800× 600 pixelで 作成 された 101枚 の全方位画像である.入
力画像以外 の実験条件 は,上 記 の実験 と同様である
.
カメラ運動推定 の比較結果 を図 431お よび表 42に 示す。従来手法のカメラ
運動 の推定結果 は誤差 が非常 に大 き く,軌 跡 が不連続である。一方,提 案手法 は
真値 に近 い推定結果 が得 られ た。提案手法 によって得 られた直線 の 3次 元計測
結果 の再投影誤差 は,先 程 の実験 と同様 に 0 5 pixel以 下 で あ り,解 像度 に対 し
て十分 な精度 でのカメラ運動推定ができた とい える.用 いた特徴が同じであるに
もかかわ らず,従 来手法 で大 きな誤差が生 じた原因 としては,特 徴点の対応付 け
誤差や 8点 法 の線型化 による誤差,バ ン ドル調整 に よる最適化の過程 で局所解 に
陥 つた ことな どが考 えられ る。8点 法 は,非 線形問題であるカメ ラ運動推定 を線
型化 して解 を得 るため,今 回の実験 の よ うに,大 き く旋 回す るような非線形性 の
高 いカメラ運動 を推定す る際 には誤差 が生 じやす い.加 えて,カ メラ運動推定 に
用 いた特徴点 の対応付 け誤差 が大 きい と, さらにカメラ運動推定 の誤差 が大 き く
なる.初 期値 に含 まれ る誤差が大 きい場合 には,バ ン ドル調整 に よる誤差の最小
化 は局所解 を避 けられないため機能せ ず,精 度 の良 いカメラ運動推定 は困難 で あ
る。 これ らの原因か ら,ア ウ トライアの除去が正常 に行 えなかった ことも,大 き
な誤差を生 じた要因の 1つ である
.
4.6 カメラ運動推定および 3次 元計測実験
● 真値
● 提案手法
● 従来手法
(a)鳥 蠍図
(b)上 面図
御 回 ｍ ｍ 鰤
￨
(c)側 面図
図 4。 31よ り長 い距離で のカメ ラ運動推定結果 の比較
119
第 4章 Strllcture from Motion
表 4.2よ り長 い距離で のカメラ運動推定の結果
従来手法
提案手法
位置誤差 (X座 標 )
0.0300
0000867
位置誤差 (Y座 標 )
00488
0.00295
位置誤差 (Z座 標 )
0.0166
0.000845
姿勢誤差 1[deg]
1.13
00900
姿勢誤差 2[deg]
104
0.0880
姿勢誤差 3[dcg]
102
0.245
今 回 の実験 において は,従 来手法 に よるカメ ラ運動 推定結果 に信頼性 はな く
,
(計 算 自体 は可能 で あ ったが )事 実上処理 が破綻 して い る とい って もよい.そ れ
に対 して提案手法 は,理 想的 には入カ デ ー タに対す る大域 的最適解が得 られ る非
線形最適化 アプ ロー チであ るため,上 述 した問題 が解決 されて い る
.
1回 の 100視 点 のカメ ラ運動 推定 に要 した処理 時間 は,従 来手法 が約 2sec,提
案手法 が約 0.03sccで あ った。視点数 が増加 した ことに よって,提 案手法 と比 べ
,
従来手法 の処理 時間 は大幅 に増加 して い る.バ ン ドル調整で は視点数 が増 えるに
したが って演算 に用 い る行列のサイズが膨大 にな るため,処 理時間が増加 す るも
の と考 え られ る
.
101枚 の全 方位画像列 のカメ ラ運 動推定結果 か ら直線 の 3次 元計測 を行 った結
果 を図 4.32に 示 す。青色 で示 され る点が 推定 されたカメ ラ位置 で あ る。赤色∼
水色で示 され る点が直線 の 3次 元計測結果 で,床 面 に対 して高 い位置 にあ る点 は
赤色 ,床 面 に近 い位置 に ある点 は水色で示 されて い る.直 線 の 3次 元位置や姿勢
が,作 成 したモ デルの形状 とよ く一 致 して い る ことが分 か る
.
シ ミュレー シ ョン実験 に も関わ らずカメ ラ運 動推定結果 が真値 と一 致 しないの
は,本 実験 で与 え られ る情報 が,シ ミュレー シ ョンに よって作成 された全方位画
像列であ るためで ある.カ メ ラ運動推定 に必要 な特徴 の情報 で ある,直 線 の法線
ベ ク トル nの 真値 を与 えた場合 には,推 定 され るカメ ラ運動 は真値 と (計 算機 の
表現可能 な桁数 の範囲内で)一 致す る。 しか し本実験 で は,実 際 の動画像 を用 い
る場合 に近 い条件 で実験 を行 うため,作 成 した全方位 画像 を用 いて実際 に特徴追
跡処理 を行 い,そ の結果 を もとにカメ ラ運動 を推定 した。 そのため,特 徴 の対応
付 けや ,画 像 の量子化 な どによる誤差 の影響 を受 け,推 定 されたカメ ラ運 動 が真
値 と一 致 しなか った もの と考 え られ る
.
4。
6
カメラ運動推定 および 3次 元計測実験
推定 されたカメラ位置
目
言
ｗ
ｏ
ｈ ｌ
ｈ
ｇ
ｉ ｌ 目
(a)鳥 蠍図
」
ノ
・
￨
(b)上 面図
図 4。 32シ ミュレーシ ョン実験 にお けるカメラ運 動推定 お よび 3次 元計測結果
121
122
4。 6。
第 4章
3
Structure from Motion
テ ク ス チ ャ の 少 な い屋 内 環 境 で の カ メ ラ運 動 推 定 お よ び 3
実験
次 元 計 沢」
テ クス チ ャの少 な い屋内環境 を走行 して撮影 した全方位 画像列 を用 いて,カ
メラ運 動推定 お よび 3次 元計測 を行 つた.入 力画像 は,画 像サイ ズ 800× 600
pixelの 全方位画像 501枚 である.画 像 を撮影 した際の移動 ロボ ッ トの走行距 離
は約
10m,移 動速度 は約 25
cm/secで ある。実験環境 と入 力画像 の例 を図 4.33
に示す。
ゝ
(a)実 験環境 (屋 内,廊 下 )
(b)入
力 とな る全方位画像
図 4。 33実 験 を行 つた屋 内環境 と入力画像
カメ ラ運動推定 お よび直線 とエ ッジ点 の 3次 元計測結果 を図 4.34に 示 す。青
色で示 され る点群が各画像 を取得 した カメ ラの位置 の推定結果 ,赤 色∼水色で示
され る点群 が 直線 の 3次 元計測結果 で あ る。廊 下 の柱 や ドアな どが 直線 として
検 出 され ,3次 元計測 されて い る様子 が分 か る。 また,エ ッジ点の 3次 元計測 に
よつて,直 線 として検 出 されなか った部分 が補 われて い る。直線 の再投影誤差 は
シ ミュレー シ ョン実験 と同 じ く 0。 5 pixel以 下 で あ り,シ ミュレー シ ョン実験 と
同程度 の誤差 でのカメ ラ運動推定 お よび 3次 元計測 がで きた と考 え られ る。
123
4.6 カメラ運動推定および 3次 元計測実験
推定 され たカメラ位 置
ｈ
ｇ
ｉ 口
ｈ
日
量
目
ｗ
ｏ
︲
(a)鳥 腋図
■■
声及
L
￨
. .
lr
』
1_'1
い
亀
(b)上 面図
図 4.34屋 内環境 にお けるカメ ラ運 動推定 お よび 3次 元計測結果
●
第 4章
124
4。 6。
4
Structure from Motion
屋 外 環 境 で の カ メ ラ運 動 推 定 お よ び
3次 元 計 測 実 験
屋外環境 を走行 して撮影 した全方位画像列を用 いて,カ メラ運 動推定 および 3
次元計測 を行 った。入力画像 は,画 像サイズ 2496× 1664 pixelの 全方位画像 361
枚 で ある.画 像 を撮影 した際 の移動 ロボ ッ トの走 行距離 は約 20m,移 動速度 は
約 30 cm/secで ある。実験環境 と入力画像 の例 を図 4.35に 示す。
(a)実 験環境 (屋 外)
(b)入
力 となる全方位画像
図 4.35実 験 を行 った屋外環境 と入力画像
カメ ラ運動推定 お よび直線 とエ ッジ点 の 3次 元計測結果 を図 4.36に 示 す。青
色で示 され る点群が各画像 を取得 した カメ ラの位置 の推定結果 ,赤 色∼水色で示
され る点群が直線 お よびエ ッジ点 の 3次 元計測結果 で あ る.建 物 の直線形状 が 3
次元計測 されて い る様子 が分 か る。 また,エ ッジ点の 3次 元計測 に よって,テ ク
ス チ ャ豊 富 な部分 について も計測 されて い る。 テ クス チ ャに乏 しい環境 だ けで は
な く,様 々 な物体 が存在 す る屋外 の よ うな環 境 にお いて も,建 物 な どの人工 物 か
ら平行線 が得 られやす いため提案手法 は有効 で ある。
4.6 カメラ運動推定および 3次 元計測実験
推定されたカメラ位 置
ｈ ｗ
ｕ ｌｌ目日目目 ｏ
ｌ
(a)鳥 敵図
＼
ヽ
＼
♂
員
口
．与
︲一
￨ノ ヽ
Ｊ・
戸女
ノ
１
﹂ １ １
鷺 Ｆ
Ч
r・
・
ン
(b)上 面図
図 4。 36屋 内環境 にお けるカメ ラ運動推定 お よび 3次 元計測結果
125
第
4章 Structure from Motion
4.7 カメ ラ運 動推定 の今後 の課題
カメ ラ運 動推定 の実験結果 か ら,提 案手法 は従来手法 と比べ精度 良 くカメ ラ運
動 を推定可能 で ある ことが示 された。提案手法 は,平 行線 が得 られ る環境 では非
常 に有効 で ある とい え る.し か し, よ リー般的な環境 にお けるカメ ラ運 動推定 の
ためには,以 下 に挙 げる 2つ の 問題 点が存在 す る
.
い
・ 十分 な数 の平行線 が得 られな 環境 でのカメラ運動推定
o長 い画像列 にお けるカメ ラ運動 推定
平行線 が少 な く,特 徴 点 が多数得 られ る環境 にお いては,特 徴点 の対応 関係 を
利用 した手法 の方 がカメ ラ運 動推定 に有利 とな るケー ス も考 え られ る.こ れ は
,
提案手法 は平行線 か ら消失点が精度良 く推定 で きる こ とを前提 として い るか らで
あ る.得 られ る平行線 が少 な い ことで 消失点 の推定精度 が低下す る場合 ,カ メ ラ
運動推定 の精度 も低 下す る.し たが つて ,得 られ る平行線 の数 が 少 な い場合 に
は,提 案手法以外 のカメ ラ運動推定手法 (例 えば 8点 法や因子分解法 な ど)を 適
用 す るな ど,環 境 ご とに最適 なカメ ラ運 動推定手法 を選 択す る必要が ある.こ れ
は今後 の課題 であ る
.
提案手法 は,同 じ特徴が追跡 された画像列 を撮影 した際 のカメラ運動 を推定す
るアルゴ リズ ムで ある。 そのため現在 は,同 じ特徴 が追跡 で きな い よ うな長 い画
像列 を入力 とした場合 には, まず画像列 を適 当な長 さに区切 り,区 切 った画像列
ご とにカメ ラ運 動 を推定す る.そ して個 々の推定結果 を統合す る ことで,画 像列
全体 のカメ ラ運動 の推定結果 を得 る。 ただ し, この方法 で は,統 合す る際 に誤差
が累積す るため,厳 密 に画像列 全体 の誤差 を最小化す るカメ ラ運 動 を推定す る こ
とは困難であ る
.
理 論的 には,平 行線 を利用 したカメ ラ運動推定手法 (提 案手法 )を 拡張す る こ
とで,画 像列 を区切 らず に全 体 のカメ ラ運 動推定 を行 う ことも可能である。 しか
し,そ の場合 は解 くべ き問題 の 自由度 が 1よ りも大 き くな り,よ り複雑 な問題 を
解 く必要が ある.問 題 が複雑 にな るほ ど,局 所解 に陥 る こ とによ リカメ ラ運 動 の
推定精度 が低下す る可能性が高 まる.そ のため,区 切 った画像列 ご との推定結果
を統合す る現在 の方法 よ りも,提 案手法 を長 い画像列 に対応 で きるよ う拡張 した
カメ ラ運動推定手法 を適用 す る方が ,推 定精度 が 向上す るか ど うか について は検
討 の余地 が あ る。 これ に関 して は今後 の課題 で ある。
127
第 5章
3次 元計測点群 か らのテクス
チ ャ付 き 3次 元 モ デル生成
本章 では,3次 元計測点群 か ら環境 の 3次 元 モ デル を作成 す る手法 を説明す
る.提 案手法 では,ま ず 3次 元 ドロネ ー分割 によって三角網 を構築 す る.次 に
,
三角網 にテクスチャを貼 り付 け,3次 元 モ デルに環境 の色情報 を付与す る.テ ク
スチ ャを作成す る際 には,双 曲面 ミラーの幾何学的特性 を考慮す る ことに よ り
,
全方位画像特有の円形歪みの影響 を低減す る
.
5。
1 3次 元 ドロネー分割 による三角網 の構築
本節 では,三 角網 の構築 について説明す る.本 手法 では,3次 元計預1点 群 か ら
多面体 モ デ ル を構築す る.こ れ には各点 を結 ぶ三角形 を構成 す る ことによ り行
う。 この三角形群か らなる多面体 モ デル を三角網 と呼び,1つ 1つ の三角形 を 3
角形 メ ッシ ュ と呼ぶ。 ここで,遠 い点同士 を線で結 ぶ と三角形 が細長 くな るが
,
近 い点同士を線 で結 ぶ と三角形 は正三角形 に近 い形状 となる.点 群か らの平面構
造 の作成 には,局 所的な三角形 ,す なわち近 い点同士 を結 んだ三角形 に より表現
す ることで計測対象 の物体構造 を精度良 く近似で きると考え られ る。 そ こで,細
長 い三角形 をで きるだけ排 除 し,近 い点同士を結 んだ三角形 を作成す るため,本
手法で はまず ドロネ ー分割 によ り 3次 元計測点群 か ら三角網 を構成す る
.
128
第 5章
3次 元計測点群からのテクスチャ付き 3次 元モデル生成
本手法 で は 3次 元 の ドロネ ー分割 を行 うが ,簡 単 に説 明す るため,ま ず 2次 元
の ドロネ ー分割 につ いて説 明す る (図
5。
1)。
(a)図 1の よ うに して点群が与 え られた とす る。
(b)点 群 の すべ てを囲 む四角形 を作 り,そ れ を 2つ に分化 す る
(c)点 群 中の 1つ を抽 出す る
(d)抽 出 された点 を外接 円 に含 む三 角形 を探索す る
(c)探 索 された三 角形 を 1つ の多角形 とす る
(o 抽出された点と多角形の頂点を結び三角形を作成する。
5。
.
.
.
.
(g)(C)∼ (0を 繰 り返 し,す べての点群について行う
.
(h)最 後に (b)で 作成 した四角形の頂点を含む 3角 形を除去する。
(a)
(b)
(C)
(d)
(e)
(0
(g)
(h)
図 5。 1ド ロネ ー分割 (2次 元 )
による三角網の構築
5.1 3次 元 ドロネー分害」
本手法で は上 記 で説明 した
129
2次 元 の ドロネ ー分割 を 3次 元 に拡張 した方法 を
用 い る.す なわち,三 角形 を三角錐 に拡張 し,内 接 円を内接球 に拡張 した もので
あ る.具 体 的な処理 を以下 に示す。
1与 え られた全 ての点 を内部 に含 む任意 の直方体
(ABCD― EFGH)を 置 き
,
これ を 5つ の三 角錐 に分 け, これ らを三 角錐 リス トに入れ る
.
2.点 集合 か ら点 P′ を順 番 に 1つ ず つ取 り出す。
3点
P,が 現在 の三 角錐 リス トにあ る各 々の三 角錐 の 外接球 の 内部 にあ るか
ど うかチェ ックす る
.
4.点 P,を 内部 に含 む全 ての三 角錐 を見 つ け,三 角錐 と三 角錐 が接 す る面が
あれ ばそれ を削 除 した上で,点 P,と それ らの頂点 との 間 に新 た に線分 で
結び,得 られた全て の三角錐 を三角 錐 リス トに加 え る
.
2∼ 4を 繰 り返 し,す べ ての P,に 対 して行 う ことで,計 測結果 の点群 を結 んだ
三 角錐 が作成 され る
.
しか し,得 られた三角 錐 によ り構成 され る立体構造 の表面 は凹形状 を表現 して
い ない。 このた め,カ メ ラか ら映 って い る対応点が立体構造 の内部 に存在 し,表
面 に現れな い可能性 が あ る.特 に全 方位 カメラでの計測ではカメ ラの周囲 を計測
して い るため,計 測結果が観測点 (撮 影 地 点 )の 周囲 に存在 す る.こ れ に よ り
,
観測点 が計測結果 か ら得 られた立体構造 の 内部 に存在す る こ とにな る
.
そ こで,観 測点で観測 され る対応点の計測結果 を可視点 とす る と,観 測点 と可
視点 を結 ぶ線分 の間 に物体 は無 い はず であ るか ら,観 測点 と可視点 を結 ぶ線分 が
三 角錐 と交差 す る場合 ,そ の三角錐 を三角錐 リス トか ら削除 し,立 体構造 の 内部
に空 間 を作成 す る
.
130
第 5章
3次 元計測点群からのテクスチヤ付き 3次 元モデル生成
線分 が三 角錐 と交差 す る とき,三 角錐 の面 をなす いず れか の三 角形 が線分 と交
差 す る (図
5。 2)。
そ こで,線 分 と三 角形 が 交差す るか否か を判定す る。
Ｉ
可視 点
ｐ
Ｐ
と点
３
父
Ｐユ
ｐの
︲
形 ｃ
角分
三線
ｐ
p4
pl
三角錐plp2p3p4
観 測点
図 5.2観 測点 と可視点 の 間 の三 角錐
2つ の ベ ク トル vl,v2か
Tは
算出できる。
n=レ χ
(5。 1)式 より
,し ,κ 』
三 角 形 plp2p3の 頂 点 を結 ぶ
n=Vl× V2
ら,法 線 ベ ク トル
(5。
1)
三角形 plp2p3が なす平面の方程式をx=レ ,ノ,dTと すると,三 角形 plp2p3上
の点 は (5。 2)式 で表 され る
.
nTx+グ =0
(5。
2)
ここで グは変数 で ある.平 面 は plを 通過 す る ことか ら,グ は (5。 3)式 よ り求 め
られ る。
d
- -nrpr
(5。
3)
131
5.1 3次 元 ドロネ ー分割 による三 角網 の構築
一 方 ,観 測点 οか ら可視点
Pへ のベ ク トル rは (54)式 で表 され, これ を用 い
て cと Pを 結 ぶ直線 の方程式 は (55)式 で表 され る。 ここで たは変数であ る
.
r=p_c
(5.4)
x=c+7rr
(55)
平面 の方程式 ((52)式 )に 直線 の方程式 ((55)式 )を 代 入 す る こ とで ,平 面
と直線 が交差 す る点 にお ける たは (56)式 で表 され る
.
た=Ψ
(56)
Pに 対す る距離 c-1を 表
とき線分 cPは 平面 と交差 す る.こ の とき交点 iは (57)式
ここで平面 と直線 の交点 を iと す る と,た は距 lll
す .よ つて,た
>1の
c―
で 求 め られ る。
i=C十
肝
(5.7)
また,交 点 iは vlと v2に より(5.8)式 で表 される
.
i=pO+ω lvl+oV2
(58)
この ωlと cは (58)式 にお ける 2成 分 の連 立方程式 によ り求 まる.χ 成分 と
ッ成分 について求め る と,ω l,の はそれぞれ (59),(510)式 とな る。
q=
(59)
0=
(5 10)
交点 iは (511)式 を満たす場合 に三 角形 Plp2p3の 内部 に存在 し,線 分 cP
三角形 と交わ る
.
(al > 0)
n
(o:z
>
0) n
(al +oz < t)
(5.11)
は
第
5章 3次 元計損」
点群 か らのテクスチ ャ付 き 3次 元 モデル 生成
上 記 によ り線分 と交わ る三角形 を判定 し, これ を面 とす る三 角錐 を三 角錐 リス
トか ら除去す る.こ れ によ り,三 角錐 に よる立体構造 において観測点 と可視点 の
間 の空 間 が表現 され る.以 上の処理 に よ り,三 角錐 の面 をなす三 角形 を得 る.た
だ し,以 下 の三角形 はモ デル生成 に不必要であ るため削 除す る
.
(al 複数 の三 角錐 の面 をなす三 角形
o)初
めに設定 した直方体 の頂点を含む三角形
(c)す べ ての観測点か ら不可視な三角形
(a)は ,作 成 した立体構造 の内部 に存在す るため削除す る (b)は ,初 めに設定
した直方体 の頂点 A,B,C,D,E,F,G,Hは いずれ も計測点ではないので,こ
れ らを頂点 とす る三 角形 を削除す る.(c)は ,い ずれ の観測点か らも見 えないた
め,モ デルには不必要であるため削除す る.以 上の手順で三角網 が作成 され る
.
5.2 三角網 へ のテクスチ ヤマ ッピング
5。
2
三 角網 へ のテクスチ ャマ ッ ピング
三 角網 にテ クス チ ャを貼 り付 ける とき, よ り大 きな画像 を貼 り付 けたほ うが高
解像度 とな るため望 ま しい.観 測点 か ら三 角形 中心 までの距離 を ′とし,そ の直
2に
線 が三角形 の法線 となす角を φ とした とき,写 像 され る三角形 の面積 は ′ 反
比例 し,cosφ に比例す ると考 えられ る。通常 の透視投影 カメラにおける この関
係 を図 5。 3,図
5。
4に 示す。(5。 12)式 の Sが 最大 となる観測 点 にお ける画像 を三
角形 に貼 り付け る画像 として使用す る ことで,最 も解像度 の高 いテクスチャを生
成す ることがで きる。
S=
cos 0
三 角網 の一部
レンズ 中心
図 5。 3距 離 の 2乗 に反比例 す る 3角 形 メ ッシュ面積
(5。
12)
134
第 5章
3次 元計測点群 からのテクスチャ付き 3次 元モデル生成
三 角網 の一部
劉﹁Ｊ﹁ ｎ
レンズ 中心
図 5.4
cosφ
に比例する3角 形メッシュ面積
通 常 のカメ ラでテ クス チ ャを作成 す る際 には,3角 形 メ ッシュの 3つ の頂点 を
画像 に投影 し,そ の投影点 を頂点 とす る 3角 形 を画像 か ら切 り出 し,テ クス チ ャ
とすれ ば良 い。 しか し,全 方位画像 か ら この ような方法でテ クス チ ャを作成 す る
と,歪 んだテ クス チ ャが作成 され る (図
5.5(b))。
そ こで提案手法 で は,双 曲面 ミ
ラー の幾何学的特性 を考慮す る こ とで,3次 元 空 間中 の 3角 形 メ ッシ ュが全 方位
画像 上で どの よ うに投影 され るか を算 出す る。 これ に よ り,全 方位画像特有 の歪
みの影 響 を低減 した,歪 み の少 な いテ クス チ ャを作成 す る (図 5.5(c)).
5。
2
三角網 へ のテクスチ ヤマ ッピング
(a)作 成 した い 3角 形 メ ッシ ュの テ クスチ ヤ (緑 線 内)
￨
￨
(b)単 純な三角形切 り出 しによるテクスチャ作成
(c)全 方位画像特有 の歪みを考慮 したテ クス チ ャ作成
図 5.5全 方位画像 か ら作成 したテ クス チ ャの例
135
第 5章
3次 元計測点群 からのテクスチ ャ付き 3次 元モデル生成
提案手法 で は,デ ー タ圧縮 のため,各 テ クス チ ャを直角 二 等辺 3角 形 に変形 さ
せ ,同 じサイ ズのテ クス チ ャ ご とにま とめて保存す る.直 角 二 等辺 3角 形 の大 き
さを算 出す るた めに,ま ず 3角 形 メ ッシ ュの 3つ の頂 点 を全 方位画像 に投影 す
る。 その投影点 を頂点 とす る 3角 形 の面積 か ら,直 角 二 等辺 3角 形 の 1辺 の長 さ
を決定 す る。 サイ ズの決定 されたテ クス チ ャの保 存画像 か ら,仮 定 した 3角 形
“
′
へのアフィン変換を行うためのパラメータを求め,テ クスチャ画像の座標 レ,デ
を,仮 定 した 3角 形 に対応付ける (図
5。
6)。
l
図 5。 6で はテクスチャ画像 の左下の
座標 が Pl,右 下 の座標 が P2,左 上の座標 が P3と それぞれ対応 して い る。
ここで,原 点か ら 3つ の頂点 に向か うベ ク トル を Pl,P2,P3と し,Plか ら P2
へ と向か うベ ク トル を vl,P3を 通 り vlに 垂 直 に交 わ るベ ク トル を v2と す る。
これ らを用 い ると,原 点 か ら対応付 けた点へ のベ ク トル Xは
(5。
13)式 のよ うに
表す こ とができる
.
X-Pr*avr*Fvz
(5。
13)
ただし,α ,β は0∼ 1の 値である
対応付けた点の座標 X=レ ,ノ ,4Tを 全方位画像に投影し,投 影点 レ,」 の画素
値をテクスチャの座標 レ′
ノ1の 画素値として求める ((5。 14),(5。 15),(5。 16)式 ).
.
夕
=
χ
ルρ
2c
(5.14)
* soz
"ftp!
2c*soz
α2(zν
シ
=
/α
(5。
15)
(5。
16)
2+b2+bヾ χ2+ノ 2+z2)
6z(az
*y2)
- a2zz
3角 形 の辺や面 内部 の点 も投影 す る こ とで全 方位画像 の歪 みを低減 したテ クス
チ ャが得 られ る。
不I″ ,ν ,Z
η
P「
三角網
テクスチヤ
図 5.6テ クスチ ャ算出
5。
5。
5。
3 3次 元 モデル生成実験
137
3 3次 元 モ デル生成実験
3.1
シ ミ ュ レー シ ョ ン 画 像 を 用 い た
3次 元 モ デ ル 生 成 実 験
シ ミュレーシ ョン画像 を用 いたカ メ ラ運動推定 お よび直線 の 3次 元計測 の結果
(4.6.2項 )か ら,3次 元環境 モ デ ル を作成 した。 入力画像 はシ ミュレー シ ョンに
よつて作成 した画像 サイ ズ 800× 600 pixelの 全方位画像 101枚 で あ る。
生成 された三 角網 と 3次 元環境 モ デ ル を図 5.7に 示す。 シ ミュレー シ ョン環境
は単純 な形 状 で あ るため,必 要最低 限 の三 角形数 で環境 が再現 されて い る様子 が
分 か る。 ただ し,三 角網 (図 5,7(a))を 構成 す る三 角形 の 中で,常 に全方位 カメ
ラの死 角 に存在 して い るものにはテ クス チ ャが貼 られ て い な いた め,図
は一 部 の三 角形 が 表示 されて い な い。
(a)構 築 された三 角網
(b)生 成 された 3次 元環境 モ デ ル
図 5.7シ ミュレーシ ョン環境 の 3次 元 モ デル生成結果
5。
7(b)で
第 5章
3次 元計測点群 からのテクスチャ付 き 3次 元モデル生成
手動 で 作成 した元 の 3次 元 モ デ ル と,提 案 手法 に よって生 成 され た 3次 元環
境 モ デ ル を比較 した 図 を図
5。
8に 示す。提案手法 に よって,元 の 3次 元 モ デ ルの
形状やテ クス チ ャをおおむね再現 した 3次 元環境 モ デ ルが生成 されて い る こ とが
分 か る。 ただ し,床 面 の一 部 のテ クス チ ャを取得 す る こ とがで きなか った。 これ
は,床 面 に該 当す る 3角 形 メ ッシュが ,常 に全方位画像 の死角 で あ った こ とが原
因 で あ る.そ の他 に も,テ クス チ ャ間 の継 ぎ 目が 目立 つ部分 な どが あ るな ど,テ
クス チ ャの取得方 法 に関 して は改善 の余地 が あ る。
/
II
一
(a)元 の
♂
3次 元 モ デ ル
(視 点 1)
lrl
＼
(b)提 案手法 に よ り生成 された
3次 元環境 モ デ ル (視 点 1)
ヽ
゛
(c)元 の
3次 元 モ デ ル
(視 点 2)
(d)提 案手法 に よ り生成 された
3次 元環境 モ デル (視 点 2)
図 5.8シ ミュレー シ ョン実験 における 3次 元環境 モ デル生成 結果
また ,曲 が り角 の柱 の 下部 な ど,一 部 に不 自然 な歪 み が 見 られ る。 これ は
5。
,
1節 で行 う可視 点判定 に よる 3角 形 メ ッシュの 除去 にお い て ,本 来 あ るべ き 3
角形 メ ッシュが 除去 された ことが原 因 で ある。直線検 出や カメ ラ運 動推定 におい
て はわず か な誤差 で あ って も,可 視点判定 にお いて大 きな影響が生 じる ことが あ
る。厳密 にカメ ラ運動 推定 の誤差 をゼ ロ にす る こ とはで きな いため,根 本 的な対
処 は困難 で ある。 しか し, よ り多 くの視点 か らの画像情報 を用 い てカメ ラ運 動推
定 お よび 3次 元環境 モ デ ル生成 を行 うこ とによ り,生 成 モ デ ルの視点変化 に よる
不 自然 さはある程度解消出来 る と思 われ る。
5。
5。 3。
2
テ ク ス チ ャ の 少 な い屋 内 環 境 の
3 3次 元 モデル生成 実験
139
3次 元 モ デ ル 生 成 実 験
次 に,実 際 の環境 を撮影 した全方位画像 を用 いて,3次 元環境 モ デ ル を生成 し
た。本実験 は,テ クス チ ャの少 な い屋 内環境 (廊 下 )で 行 つた。 入力画像 は,全
方位 カメ ラ搭載移動 ロボ ッ トを廊下 で走行 させ て取得 した,501枚 の全方位画像
で あ る。画像 サイ ズ は 800× 600 pixelで あ る。 走行距離 は約
約 25 cl耐 secで あ る。実験環境 お よび入力画像 を図
5。
10m,移 動速度 は
9に 示 す。
生成 され た廊 下 の三 角網 お よび 3次 元環境 モ デ ル をそれ ぞれ図
5。
10,図 5.H
に示す。3次 元計測点群 か らモ デ ル を生成 す るまで に要 した処理時間 は約 1分 で
あ った。 テ クス チ ャの少 な い人 工 的な環境 にお いては,直 線 を 3次 元計測す る こ
とによって,廊 下 の形状 を再現 した モ デ ルが生成 で きる ことが分 か る
.
げ
ビ
￢
l il
l llll
(a)実 験環境
ＩЧ
Ц
(b)入 力画像
図 5.93次 元 モ デル生成 の環境 (屋 内,廊 下 )
140
第 5章
3次 元計測点群 か らのテクスチャ付 き 3次 元 モデル生成
(→
鳥瞳図 1
o)鳥 取図2
(c)上 面図
図 5.10生 成 された三角網 (屋 内,廊 下 )
5。
(a)鳥 隊図
1
(b)′ 島敗図
2
3 3次 元 モデル生成 実験
(c)上 面図
図 5.11生 成 された 3次 元環境 モ デ ル (屋 内,廊 下 )
141
142
5。
第 5章
3.3
3次 元計測点群 からのテクスチ ャ付き 3次 元モデル生成
屋 外環境 の
3次 元 モ デ ル 生 成 実 験
屋外環境 を撮影 した全方位画像 を用 いて,3次 元環境 モ デル を生成 した。入力
画像 は,画 像サイ ズ 2496× 1664 pixelの 全方位画像 361枚 である。画像 を撮影
した際 の移動 ロボ ッ トの走行距離 は約 20m,移 動速度 は約 30 cm/secで ある。実
験環境 と入 力画像 の例 を図 5。 12に 示す。
(a)実 験環境
(b)入
力画像
図 5e123次 元 モ デル生成 の環境 (屋 外 )
生 成 された屋外 の三 角網 お よび 3次 元環境 モ デ ル をそれ ぞれ図
5。
13,図
5。
14
に示 す。 3次 元計測点群 か らモ デ ル を生成 す るまで に要 した処理 時間 は約 20 sec
で あ った。 テ クス チ ャに乏 しい屋 内環境 だ けでな く,様 々 な物体 が 存在 す る屋 外
環境 にお いて も,建 物 な どの直線形状 を 3次 元計測す る こ とに よって,環 境 を再
現 した 3次 元 モ デル が生成 で きる こ とが分 か る。
ただ し,屋 外環境 は屋 内環境 と比 べ ,樹 木 な どによる物体 の見 え隠れ の影響 が
大 きい。 そのため特徴追跡 が途切 れ,計 測 されな い部分 が存在 した り,貼 り付 け
るテ クス チ ャ画像 を選 択 で きな くな った りす る ことで,生 成 された 3次 元環境 モ
デ ルに欠損が発 生 す る問題 が生 じる。 この 問題 の解決方法 に関 して は今後 の課題
で あ る。
5.3 3次 元 モデル生成実験
(a)鳥 欧図
1
⑩)鳥 欧図 2
(c)上 面図
図 5.13生 成 された三角網
(屋 外)
143
144
第 5章
3次 元計測点群 からのテクスチャ付き 3次 元モデル生成
(a)鳥 撤図
1
(b)鳥 腋図 2
(c)上 面図
図 5.14生 成 された 3次 元環境 モ デ ル (屋 外 )
5.4 3次 元 モデル生成の今後の課題
145
5.4 3次 元 モ デル生成 の今後 の課 題
提案手法 で は,3次 元計測点群 に対 して 3次 元 ドロネ ー分割 を適 用 す るこ とに
よって三角網 を構築 す る.こ の方法 で は,入 力 とな る 3次 元計演I点 群 の増加 に対
して処理 時間が指数関数 的 に増加す るため,よ り広範囲 の 3次 元 モ デ ル を生成 す
る場合 には効率的でな い。 よ り効率的な多面体 モ デル生成手法 の構築 は今後 の課
題 である
.
また,多 面体 は簡易 なモ デル表現 で あるため扱 いやす いが,モ デル化 す る対象
物 に よって は多面体 モ デ ルで はな く,平 面や直方体 ,円 柱 な どの プ リ ミテ ィブに
当 て はめ る方 が ,将 来 的 には ロ ボ ッ トの環境認識 に有効 とな る こ とが 考 え られ
る。状況 に応 じた最適 なモ デル表現 につ いて検討す る必要 が あ る
.
現在 は直線 を 3次 元点群 の集合 として表現 し,モ デル生成 の際 に もそれ ぞれ独
立 した 3次 元点 として扱 つて い る。 そのため,3次 元 モ デル に不 自然 な凹凸や色
合 い変化 が生 じる こ とが あ る.3次 元 モ デル生成 の際 には,直 線 を点群で はな く
直線 として扱 うべ きであ る。 しか し,計 測 された直線 全体が各視点 か ら常 に見 え
て い るわけではな く,他 の物体 の隠ぺ いや ,画 像処理 上の 問題 で直線 全体が検 出
されな い ことが あ る。 そのため,1本 の直線 として扱 う場合 ,そ の直線 を含 む 3
角形 メ ッシュに貼 りつ けるテ クスチ ャを作成 す る際 には,1枚 の全 方位画像 か ら
3角 形 メ ッシ ュ全体 の色情報 が得 られ な い ことが 多 いた め,複 数 の全 方位画像 か
ら色 情報 を取得 しなけれ ばな らず,処 理が煩雑 になる とい う問題 があ る.こ れ に
関 して も,モ デル表現 の検討 と合 わせ て今後 の課題 であ る
.
147
第 6章
結論 と今後 の展 望
6.1 結論
本研究 で は,strllci“
hm Mouonの 枠組 みで,1台 の全 方位 カメ ラのみを用
いて,周 囲環境 の地 図生成 とロボ ッ トの 自己位置推定 ,す なわち 3次 元環境 モ デ
ル生成 とカメ ラ運動推定 を実現す る手法 を構築 した.実 験結果 か ら,本 研究 で提
案す る手法 は,特 徴 の少 な い環境 において精度 良 くカメラ運 動 を推定 で きる こ と
が示 された
.
具体 的 には,歪 んだ全 方位画像 か ら直線 を検 出 し,動 画像 中で追跡す る手法 を
提案 した 。 これ によ り,視 点 の変化 に頑健 な特徴 で あ る直線 を利用 した
SfM手
法 を実現で きた。
また,平 行線 を利用 したカメ ラ運動推定手法 を提案 した.視 野 の広 い全方 位 カ
メラを用 い る ことで,常 に安定 して平行線 を検 出す る ことがで きた。本研究 が提
案 す るカメ ラ運動 推定手法 は,平 行線 か ら得 られ る拘束条件 を利用 す る こ とで
,
従来手法 で は多 自由度 の非線形 問題 として解 かれて いた カメ ラ運 動推定問題 を
,
1自 由度 の 非線形 問題 として解 くこ とがで きる.そ のた め,従 来 手法 の 欠点 で
あ つた,十 分 に真値 に近 い初期値 を必要 とす る こと,お よび局所解 に陥 りやす い
ことの 2つ の 問題 を解決す る こ とがで きた.実 験結果 か ら,従 来手法 と比 べ精度
良 くカメラ運 動 を推定 で きる こ とが示 された
.
カメラ運動 の推定結果 を用 いて特徴 の 3次 元計測 を行 うことで,密 な計測 結果
を得 る こ とがで きた 。計測結果 か ら環境 の地 図 とな る 3次 元環境 モ デ ル を生成
した。
148
第 6章
結論 と今後 の展望
6.2 今後 の展 望
今後 の課題 として は,よ り実際 の環境 に即 した 3次 元 モ デ ルを生成 で きる手法
の導入 が挙 げ られ る.そ のための手法 の 1つ として,環 境 中 に存在 す る平面 の
推定 が挙 げ られ る.建 物 な どの構造物 は平面 で構成 され る ことが 多 い.し か し壁
な どの平面 の 中央部分 はテ クス チ ャが ない ことが 多 く,画 像情報 の みでは直接計
測 す る こ とがで きな い.し か し提案手法 によって平面 を構成す るエ ッジ部分 (直
線 お よび直線 でな いエ ッジの両方 を含 む)の 計測 は可能 で あ る。 そ こで,平 面 の
エ ッジ部分 の計測結果 か ら最適 な平面 をフィッテ ィ ングす る ことで,平 面 を推定
す ることがで きる.平 面 を推定す る ことで , よ り実際 の環境 に忠実 な モ デルが生
成可能 で ある
.
本研究 の
SIM研 究 としての今 後 の展 望 には,特 徴 の対応 付 け とカメ ラ運 動推
定 と 3次 元計測 の 3つ を同時 に行 う手法 の構築 が挙 げ られ る。 これ まで に提案
されて い る SfM手 法 は,カ メ ラ運動推定 と 3次 元計測 を同時 に行 うもので あ る
が,特 徴 の対応付 けは独立 して行 われ る.そ のため,精 度良 く対応付 けられ た特
徴 の みを選択す る必要 が ある。 しか し,特 徴 の対応付 けには必ず誤差が生 じるた
め,誤 差 を理想 的 に最小化 す る ことが で きた場合 で も,期 待通 りのカメ ラ運 動推
定 お よび 3次 元計測 の精度 が得 られ る とは限 らな い。
これ は,特 徴 の対応付 けの評価 が画像 間 の類似度 (あ るい は相違度 )の みで行
われ るか らであ る。 そもそ も画像計測 で は離散的な値 しか得 られな いため,あ る
程度 の対応付 け誤差 は許容 され るべ きであ る.し か し,対 応付 けの評価 が画像間
の類似度 のみによって決 まる場合 ,状 況 によって は誤差 が偏 つた方向 に生 じる可
能性 があ る.誤 差 が完全 にガ ウス分布 に従 う場合 は多数 の デー タを用 い る ことに
よ つて誤差 の影響 が低減 され る こ とが期 待 で き るが ,そ うで な い場合 は多数 の
デー タを用 い る こ とによって逆 に誤差 が 累積す る恐れがあ る。 そ こで,カ メラ運
動推定 と 3次 元計測 の結果 も特徴 の対応付 けの評価 に加 える こ とによって,対 応
付 け誤差 の偏 りの影響 を低減 した
SfM手 法 を構築 す る ことが 有効 で ある。
また,地 図生成 と自己位置推定 をオ ン ライ ンで 自律 的 に行 うロボ ッ トシステ ム
の構築 が挙 げ られ る.現 状 で は取得 した動画像 をオ フライ ンで処理 して い る.生
成 された地 図 と自己位置推定 の結果 をも とに行動計画 を立て, 自律 的 に環境地図
を生成す る手法 を構築す る必要 が あ る
.
149
謝辞
本研究 の遂 行及 び論文作成 にお いて,終 始熱 心 に御指導頂 いた指導教員 であ る
静岡大学 工学部機械 工学科教授 金子透先生,お よび准教授 山下淳先 生 (現 在 ,東
京大学大学院工 学系研 究科精密工 学専攻准教授 )に 深謝 の意 を表す る
.
また,本 論文 について御指導頂 いた,静 岡大学工 学部機械 工 学科教授 三 浦憲 二
郎先 生 ,川 田善正先生 ,静 岡大学工 学部 シス テ ムエ 学科教授海老澤嘉伸 先生 に感
謝 の意 を表す る
.
当研究室 の先輩方であ る田中友氏,縣 弘樹 氏,栢 分光明氏,中 本琢実氏 ,岡 田
和 也氏 ,鈴 木優輔 氏 ,福 地功氏 らには 日頃 か ら多 くの有意義 な御 指摘 を頂 いた
.
ここに感謝の意 を表す る
.
同期 の伊東祐氏,岩 科進 也氏 ,鈴 木陸実氏,立 花智哉氏 ,土 屋亨氏 ,山 本光絡
氏 らには昼夜 を問 わず活発 に意 見交換 を して頂 いた。 ここに感 謝 の意 を表す る。
当研究室 の後輩 の方 々 には,指 導や指摘 を通 じて著者 自身 も多 くの ことを学 ば
せ て頂 いた。 ここに謝意 を表す る
.
特 に,本 研究 と同様 に全方位 カメラを用 い る研究 に携 わつた綴線理志氏 ,松 井
建樹氏 ,石 塚大輔氏,後 藤真 一 氏 ,渡 辺和史氏 らには研究 につい ての深 い議論や
実験 での協力 を して頂 いた.こ こに感謝 の意 を表す る
.
2012年 2月
川西
亮輔
151
参考 文献
[BarretO'o5]J.R Barreto and H.Arau」 o:“ Geometric Propa嘔 es of Central Cata―
dioptric Lhe lmages and The廿 Applic前on in Calbraior',胚 EE I物 溶αι―
27"αれИ″αJysお α″グルをο力滋ιみた〃4″ ″ι
`,V0127,No.8,pp.13271333,2005
″0ぉ
0″
From‐ Motion Usitt Lhc"Rcp‐
[Bart01i'05]A Bartoliand P Sm:``structtκ ―
resentation,Trlanglllation,and Bulldle Attusment'',Cο
―
′
た″フ ″ ル″
響″
"グ
'sわ
じ″
滋 St観″″g,Vol.100,Issuc 3,pp.416‐ 441,2005.
“
[Bay'06]H.Bay9■ Tuytelaars and L.V Gool``Suri Speed Up Robust Feates'',
ag′
″″ノ
Vο 歓
Cο 7ψ ″
rerフ,sゎ ″_ECC/2θ θ
α Zι ι′
″ Cο 2″ ″た″SCた ″ιι,Vo1 3951,
pp 404-417,2006.
[BeSl'92]RJ.BeSl and N.D McKay:`A Method for Re」 sttlJOn Of 3-D Shapes'',
みj″ ιみた″接 ″ιι,V01.14,
朋 E7razsα ι″0パ 0″ Patt“ И″弯 、お α″′滋麟ι
No.2,pp 239-256,1992.
lBOSSC'02]M BosSC,R.山 sk,J.Leonard and S.Teller``ヽ hnishing
Points alld
′銘 sグ 滋θ2θ ″ 勲″ αわ ″α′
“
“
3,pp.513-516,2002.
3D Lhesttom Omnidirecional Ⅵ deo'',P7oι
の 政 κ″ι
′ο″物 ば nω
`os姥 ,v01・
[BOuguct'oO]J Y BOuguet ``Pmmidal hplcmentation of the Lucas Kanade
″cィ ルた′Cο ψο″″ο″,pp.1-9,
Tracker Descrlption of the Alg“ 伽ぽ',qり ι
2000.
[BullSChOten'03]R.Bunschoten and B聰 6sc:``Robust Sccne Reconstrucion lЮ m
an Ottd“ clonal Vision System'',fEEE ηη″sα ο″sο ″Rο らο″ιs a″ グИ″―
`″
″
0“ α
′
わ″,Vol 19,No.2,pp.351-357,2003.
[Camy'86]J R Canny:`7ヽ Colnputational AppЮ ach to Edge Dctcc■ on'',fEEE
L溶
“
あ 溶 ο″乃 ′
κ″ И″α夕Sお
sue 6,pp.679-698,1986
“
グルレιみ滋θル た″なι″ιι,Vol.PAMI-8,Is―
[Car10ne'11]L.Carlone,R.Aragues,J.A Castellanos and B.Bona:`AF士 st―
参考文献
Order Solution to Simultaneous Localization And Mapping with Graphical
Models" , Proceedings of the 20 1 I IEEE International Conference on Robotics
and Automation, pp.
17
64-177
l, 201I.
[Caron' 1 1] G. Caron, E. Marchand and E. M. Mouaddib: "Tracking Planes in Om-
nidirectional Stereovision", Pro ceedings of the 2011 IEEE International Conference on Robotics and Automation, pp. 6306-6311,2011
.
[Chang'0O] P. Chang and M. Hebert: "Omni-Directional Structure from Motion",
Proceedings of the 2000 IEEE Worlahop on Omnidirectional Vtsion, pp. 127-
133,2000.
[Crowley'92]
J. L. Crowley, P. Stelmaszyk, T. Skordas and P. Puget: "Measurement
and Integration
of3-D Structures by Tracking Edge Lines",International Jour-
nal of Computer Ytsion,Yol.8, No. 1, pp. 29-52,1992.
[Danal'05] N. Dalal and B. Triggs: "Histograms of Oriented Gradients for Human
Detection", Proceedings of the 2005 IEEE Cornputer Society Conference on
Computer Yision and Pattern Recognition, Vol. 1, pp. 886-893, 2005.
[Davison'07] A. J. Davison, I. D. Reid, N. D. Molton and O. Stasse: "MonoSLAM:
Real-Time Single Camera SLAM", IEEE Transactions on Pattern Anarysis
and Machine Intelligence, Vol. 29, No. 6,pp. 1052-1067,2007
.
[DeSouza'02] G. N. DeSouza and A. C. Kak: "Vision for Mobile Robot Navigation: A Survey'',IEEE Transactions on Pattem Analysis and Machine Intelligence, Yol. 24, Issue 2, pp. 237 -267, 20O2.
[Faugeras'93] O. D. Faugeras: "Three-Dimensional Computer Vision: A Geometric Viewpoint (Series - Artificial Intelligence)" , MIT Press , 1993
.
[Fischler'81] M. A. Fischler and R. C. Bolles: "Random Sample Consensus: A
Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography", Communications of the ACM, Vol. 24, Issue 6, pp. 381-
395, 1981.
[Folkesson'05]
J. Folkesson, P. Jensfelt and H.
I. Christensen: 'Yision SLAM in the
Measurement Subspace", Prcceedings of the 2005 IEEE Intemational Conference on Robotics and Automation pp. 30-35, 2005.
[Gaspar'00] J. Gaspar, N. Winters and J. S. Victor: "Vision-Based Navigation
ard Environmental Representations
witl
an Omnidirectional Carrrcrt', IEEE
Transactions on Robotics and Automation, Vol. 16, No. 6, pp. 890-898, 2000.
[Geyer'03] C. Geyer and K. Dadilidis: "Omnidirectional Yideo", The Wual Computer,Yol. 19, No. 6, pp. 405-416,2003.
参考文献
[Gluckman'98] J. Gluckman ald S. K. Nayar: "Ego-Motion and Omnidirectional
Cameras", Proceedings of the 6th IEEE International Conference on Computer Wsion,pp. 999-1005, 1998.
[Grasa'll] O. G. Grasa,
J. Civera and J. M. M.
Montiel: "EKF Monocular SLAM
with Relocalization for Laparoscopic Sequences", Proceedings of the
201 1
IEEE Interuational Conference on Robotics and Automation, pp. 4816-4821,
2011.
[Grisettiyz'05] G. Grisettiyz, C. Stachniss and W. Burgard: "Improving Grid-based
SLAM with Rao-Blackwellized Particle Filters by Adaptive Proposals and Selective Resamplin g", Pruceedings of the 2005 IEEE International Conference
on Robotics and Automation, pp. 2432-2437 , 2005.
[Hansen'll]
P. Hansen,
H. Alismail, P. Rander and B. Browning: "Monocular Vi-
sual Odometry for Robot Localization in LNG Fipe s" , Proceedings of the 20 I
I
IEEE International Conference on Robotics and Automation pp. 31 11-3116,
2011.
lHartley'97a1 R.
I.
Hartley, "In Defense of the Eight-Poitt Algoithm", IEEE
Transactions on
Patter Analysis and Machine Intelligence, Vol. 19, No.
6,
pp. 580-s93, 1997.
[Hartley'97b] R. I. Hartley: "Lines and Points in Three Views and the Trifocal
Tensor", International Journal of Computer Wsion, Vol. 22, No. 2,pp. 125-
t40, t997.
[Hrabar'O3] S. Hrabar and G. S. Sukhafine: "Omnidirectional Vision for an Autonomous Helicoptet'' , Proceedings of the 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.558-563, 2003.
[Hsiao'l1] C. Hsiao
and C. Wang: 'Achieving Undelayed Initialization in Monoc-
ular SLAM with Generalized Objects Using Velocity Estimate-based Classificalion" , Pruceedings of the 201
I
and Automation, pp. 4060-4066,
IEEE International Conference on Robotics
201I.
[WY.Jeong'07] W. Y. Jeong and K. M. Lee: "Visual SLAM with Line and Corner Features", Pro ceedings of the 2006 IEEE/RSJ Intemational Conference on
Intelligent Robots and Systems, pp. 257 0-257 5, 2006.
[Y.Jeong'll] Y. Jeong, Y. Bok, J. Kim and I. Kweon: "Complementation of Cameras and Lasers for Accurate 6D SLAM: From Correspondences To Bun-
.
dle Adjustment" , Proceedings of the 201
I
IEEE Interndtional Conference on
Robotics and Automation, pp. 3581-3588,2011.
参考文献
[Karlsson'05] N. Karlsson, E. Di Bemardo, J. Ostrowski, L. Goncalves, P. Pirjanian ard M. E. Munich: "The vSLAM Algorithm for Robust Localization
and Mapping", Proceedings of the 2005 IEEE International Conference on
Robotics and Automotion, pp. 24-29, 2005.
[Konolige'l1] K. Konolige, E. M. Eppstein
and B.
Marthi: "Navigation in Hybrid
Metric-Topological Maps", Proceedings of the 2011 IEEE International Conference on Robotics and Automation, pp.304l-3047,2011.
[Kurazume'09] R. Kurazume, Y. Noda, Y. Tobata, K. Lingemann, Y. Iwashita and
T. Hasegawa: "Laser-Based Geometric Modeling Using Cooperative Multiple
Mobile Robots", Proceedings of the 2009 IEEE International Conference on
Robotics and Automation, pp. 3200-3205, 2009 .
[Labutov'1 1] I. Labutov, C. Jaramillo and
J.
Xiao: "Fusing Optical Flow and Stereo
in a Spherical Depth Panorama Using a Single-Camera Folded Catadioptric
Rig", Proceedings of the 20ll IEEE International Conference on Robotics
and Automation, pp. 3092-3097 , 2011
.
[Lategahn' 1 1] H. Lategahn, A. Geiger and B. Kitt: "Visual SLAM for Autonomous
Ground Vehicles", Proceedings of the 201 I IEEE International Conference on
Robotics and Automation, pp. 1732-1737 ,2011.
[Lee'11] G. H. Lee, F. Fraundorfer and M. Pollefeys: "MAV Visual SLAM with
Plane Constraint" , Proceedings of the 201 I IEEE International Conference on
Robotics and Automation, pp. 3139-3144,2011.
[Leonard'9l] J. J. Leonard and H. F. Durrant-Why'te: "Simultaneous Map Building and Localization for an Autonomous Mobile Robot", Proceedings of
IEEE/RSJ International Workshop on Intelligent Robots and Systems '91, In-
for Mechanical Systems, Vol. 3, pp. 1442-1447 , 1991.
[Leung' 1 1] K. Y K. Leung , T. D. Barfooty and H. H. T. Liuz: "Distributed
telligence
and De-
centralized Cooperative Simultaneous Localization and Mapping for Dynamic
and Sparse Robot Networks", Proceedings of the 2011 IEEE International
Conference on Robotics and Automation, pp. 3841-3847 ,2011.
[Liu'11] M. Liu, S. Huang and G. Dissanayake: "Featue Based SLAM Using
Laser Sensor Data with Maximized Information Usage", Proceedings of the
2011 IEEE International Conference on Robotics and Automation, pp. 18111816, 2011.
[Lowe'O4] D. G. Lowe: "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer hsion,Yol. 60, No. 2, pp. 91- 1 10,
参考文献
2004.
[Ly'10]
S. Ly, C. Demonceaux and P. Vasseur: "Translation Estimation for Single
Viewpoint Cameras Using Lines" , Proceedings of the 2010 IEEE International
Conference on Robotics and Automation, pp. 1928-1933,2010.
[Mariottini'07] G.L. Mariottini and D. Prattichizzo: "Uncalibrated Video Compass
for Mobile Robots from Paracatadioptric Line Images", Proceedings of the
2007 IEEE/RSJ International Conference on Intelligent Robots and Systems,
pp. 226-231, 2007
.
[Meguro'05a] J. Meguro, T. Hashizume, J. Takiguchi and R. Kurosaki: "Development of an Autonomous Mobile Surveillance System Using a Networkbased RIK-GPS", Proceedings of the 2005 IEEE International Conference
on Robotics and Automation, pp. 3107 -3112, 2005.
[Meguro'05b] J. Meguro, Y. Amano, T. Hashizume and J. Takiguchi: "OmniDirectional Motion Stereo Vision based on Accurate GPS/INS Navigation System", Proceedings of the 2nd Worl<shop on Integration of Wsion and Inertial
Sensors, 2005 .
[Menegatti'04] E. Menegatti, M. Zoccuato, E. Pagello and H. Ishiguro: "ImageBased Monte-Cario Localisation with Omnidirectional Images", Robotics and
Aut o nomous Sys t ems, YoL 48, Issue
l, pp. l7 -30, 2004.
[Mikolajczyk'03] K. Mikolajczyk, A. Zisserman and C. Schmid: "Shape Recognition with Edge-Based Features", Proceedings of the 14th British Machine
Wsion Conference, pp. 77 9-788, 2003.
[Milstein'11] A. Milstein, M. McGill, T. Wiley, R. Salleh and C. Sammut: "Occupancy Voxel Metric Based Iterative Closest Point for Position Tracking in
3D Environments", Proceedings of the
201
I
IEEE Intemational Conference
on Robotics and Automation, pp. 4048-4053,2011.
[Nakayama'88] K. Nakayama and G. Silverman: "The Aperture Problem - L Spatial Integration of Velocity Information Along Contours", Wsion Research,
Vol. 28, No. 6, pp.
7 47
-7
53, 1988.
[Nishimoto'07] T. Nishimoto and J. Yamaguchi: "Three Dimensional Measurement Using Fisheye Stereo Vision", Proceedings of Society of Instrument and
Control Engineers Annual Conference 2007,
3
A05-1, pp. 2008-2012, 2007.
[Nister'04] D. Nist6r: "An Efficient Solution to the Five-Point Relative Pose
Problem", IEEE Transactions on Pattern Analysis and Machine Intelligence,
Vol. 26, Issue 6,pp.156-770,2004.
参考文献
[Poelman'97] C. J. Poelman and T. Kanade: 'A Paraperspective Factorization
Method for Shape and Motion Recovery",IEEE Transactbns on Pattern Analysis and Machine Intelligence, Vol. 19, Issue 3,pp.206-218, 1997
.
[Pollefeys'08] M. Pollefeys, D. Nister, J. M. Frahm, A. Akbarzadeh, P. Mordohai, B. Clipp, C. Engels, D. Gallup, S. J. Kim and P. Merrell, C. Salmi, S.
Sinha, B. Talton, L. Warg, Q. Yang, H. Stew6nius, R. Yang, G.Welch aad H.
Towleset: "Detailed Real-Time Urban 3D Reconstruction from Yideo", Inter-
national Journal of Computer Vision,Yol.78, No. 2-3, pp. 143-167,2008.
[Pretto'l1] A. Pretto, E. Menegatti
and E. Pagello: "Omnidirectional Dense Large-
Scale Mapping and Navigation Based on Meaningful Triangulation", Proceed-
inSs of the 2011 IEEE International Conference on Robotics and Automation,
pp.3289-3296,2011.
[Rachmielowski'06] A. Rachmielowski, D. Cobzas and M. Jiigersard: "Robust
SSD Tracking with Incremental 3D Structure Eslimation" , Proceedings of the
3rd Canadian Conference on Computer and Robot hsion, p. 12,2006.
[Ramalingam'09] S. Ramalingam, S. Bouaziz, P. Sturm and M. Braad: "Geolocalization Using Skylines from Omni-Images", Proceedings of the 2009 IEEE
12th Intemational Conference on Computer Vtsion Workshops, pp. 1-10,2009.
[Sato'O5] T. Sato and N. Yokoya: "Omni-Directional Multi-baseline Stereo without
Similarity Measures", Proceedings of the 6th Worlahop on Omni.directional
Vision, Camera Networks and Non-classical Cameras , pp . 193-200 , 2005 .
[Scaramuzza'08] D. Scaramuzza and R. Siegwart: 'Appearance-Guided Monocular Omnidirectional Visual Odometry for Outdoor Ground Vehicles", IEEE
Transactions on Robotics, Vol.24, pp. 1015-1026,2008.
[Schindler'06] G. Schindler,
P.
Krishnamurthy and F. Dellaert: "Line-Based Struc-
ture from Motion for Urban Environments", Proceedings of the 3rd Intema-
tional Symposiwn on 3D Data Processing, Yisualization, and Transmission,
pp. 846-8s3,2006.
[Shi'94] J. Shi and C. Tomasi: "Good Features to TracH', Proceedings of the 1994
IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 593-600, 1994.
[Smith'06] P. Smith, I. Reid and A. Davison: "Real Time Monocular SLAM with
Straight Lines", Proceedings of the 17th British Machine Wsion Conference,
pp. 17-26,2006.
[Spacek'86] L. A. Spacek: "Edge Detection and Motion Detection", Imoge and
参考文献
Vision Computing, Vol. 4, Issue 1, pp. 43-56, 1986.
[Suzuki'IO] T. Suzuki, M. Kitamura, Y. Amano aad T. Hashizume: "6-DOF Localization for a Mobile Robot Using Outdoor 3D Voxel Maps", Proceedings of the
2010 IEEE/RSI International Conference on Intelligent Robots and Systems,
pp. 5737-5743,2010.
[Tardif'08]
J. Tardif, Y. Pavlidis and K.
Daniilidis: "Monocular Visual Odometry in
Urban Environments Using an Omnidirectional Camera", Proceedings of the
2008 IEEE/RSJ Intemational Conference on Intelligent Robots and Systems,
pp. 2531-2538, 2009.
[Tomono'O5] M. Tomono: "3-D Localization ar:d Mapping Using a Single Camera Based on Structure-from-Motion with Automatic Baseline Selection",
Pro-
ceedings of the 2005 IEEE International Conference on Robotics and Automa-
tion, pp. 3353-3358, 2005.
[Tomono'06] M. Tomono; "Dense Object Modeling for 3-D Map Building Using
Segment-Based Surface Interpolatiorf', Proceedings of the 2006 IEEE International Conference on Robotics and Automation, pp. 2609-2614, 2006.
[Tomono'09] M. Tomono: "3D Object Mapping by Integrating Stereo SLAM and
Object Segmentation Using Edge P oints" , Advances in Wual Computing, Lecture Notes in Computer Science,Yol.5875, pp. 690-699,2009.
[Torii'08] A. Torii, M. Havlena,
T. Pajdla and B. Leibe: "Measuring Camera Trans-
lation by the Dominant Apical Angle", Pruceedings of the 2008 IEEE Computer Society Conference on Computer yision and Pattern Recognition, pp.
l-
7,2008.
[Torr'97]
P.
H. S. Torr ard A. Zisserman: "Robust Parameterization and Compu-
tation of the Trifocal Tensor", Image and Vision Computing, Vol. 15, Issue 8,
pp. s9r-605, 1997.
[Triggs'00] B. Triggs, P. Mclauchlan, R. I. Hartley and A. Fitzgibbon: "Bundle
Adjustnent -A Modern Synthesis", Wsion Algorithms: theory and Practice,
Lecture Notes in Computer Science,Yol. 1883, pp. 298-372,2000.
[Tykkala'l
l]
T. Tykkii[i and A. I. Comport:
'A
Dense Structure Model for Image
Based Stereo SLAM" , Prcceedings of the 20 I
I IEEE International Conference
on Robotics and Automation
,pp. 1758-1763,2011.
[Wei'98] S. Wei, Y. Yagi and M. Yachida: "Building Local Floor Map by Use
of Ultrasonic and Omni-directional Vision Sensor", Proceedings of the 1998
IEEE Intemational Conference on Robolics and Automation, pp. 2548-2553,
参考文献
1998.
IYagi'00]Y Yagi,K Shouya and M.Yachida“ Env“ nlnental Map Gen∝ aion
and Egomotion Estimauon in a Dynamic En、 ironment for an OmnidLcJonal
ο″
lmage Sellsor',Pκ ιιedi叩 げ ″ι2θ θθ EEEル た 〃 ο″α′Cb電Oc″
“
“
Rο ι
οtics α″′И″わ″α ″,pp.3493-3498,2000
`わ
[Yang'11]S.Yang and C.Wang:`Tcasbilけ
Grids for Localization and Mapphg
潰甲 げ ″
h Crowded Urban Scenes",PI・●ιιι
`2θ
″
EEEル た
α″ο″α′G,″ ¨
“
たsα ′′И″ゎ″σ″ο″,pp.2322-2328,2011.
″οιο″Rο ろο′
ル ′
“
[Ⅵ ng'03]X.Yhgand z Hu:``Ca協 よop磁 c Camera Calhaion Using Gcomedc
型EEル た″α力 ′α′Gο tte″ ι ″Cο ‐
`ο
“
″
′
ι
′フ
bjο
″
,Vol.2,pp.1351-1358,2003.
′
Based Map Us―
[G Zhang'H]G Zhang andI.H.Suh:“ Build襲3 a Partia1 3D L缶 ‐
Nぶ ants'',P7oι ∝diれが
グ″
`9″
′ι競 び グ ″ι2θ ″ ″ EEル
地 a MOnOCular SLAM",PI● ο
ル″″
``ο
″Rο らοrたsα ″グИ″ゎ″α″ο″,pp 1497‐ 1502,2011.
[,II西 '10]川 西
αrわ ″α′働 ″_
`ι
“
亮輔 ,山 下 淳 ,金 子 透 :“ 全 方位画像 列 か らの特徴 点 お よび 直線
エ ッジ情報 を併用 した
Smcme mm MOtiOnに
よる 3次 元環境 モ デ ル生
成 ",電 気学会論文誌 C,Vol.130‐ C,No 9,pp 1494‐ 1503,2010.
[奈 良先端大 '09]奈 良先端科学技術大学院大学
OpencVプ ロ グラ ミン グブ ック制
作 チ ーム:“ OpcllCVプ ロ グラ ミン グブック 第
コ ミュニ ケー シ ョンズ,2009.
2版 OpcncV l.1対 応 ",毎 日
159
研究業績
受賞
1)Third Asia lntemational Symposlum on Mcchatronicsに お いて Best Sttdent
Papcr Awardを 受賞,2008年 8月 29日
.
2)2009 1EEE/RSJ Intem“ onal Confercnce on lntelligent Robots and Systcms
lこ
お いて IEEE Robotics and Automation Socicty Japan Chapter Young
Awardを 受賞,2009年 10月 12日 ・
3)2010年 度精 密工学会秋季大会学術講演会 にお いてベ ス トポスター プ レゼ
ンテー シ ョン賞 を受賞,2010年 9月 29日
.
学術論文
R.IOwanishi,A Yamashita and T ICaneko:``Three―
Dlmensional Envtton―
mcnt Model Construction from an Omnidlectional Lnage Scquence",ノ
b″ r
みα
ブ
の α″グルタι
″α′げ Rο ろο′
2)
′ ,Vbl.21,No 5,pp 574-582,2009
"′ “
川西 亮輔 ,山 下 淳 ,金 子 透 :“ 全方位画像列 か らの特徴 点お よび直線 エ ッジ
情報 を併用 した Strllcture from Motionに よる 3次 元環境 モ デ ル生成 ",電
気学会論文誌 C,Vol 130‐ C,No.9,pp 1494-1503,2010,
3) 川西 亮輔 ,山 下 淳 ,金 子 透 :“ 全方位画像 中 の特徴 点 と直線 エ ッジ の 同時拘
束 と基 線長 の 自動決定 に基 づ く Stmctte ttom Motionに よる 3次 元環境
モ デル生成 ",日 本 ロボ ッ ト学会誌 ,Vol.30,No.4,2012
査読付 国
1) R. Kawanishi, A. Yamashita and T. Kaneko: "Construction of 3D Environment Model from an Omni-Directional Image Sequence", Proc eedings of the
160
研 究業IS_
3rd Asia International Symposium on Mechatronics, TP 1-3(2), pp. 1-6,2008.
2) R. Kawanishi, A. Yamashita and T. Kaneko: "Estimation of Camsra M61ls1
with Feahre Flow Model for 3D Environment Modeling by Using OmniDirectional Carnerd' , Proceedings of the 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.3089-3094,2009.
3) R. Kawanishi, A. Yamashita and T. Kaneko: "Environment Measurement
based on Structure from Motion with Feature Flow Model by Using Omni-
Directional Camera", Proceedings of the 3rd International Conference
of
Asian Society for Precision Engineering and Nanotechnologt,2M-7, pp. 1-
5,2009.
4) A. Yamashita, R. Kawanishi, T. Koketsu, T. Kaneko and H. Asama: "Underwater Sensing with Omni-Directional Stereo Cameru", Proceedings of
the I
lth
Worlrshop on Omnidirectional Wsion, Camera Networks and Non-
classical Cameras, pp. 304-311, 201 I.
5) D. Ishizuka, A. Yamashita, R. Kawanishi,
T. Kaneko and H. Asama: "Self-
localizaion of Mobile Robot Equipped with Omnidirectional Camera Using
Image Matching and 3D-2D Edge Matching" , Proceedings of the I I th Work-
shop on Omnidirectional hsion, Camera Networks and Non-classical Cameras, pp. 27 2-27 9, 201
l.
6) S. Goto, A. Yamashita, R. Kawanishi, T. Kaneko and H. Asama: "3D Environment Measurement Using Binocular Stereo and Motion Stereo by Mo-
bile Robot with Omnidirectional Stereo Camera", Proceedings of the 1lth
Workshop on Omnidirectional Wsion, Camera Networks and Non-classical
Cameras, pp. 296-303, 201
7) A.
l.
Yamashita, K. Matsui, R. Kawanishi, T. Kaneko, T. Murakami, H. Omori,
T. Nakamura and H. Asama: "Self-Localization and 3-D Model Construction
of Pipe by Earthworm Robot Equipped with Omni-Directional Rangefinder",
Proceedings of the
B iomimetics,
pp.
20ll
10 17
IEEE International Conference on Robotics and
-1023, 201
8) R. Kawanishi, A. Yamashita,
l.
T. Kaneko and H. Asama: "Line-based Camera
Movement Estimation by Using Parallel Lines in Omnidirectional Video",
Proceedings of the 2012 IEEE International Conference on Robotics and
Automation,2012.
161
書籍
1)R IOwanish,A Yamashita and T Kaneko: ``Three‐ dmcnsional Envi―
ronlnellt Modelling Bascd on Stl■ lcirc From Motlon with Point and Linc
Fcattrcs by Using Omnidlrcctional Camera'',Rι ι
"′
Rο bο ′
たちfⅣ 7ECH,pp.51‐
‰ bjル
Иヽα″σの 加 ノ
68,2011
口頭発表
1)
山下 淳 ,原 田 知明,川 西 亮輔 ,金 子 透 :“ 全方位 カメ ラ搭載移動 ロボ ッ トに
3次 元環境 モ デ リン グ",電 気学会研 究会資料 (情 報
処理/産 業 シス テ ム情報化合 同研 究会 IP‐ 06-H∼ 19/Ⅱ S-06‐ 27∼ 35),
よる画像列 を用 いた
pp 31-36,2006.
2) 川西亮輔 ,山 下淳 ,金 子透 ,“ 全方位 カメ ラを用 いた環境 モ デ リン グのための
特徴抽 出最適化 お よびカメ ラ外部パ ラメー タ推定 ",動 的画像処理実利用化
ワー クシ ョップ DIA2007講 演論文集 ,pp 319-324,2007.
3) 川西亮輔 ,山 下淳 ,金 子透 ,“ 全方位 カメラを用 いた 同一 特徴 点 の複数計測結
果 の統合 による環境 モ デ リン グ",第 13回 画像 セ ンシン グシ ンポジ ウム講
演論文集 ,INl‐ 08,pp l-8,2007.
4) 川 西亮輔 ,山 下 淳 ,金 子透 ,“ 全 方位 画像 列 を用 いた
3次 元 環境 モ デ ル生
成 ",日 本機械学会 ロ ボテ ィクス・ メカ トロニ クス講演会 '08講 演 論文集
,
2P2-C13,pp.1-4,2008.
ξ′
川西亮輔 ,山 下淳 ,金 子透 ,“ 全方位 カメ ラを用 いた 3次 元環境 モ デ リン グ",
画像 の認識 。理解 シンポジウム 2008論 文集 ,pp.561‐ 566,2008.
6) 川 西亮 輔 ,山 下 淳 ,金 子 透 ,“ 全 方位 画像 列 か らの 周 囲環 境 モ デ ル 構 築 ",
第 26回 日本 ロ ボ ッ ト学会学術講演会予稿集 ,RS」 2008AClL2‐ 03,pp l_4,
2008
7) 川西亮輔 ,山 下淳 ,金 子透 ,“ 全 方位 カメ ラを用 いた 周 囲環境計測 のた めの
特徴 点流れ モ デル によ る位 置姿勢推定",映 像情報 メデ ィア学会技術報 告
,
Vol.33,No.11,pp 65-68,2009
8) 井上 渉 ,川 西 亮輔 ,山 下 淳 ,金 子 透 :“ 単 眼 カメ ラ搭載移動 ロ ボ ッ トを用 い
た SIFT特 徴量 に基 づ く特徴追跡 と Structrc from Mo■ onに よる SLAM",
2009年 度精密 工 学会春季大会学術講演会講演論文集 ,pp 129-130,2009.
研 究業績
9)川 西 亮輔 ,山 下 淳 ,金 子 透 :“ 特徴 点 フローモ デル を用 いた全方位 カメ ラの
位置姿勢推定 による 3次 元環境 モ デ リング",日 本機械学会 ロボテ ィクス・
メカ トロニ クス講演会 '09講 演論文集 ,lAl― F14,pp.1-4,2009.
10)川 西 亮輔 ,山 下 淳 ,金 子 透 :`全 方位 カメ ラを用 いた特徴 点 フローモ デル に
よる 3次 元環境 モ デル生成 ",画 像 の認識・ 理解 シ ンポジウム 2009論 文集
,
pp 1548‐ 1555,2009.
11)綴 綴 理志 ,川 西 亮輔 ,山 下 淳 ,金 子 透 :“ 3次 元環境 モ デ ル構築 のた めの全
方位画像 か らのモ デル形状 に適合 したテ クス チ ャ生成",ビ ジ ョン技術 の実
利用 ワー クシ ョップ講演論文集 ,pp.146-151,2009.
12)川 西 亮輔 ,山 下 淳 ,金 子 透 :“ 全方位画像列の特徴 点 とエ ッジ情報 を併用 し
たカメ ラ運動推定 による 3次 元環境計測",第 15回 ロボテ ィクスシ ンポジ
ア講演予稿集 ,pp 449-456,2010.(査 読付 )
13)後 藤 真 一 ,川 西 亮輔 ,山 下 淳 ,金 子 透 :“ 二 眼 ス テ レオ とモ ー シ ョンス テ
レオ を併用 した全方位 ステ レオカメ ラシス テ ム に よる 3次 元 計測 ",日 本
機械学会 ロ ボテ ィクス・ メカ トロニ クス講演会 '10講 演論文集 ,lA2‐ E29,
pp.1‐ 4,2010.
14)石 塚 大輔 ,川 西 亮輔 ,山 下 淳 ,金 子 透 :“ 3次 元環境地 図か ら作成 した任 意
視 点画像 を利用 した全 方位 カメ ラ搭載移動 ロ ボ ッ トの視 覚 に基 づ くナ ビ
ゲ ー シ ョン",日 本 機械学会 ロ ポテ ィクス・ メカ トロニ クス講演会 '10講 演
論文集 ,2Pl― E17,pp.1-4,2010.
15)後 藤 真 一 ,川 西 亮輔 ,山 下 淳 ,金 子 透 :“ 全方位 ス テ レオ画像 によ る二 眼ス
テ レオ とモ ー シ ョンステ レオを併用 した 3次 元計測 ",精 密 工学会画像応用
技術専門委員会 サ マーセ ミナー 2010テ キス ト,Vol.19,pp.80-83,2010.
16)川 西 亮輔 ,山 下 淳 ,金 子 透 :“ 全方位画像 を用 いた Structtt hm Motion
に よる特徴点 と直線 エ ッジの 3次 元計測 と環境 モ デ リン グ",第 28回 日本
ロボ ッ ト学会学術講演会予稿 集 ,RSJ2010AC312‐ 1,pp l‐ 4,2010.
17)川 西 亮輔 ,山 下 淳 ,金 子 透 :“ 全方位 カメ ラを用 いた特徴点 と直線 エ ッジの
計測 に よる 3次 元環境 モ デル構築 ",2010年 度精密 工 学会秋季大会学術講
演会講演論文集 ,pp.77‐ 78,2010.
18)渡 辺 和史 ,川 西 亮輔 ,山 下 淳 ,金 子 透 :“ 全方位 カメ ラを用 いた 3次 元環境
計測 にお ける GPUを 用 いた特徴追跡 の高速化 と動物体 の検知",動 的画像
処理実利用化 ワー クシ ョップ 2011講 演論文集 ,pp.338‐ 343,20H.
19)松 井 建樹 ,川 西 亮輔 ,山 下 淳 ,金 子 透 ,村 上 太郎 ,大 森 隼人 ,中 村 太郎 :“
全方位 レンジ フアイ ンダ搭載 ミミズ型 ロ ボ ッ トの 自己位置推定 と配管 の 3
次元 モ デ ル生成 ",第 16回 ロボテ イクスシンポジア講演予稿集 ,pp.22-29,
163
20H(査 読付
)
20)後 藤 真 一 ,川 西 亮輔 ,山 下 淳 ,金 子 透 :“ 全 方位 ス テ レオ カメ ラ搭載移動
ロ ボ ッ トに よる二 眼 ス テ レオ とモ ー シ ョンステ レオ を併用 した周 囲環境
の 3次 元計測 ",第 16回 ロボテ イクスシンポジア講演予稿集 ,pp.442-448,
20H(査 読付
)
21)川 西 亮輔 ,山 下 淳 ,金 子 透 :“ 全方位画像 の特徴点 と直線 エ ッジ分布 に基 づ
く基 線長 の最適化 ア ル ゴ リズ ム を有 す る Smcture ttOm Motionに よる 3
次元環境計測",第 16回 ロボテ イクスシンポジア請演予稿集 ,pp 449-456,
20H(査 読付
)
22)石 塚 大輔 ,川 西 亮輔 ,山 下 淳 ,金 子 透 :“ 画像記憶 とエ ッジ の 3D-2Dマ ッ
チ ン グによる全方 位 カメ ラ搭載移動 ロボ ッ トのナ ビゲ ー シ ヨン",第 16回
ロボテ ィクスシンポジア講演予稿集 ,pp 551-557,2011.(査 読付 )
23)川 西 亮輔 ,綴 組 理 志,山 下 淳 ,金 子 透 :“ 単 眼全方位 カメ ラを用 い た環境
復元 にお ける 2視 点 か らの見 えの違 い を利用 した物体 メ ッシ ュモ デ ル最
適化 ",第 17回 画像 セ ンシ ン グ シ ン ポジ ウ ム講演論 文集 ,IS2‐ 06,pp.1-7,
2011.
24)川 西 亮輔 ,山 下 淳 ,金 子 透 :“ 全方位画像列 を用 いた Lhe― based ttmcmrc
彙om Motion",精 密 工 学会画像応用 技術専 門委員会 サ マ ーセ ミナ ー 2011
テキス ト,Vo1 20,pp 67-70,2011
25)川 西 亮輔 ,山 下 淳 ,金 子 透 :“ 全 方位画像列 か らの平行線 に よる拘 束条件
を利用 したカメ ラ運動推定",第 29回 日本 ロボ ッ ト学会学術請 演会予稿集
,
312-5,pp l-4,2011.
26)渡 辺 和史 ,川 西 亮輔 ,山 下 淳 ,金 子 透 ,浅 間 一 :“ 単 眼全方位 カメ ラ搭載移
動 ロボ ッ トに よる 3次 元 エ ッジ点か らの平面推定 に基 づ く静止障害物 回
避 ",第 24回 自律分散 シス テ ム・ シンポジウム,2012
27)川 西 亮輔 ,山 下 淳 ,金 子 透 ,浅 間 一 :“ テ クスチ ャ レス環境 にお ける全方位
画像列 か らの平行線検 出を利用 した Structure mm Motion",第 17回 ロボ
テ ィクスシンポジア講演予稿集 ,2012(査 読付 )

要旨PDF - 目白大学

太陽系外惑星の検出

インテリア相談会のご案内 新生活スタート 新生活スタート

Page 1 20150119PZ・P2Z・SZ・SFZ仕様_H 洗面ドレッシング

オーストラリア特命全権大使 来訪について（総務企画局国際部）

パナソニックバスルーム オフローラ 1616 AR 【2014年5月21日受注

公 共 物 破 損 復 旧 報 告 書 - 町田市

カタログ

スライド 1 - HOME｜福井大学工学部・工学