ハイビジョン画像を用いた都市空間モデルの効率化について
東京電機大学大学院理工学研究科
応用システム工学専攻
1.
近津研究室
○國井洋一
はじめに
近年、デジタル国土の構築や文化財の保存等の目
的から、建造物や町並みの 3 次元データの効率的な
取得および視覚化に関する研究が注目されている。
一般的に、画像情報から物体の 3D モデリングを行
うためには線抽出やステレオマッチングといった作
業が必要であり、これまでにさまざまな手法が提案
されている。このような背景から、筆者らはこれま
でにオプティカルフローを用いた建造物の自動モデ
リング手法について検討を行ってきた
図1
1 )。本手法は
ビデオカメラによって撮影された物体の動画像から
線分抽出を行い、抽出した線分のラインマッチング
3.
ハイビジョン画像
ラインマッチング
本研究ではハイビジョン画像中の第 1 フレームか
をオプティカルフローによって行うものであるが、
本手法によって都市空間のモデリングを行うために
ら Canny の手法 2)を用いて線分抽出を行い、抽出し
は、ラインマッチングのさらなる効率化および都市
的に追跡することによりラインマッチングを行った。
た各線分の端点をオプティカルフローによって自動
空間を構成する建造物等の効率的抽出が課題となる。 以下に本手法の概要を示す。
3.1. Canny の手法による線分抽出
そこで、本研究では市街地上空から撮影されたハ
Canny の手法はエッジ高さおよび信頼度と呼ばれ
イビジョン画像を用いて、エピポーラマッチングに
よるラインマッチングの効率化およびモルフォロジ
る 2 つのしきい値を設定することでエッジ抽出を行
ー理論を用いたオブジェクトの認識手法について検
う手法である。エッジ高さとは注目画素の周囲にお
討を行った。さらに、ラインマッチングが行われた
ける濃淡値の変化量で、信頼度とはノイズの影響の
尺度をあらわす指標である。また、本研究では線分
各線分の端点の 3 次元座標を算出し、算出された 3
次元座標を用いて各オブジェクトを配置することに
より、都市空間モデルを効率的に構築することを可
の各端点を追跡することによりラインマッチングを
能とした。
これら端点同士を結んでエッジの直線化を行った。
2.
さらに本研究では動画像中の第 1 フレームにおいて
のみ、手動によってモデリングに不要な線分の除去
ハイビジョン画像について
本研究で用いたハイビジョン画像は、朝日航洋
(株)により HDTV(High Definition Television)方式
行うため、取得した各エッジの端点を自動抽出し、
を行った。図 2 に本手法による線分抽出結果を示す。
で撮影されたものである。HDTV とは 1125 本の走
査 線 を 持 つ 映 像 方 式 で あ り 、 NTSC(525 本 ) や
PAL(625 本)といった従来方式と比較して高解像度
な画像を取得することが可能である。本研究では神
戸市街地上空のハイビジョン画像を用いて、都市空
間モデルの効率化について検討を行った。図 1 に使
用したハイビジョン画像の第 1 フレームを示す。
図2
線分抽出画像
3.2.
オプティカルフロー推定
オプティカルフローの推定には従来から様々な手
法が提案されているが、本研究では精度が良好でか
つ処理が高速な Lucas-Kanade 法 3)を用いてオプテ
ィカルフローの推定を行った。Lucas-Kanade 法は
同一物体の局所領域内ではオプティカルフローが一
定になると仮定する空間的局所最適化法の 1 つであ
り、画面座標（x,y）および時刻 t における注目画素
の濃度を I（x,y）とすると、局所領域 w におけるオ
プティカルフロー（u,v）は次式で表される。さらに、
図 3 に本手法によって求められたオプティカルフロ
ーを示す。
u=
∑
w
図4
4.
ラインマッチング結果
エピポーラマッチング
ラインマッチングは上記手法によりある程度効率
∂I
∂I
⋅ [J ( p ) − I ( p )]
⋅ [J ( p) − I ( p )]
∑
w
∂y
∂x
,
v
=
2
2
∂I
∂I
∑w ∂x
∑w ∂y
的に行われたものの、モデリングのためにはさらな
(1)
る効率化が必要となる。そこで、本研究ではライン
マッチングが行われなかった第 1 フレームの各線分
の端点に対し、第 1 フレームと最終フレームとの間
ここに,
においてエピポーララインを推定し、推定したエピ
I ( p ) = I (x , y, t ) , J ( p ) = I (x, y, t + δ t )
ポーラライン上に存在する最終フレームにおける対
応点を確率的弛緩法によって探索することにより、
マッチングの補完作業を行った。以下に本手法の詳
細を示す。
4.1.
エピポーラライン推定
本研究ではエピポーララインを推定するために、
第 1 フレームおよび最終フレームを用いて共面条件
による相互標定を行った 4)。相互標定における画面
上の基準点には、マッチングが行われた 128 本の各
線分の端点 256 点を用い、標定要素(by, bz, ? , f , ? )
図3
3.3.
オプティカルフロー
ラインマッチング結果
本研究では図 1 に示したハイビジョン画像に対し、
以下の手順によりラインマッチングを行った。まず、
の算出を行った。相互標定を行った後、算出された
標定要素を用いて最終フレーム画像の再配列を行い、
エピポーララインの推定を行った。図 5 に推定した
エピポーララインおよび対応点を示す。
動画像において第 1 フレームおよび第 2 フレームの
線分抽出を行い、抽出した線分の端点の座標を求め
る。次に第 1 フレームおよび第 2 フレームからオプ
ティカルフローを推定し、第 1 フレームにおける線
分の端点の位置をオプティカルフローによって移動
させる。最後に移動させた第 1 フレームの線分と第
2 フレームの線分に対して対応づけを行う。以上の
作業を最終フレームまで繰り返し、第 1 フレームと
のマッチングを行う。
上記手法によりラインマッチングを行った結果、
第 1 フレームにおいて 268 本の線分が抽出され、そ
のうち 128 本のマッチングが正確に行われた。図 4
にラインマッチングの結果を示す。
図5
エピポーララインおよび対応点
4.2.
5.
確率的弛緩法によるマッチング
確率的弛緩法
モルフォロジーによるオブジェクトの認識
5 )は元来数値解法の手段として開発
上記手法によって画像中の線分情報に関しては効
されたアルゴリズムであり、近年画像マッチング等
率的に抽出が行われたが、3D モデリングの効率化の
の手法として写真測量や画像処理の分野においても
広く用いられるようになった。確率的弛緩法による
ためには、各線分によって構成される建造物等のオ
ブジェクトを認識する必要がある。そこで本研究で
マッチング手法の概要を以下に示す。まず、ステレ
は画像中の色情報を用いてモルフォロジー理論
オペアにおける一方の画像中の特徴点に対し、他方
より特徴域を抽出し、ラインマッチングされた線分
6)に
の画像において対応点の候補範囲を推定する。次に、 との対応付けを行うことによりオブジェクトの認識
推定した候補範囲内の全ての画素に対し、それぞれ
が対応点となり得る確率、すなわちマッチング確率
を行った。以下に本手法の詳細を示す。
特徴抽出はモルフォロジーの Opening 処理を用い
を算出する。最後に、それぞれの対応点候補に対す
て行った。Opening とは図 7(a)の領域に対して円形
るマッチングの矛盾や曖昧さ等を考慮し、繰り返し
の構造要素がはみ出さないように移動した場合、構
計算によりマッチング確率を順次更新していき、最
造要素によって覆われる部分のことを示す。その際、
終的に最もマッチング確率が高い値を示した点を対
応点とする。一般的に、確率的弛緩法おけるマッチ
構造要素と同色もしくは類似色を持つ領域はそのま
ま残るが、色の大きく違う領域は削除されるため、
ング確率はラベル確率と呼ばれており、特徴点 a に
Opening 処理後は(b)のような形状となる。図 8 に第
対する各対応点候補を ? 、各対応点候補の類似度を
1 フレーム画像に対して Opening 処理により特徴抽
S とすると、ラベル確率 Pi は次式で表される。
出を行った画像を示す。
S (λ k , a i )
Pi (λ k ) =
m −1
∑ S (λ
k ′= 1
k′
, ai )
{1 − P i (λ NIL )}
構造要素
(2)
ここに、
i = 1, 2, L, n
k = 1, 2, L , m −1
λNIL : ユーザーが設定する定数 (おおむね 0.05 ~ 0.3)
(a) Opening 処理前
図7
4.3.
(b) Opening 処理後
Opening 処理
エピポーラマッチング結果
本研究では、ラインマッチングが行われなかった
各線分の端点に沿ってエピポーララインを推定し、
推定したエピポーララインの周辺に対して確率的弛
緩法により対応点の探索を行い、ラインマッチング
の補完作業を行った。その結果、新たに 54 本の線
分に対してマッチングが行われ、合計 182 本のライ
ンマッチングが達成された。図 6 にエピポーラマッ
チング結果を示す。
図8
Opening 処理結果
さらに、本研究では各オブジェクトを構成する線
分を抽出するために、Opening 処理によって抽出し
た各特徴域に対してコーナー抽出を行い、抽出した
各コーナーに最も近い位置に存在する線分の端点を
見つけ出すことにより、各オブジェクトの輪郭部分
を構成する線分を取得し、オブジェクトの認識を行
った。
図6
エピポーラマッチング結果
6.
3D モデリング
また、モルフォロジーの Opening 処理による特徴域
本研究では上記の手法によって認識された各オブ
の抽出により、効率的にオブジェクトの認識を行う
ジェクトの 3 次元情報を効率的に取得するために、
ことができた。さらに、共面条件とバンドル調整法
第 1 フレームおよび最終フレームを用いて各オブジ
ェクトの 3 次元座標を以下に示す手法で算出した。
を組み合わせたカメラキャリブレーション手法によ
り地上基準点が不要となり、効率的にオブジェクト
まず、先述のエピポーラマッチングの際に行った共
の 3 次元情報を取得することが可能となった。以上
面条件による相互標定の結果に対し、撮影高度を用
の結果より、本手法は都市空間モデルを効率的に構
いて両方の画像に対するカメラの外部標定要素を実
築することが可能となり、写真測量のみならず GIS
際のスケールへ変換する。次に、変換した各標定要
素の値を初期値としてバンドル調整法により絶対標
や都市計画といった様々な分野への応用が期待され
る。
定を行う。これにより、地上基準点を使用せずにカ
今後はより詳細な 3 次元情報の取得による屋根形
メラキャリブレーションを行うことが可能となる
7)。
状等の把握や、より広い範囲に対するモデリングが
最後に、算出された両方の画像に対する絶対標定要
課題となる。
素を用いて、ラインマッチングされた各線分の端点
の 3 次元座標を算出する。
謝辞
以上の手法によって得られた各オブジェクトの 3
本研究において用いたハイビジョン画像は、朝日
次 元 情 報 を DXF フ ァ イ ル と し て 出 力 し 、 汎 用
航洋(株)の協力によりご提供いただいたものである。
3DCG ソフトに読み込ませることにより都市空間の
ここに記して謝意を表する。
モデルの構築を行った。図 9 に作成された 3D モデ
ルを示す。
参考文献
1) 國井洋一、近津博文：オプティカルフローによ
る建造物の自動 3D モデリングに関する研究、日
本写真測量学会平成 12 年度秋季学術講演会論文
集、pp.263-268, 2000
2) Canny, J., 1986. A Computational Approach to
Edge Detection. IEEE Transaction on Pattern
(a) 左側視点
Analysis and Machine Intelligence. Vol.PAMI8, No.6, pp.679-697.
3) Chiba, N. and Kanade, T., 1998. A Tracker for
Broken
and
Closely-Spaced
Lines.
Internationals Archives of Photogrammetry
and Remote Sensing, Vol.XXXII, Part5, pp.676681.
(b) 右側視点
図9
3D モデル
4) 解析写真測量委員会編、解析写真測量、日本写
真測量学会発行、1983
5) 高木幹雄 、下田陽久：画像解析ハンドブック、
東京大学出版会発行、pp.707-746, 1991
6) 小畑秀文：モルフォロジー、コロナ社発行、
7.
結論および今後の課題
本研究ではハイビジョン画像を用いた都市空間モ
1996
7) Chikatsu, H. and Kunii, Y., 2002. Performance
デルの効率化について検討を行った。その結果、オ
Evaluation of Recent High Resolution Amateur
プティカルフローを用いたラインマッチングに関し
Cameras and Application to Modeling of
てはエピポーラマッチングによる補完作業を加える
Historical Structure. Internationals Archives
ことにより大幅に性能が向上し、より多くの線分に
対してラインマッチングを行うことが可能となった。
of Photogrammetry and Remote
Vol.XXXIV, Part5, pp.337-341
Sensing,
© Copyright 2024 ExpyDoc
