自由視点画像生成に基づく移動撮影した全方位動画像からの動物体除去 Removal of Moving Objects from Omnidirectional Video Taken by a Moving Camera Based on Novel-viewpoint Image Generation 井上直哉 1 Naoya Inoue 河合紀彦 1 Norihiko Kawai 佐藤智和 1 Tomokazu Sato 大倉史生 1 Fumio Okura 中島悠太 1 Yuta Nakashima 横矢直和 1 Naokazu Yokoya 奈良先端科学技術大学院大学情報科学研究科 1 Graduate School of Information Science, Nara Institute of Science and Technology はじめに近年, Google Street View など全方位動画像を用いたアプリケーションの普及に伴い, 画像に写り込む人などのプライバシーが問題となっている. これを解決する一手段として, 動画像中の動物体の除去が挙げられる. 従来の動物体の除去に関する研究では, 同一経路を複数回撮影する手法 [1] や動物体の背景に平面仮定をおく手法 [2] などが提案されてきた. しかし前者は撮影コストが大きく, 後者は利用環境が限定され汎用性が低い. 本稿では, 一回の移動撮影で得られた全方位動画像から自由視点画像生成技術を用いて動画像中の動物体を除去することで撮影コストの削減および背景形状に関する制約の緩和を図る手法を提案する. 1 移動撮影した全方位動画像からの動物体除去本手法では, まず一回の移動撮影で得られた全方位動画像に対して Structure from Motion と Multi-view Stereo を用いて各フレームのカメラ位置姿勢推定, および環境の三次元形状復元を行い, これらに基づいて各フレームにおいて密な全方位奥行き画像を生成する. 次に, それを用いて複数フレームの画像をある注目フレームの視点での見えに変換する. 最後に, 生成された注目フレームの視点の画像群から, グラフカットを用いたエネルギー最小化により画素ごとに適切なフレームを選択し, 画素値をコピーすることで動物体が除去された合成画像を生成する. フレーム選択に用いるエネルギー関数 E は以下のように定義する. ∑ ∑ E= E1 (fp ) + λ E2 (fp , fq ) (1) 2 p∈A (p,q)∈B ここで, fp , fq は合成画像上における画素 p および q の画素として用いるフレーム番号, A は合成画像内の画素の集合, B は合成画像内の隣り合う画素ペアの集合, λ は重みである. E1 は, 各画素で動物体でないと考えられ, かつ注目フレームに近いフレームが選択されるよう以下のように定義する. ∑ SSD(fp , gp ) (2) E1 (fp ) = ς(|fp − t|) + α g∈Gfp t は注目フレーム番号, ς(·) はシグモイド関数, α は重み, Gfp はフレーム fp と他フレーム間における画素 p を中心とする一定範囲の画素の相違度 SSD(Sum of Squared Diﬀerence) の値が下位半分のフレームの集合である. E2 (a) 注目フレーム画像 (b) 他フレーム画像例 (c) 他フレーム (b) を注目フレーム (a) での視点に変換した画像 (d) 動物体除去された合成画像図 1 入力全方位動画像例と実験結果は, 画素間の繋ぎ目が目立たないようにフレームが選択されるよう以下のように定義する. E2 (fp , fq ) = δ(fp , fq )ς(∥Ip (fp ) − Iq (fq )∥2 ) (3) ただし, δ(fp , fq ) は fp = fq のとき 0, fp ̸= fq のとき 1 となる関数である. Ip (fp ), Iq (fq ) はそれぞれフレーム fp , fq における画素 p および q の画素値ベクトル (RGB 色空間) である. 実験本実験で用いた全方位動画像例を図 1(a), (b) に示す. 注目フレームの前後 10 フレームを注目フレーム視点画像に変換し (図 1(c)), これらを用いて動物体の存在しない背景画像を生成した. 図 1(d) に示す動物体除去結果から, 人などの動物体が存在せず, また影や反射光も除かれた背景画像が生成されたことが確認できる. 今後は, 画像修復を利用し, 本手法では除去できない一時的に静止している人などの動物体も除去することを目指す. 謝辞本研究の一部は科学研究費補助金 (基盤研究 (A), No.23240024, および萌芽研究, No.25540086) による. 3 参考文献 [1] 内山他, “複数画像系列の部分画像選択に基づく移動物体を含まない車載カメラ映像の生成”, 信学論, Vol.J94-D, No.12, pp.2093-2104, 2011 [2] A. Flores and S. Belongie, “Removing pedestrians from Google Street View images”, IEEE Int. Workshop on Mobile Vision, 6 pages, 2010