パノラマ合成長岡技術科学大学オープンハウステーマ：ロボット実践コース③－映像信号処理－研修期間 2009年8月17日～21日富山商船高等専門学校情報工学科４年富田大志目的・MATLABを用いてパノラマ写真を作る。・パノラマ合成が失敗する場合の原因と、それに対する対策を考える。・パノラマ合成の技術を用いてどんなことができるのか考察する。パノラマ合成の手法 ①パノラマ合成する画像（もしくは動画）を取り込む ②グレースケール変換 ③縦方向、横方向の輝度の総和を用いて移動量を調べる ④判明した移動量の分だけ画像をずらして貼り付け以上のことを繰り返すとパノラマ写真ができる移動量の測定 1 右の図は、横方向の移動量を測定するために縦に輝度の総和をとっている。移動量の測定 2 ２つの画像の輝度の総和の比較をする。画像を水平方向（もしくは垂直方向）にずらしていき、差の２乗の総和がもっとも小さくなる値を移動量とする。比較合成結果元画像求めた移動量から２枚の画像を合成した。失敗例車上から撮影した動画から合成した結果理想実際カメラカメラ画像の真ん中の部分だけを使用すれば解決？失敗原因 100フレーム目 105フレーム目後ろにある校舎はほとんど動いていないのに前方にある車は大きく動いている。パノラマ合成に対する考察・輝度の総和を用いてパノラマ合成をしているので、画像に特徴となる点がなく、似たような光景が続く場合、きれいにパノラマ合成できないのではないか。・直前の画像からの移動量が大きすぎると合成が失敗するのではないか。・明るさが急激に変わるような場合は合成ができないのではないか。検証1 似たような光景が連続する動画を、今回作成したプログラムを用いてパノラマ合成した。動画検証結果合成に失敗した。動画のどの場面においても輝度の総和が同じような値となるため、貼り付け位置が定まらなかったのではないかと考えられる。検証結果その２手法を変えてPOCという手法でパノラマ合成した結果、合成はうまくいった。手法を変えればうまくいく場合があるということがわかった。検証2 直前の画像からの移動量が大きすぎると失敗するのではないかということを検証するため、３枚の画像を用いるところを2枚の画像でパノラマ合成をした。この画像を飛ばす検証結果 3枚使って合成した結果中間を飛ばして合成した結果今回、画像の横幅（もしくは縦幅）の4分の3以上の距離を移動した場合は比較回数が減り、計算結果の信頼性が低くなると考えたため、その場合の計算結果を貼り付け位置の計算に用いなかった。よって4分の3以上の移動量となる場合、合成に失敗する。今回失敗したのはそのせいであると考えられる。検証2 その２動画のフレーム読み込み間隔を大きくすることによって移動量を大きくし、パノラマ合成をして検証する。動画検証結果フレーム読み込み間隔「1」の場合フレーム読み込み間隔「70」の場合検証3 明るさが急に変わるような場合、合成に失敗するのではないか、ということを検証するために合成する画像の片方の輝度を変えて合成した。使用する元画像検証結果その１片方の輝度を2倍したとき片方の輝度を2分の1にしたとき検証結果その2 片方の輝度を1.5倍したとき他の画像で1.5倍を試したとき「○○倍までなら大丈夫」とは一概には言えない失敗しないようにする対策検証１から合成する画像が変化に乏しく、特徴量が少ないと、移動量の推定がうまくいかないため、なるべく変化に富んだ画像を用いる。変化に乏しく、失敗しやすい変化に富んでいる失敗しないようにする対策引き続き検証１から同じような光景が続くような画像ではこの手法ではパノラマ合成が失敗しやすい。例縦方向の輝度横方向の輝度 1枚目 2枚目失敗しないようにする対策引き続き検証１からある手法で失敗した場合は別の手法を用いて合成してみる。いくつかの手法を試してみることが必要である。手法を変えると・・・失敗しないようにする対策検証２から合成しようとしている画像間の移動量が大きすぎる場合、合成に失敗するので、撮影するときはカメラを動かし過ぎないようにする。また、動画の場合はフレーム読み込み間隔をなるべく小さな値にする。少しずつ動かす失敗しないようにする対策検証３から合成しようとする画像にもよるが、２つの画像で明るさが違いすぎると合成に失敗するので、なるべく明るさを均一にして撮影、合成する。 1枚目 2枚目パノラマ合成の応用パノラマ合成の技術を用いて実現できそうなもの・人の目線での地図の作成・体内の消化器官の立体図の作成・常時360°監視システムまとめ今回用いたパノラマ合成の手法には、うまく合成するためにさまざまな制約があり、きれいなパノラマ写真を合成するには、それらに対する対策をとらなければならないということがわかった。感想屋外で撮影した360°のパノラマ合成がうまくいって感動した。今後機会があれば、その他のパノラマ合成の手法についても調べてみたいと思う。