Summarizing Visual Data Using Bidirectional Similarity D.Simakov Y.Caspi E.Shechtman M.Irani CVPR2008 概要 • 視覚データ（画像や映像）を小さなサイズへ要約 画像の要約 • 「良い要約」には2つの条件がある 1. 入力データからできるだけ多くの視覚情報を含む (完全 性) 2. 入力データにはノイズができるだけ少ない (一貫性) Bidirectional similarity measure(双方向類似度) • 双方向類似度の最適化問題 - 最適化問題を解くことによってデータの要約が可能 双方向類似度（相違度） • 2つのデータ間の双方向類似度（相違度）の算出 Source (S) Target (T) S内のパッチ : P S内のパッチ数 : NS T内のパッチ : Q T内のパッチ数 : NT S内のパッチPとT内のパッチQがどれだけ似ているのか 完全性 双方向類似度（相違度） • 2つのデータ間の双方向類似度（相違度）の算出 Source (S) Target (T) S内のパッチ : P S内のパッチ数 : NS T内のパッチ : Q T内のパッチ数 : NT T内のパッチQとS内のパッチPがどれだけ似ているのか 一貫性 双方向類似度（相違度） • 距離Dの算出方法はいくつかある - SSD(Sum of Squared Distance)を用いる - CIE-L*a*b*を用いてパッチのサイズで正規化をする • 用途によって重みをつける • ガウシアンピラミッドを利用 - マルチスケールで類似度を算出 完全性と一貫性 • 完全性や一貫性は単独では意味がない 要約アルゴリズム • d(S, T)を最適化する→d(S, T)を最小化 • 出力Tのピクセルの色をどうやって更新するのか Source (S) Target (T) 更新ルール • d(S, T)への各ピクセルの色の寄与を考える 相違度d(S, T)へのピクセルq⊂Tの色の寄与: この式を最小とする出力画素T(q)を算出する データのリサイズ時の問題 • 元データと目標データの差が大きい - 元データのアピアランスが大きく異なる - 元データの大部分がなくなってしまう Source (S) Target (T) ？ 段階的なリサイズ処理 画像の要約 • 段階的リサイズによる要約 - T0〜T5までは元画像の情報を多く含んでいる - T6〜T8では元画像の情報が失われている 相違度d(S, T)はT6から急激に変化 相違度d(S, T)よりリサイズ処理の最適値を算出可能 画像の要約 • 画像中の冗長なパターンを利用 - パターンを利用しないと歪んでしまう 双方向類似度を利用したアプリーション • 画像の合成 • オブジェクトの入れ替え 双方向類似度を利用したアプリケーション • ビデオの要約 • 自動トリミング 双方向類似度を利用したアプリケーション • コンテキストを用いた要約 - 画像中の重要な箇所に重みを導入 - オブジェクトの削除も可能 おわりに • 双方向類似度を用いた画像の要約 - 入力データからの完全性と一貫性を保持した要約 - 様々なアプリケーションへの展開が可能 - 画像だけでなく映像の要約も可能
© Copyright 2024 ExpyDoc
