自動映像生成のためのパーティクルフィルタによるボールの追跡 2007年3月21日神戸大学大学院自然科学研究科矢野一樹１．はじめに  研究背景近年の放送技術の発達チャンネル数の増加によるコンテンツの増大コスト問題の発生（管理、編集等）映像自動生成技術への要望 2 １．はじめに  研究背景映像自動生成技術ディジタルカメラワークを用いたスポーツ映像の自動撮影 [PRMU2005:有木、窪田] 自動で行うためには、ボールの情報が不可欠ボールの高い検出、追跡技術が必要！本稿では、サッカーの試合のボールの追跡について考える従来の映像今回の映像・複数カメラ・視点移動・単一・視点固定 3 ２．正規化相互相関法代表的な物体追跡手法テンプレートマッチングによる追跡・探索領域内Ｉ(x,y)に対してテンプレート画像T(i,j)との相関値を求める・相関値の最も高い領域が対象物体領域以下の式によって相関値を求める R(x, y)   {T (i, j)T}{I (xi, y j)I}  {T (i, j)T}   {I (xi, y  j)I} i, j 2 i, j 2 i, j 4 ２．正規化相互相関法 ●評価法・元画像、テンプレート画像を色空間 R, G, Bの色画像に分解・それぞれに対して正規化相互相関法を適用・各色画像における評価値の積を結果の値 V とする V = R×G×B ( V ≦ 1 ) ●テンプレートマッチングによる全画面探索の欠点・ノイズ、オクルージョンが多い場合・テンプレートの特徴が乏しい場合特にサッカーボールの追跡にはこれらの問題点が多い 5 ３．パーティクルフィルタパーティクルフィルタの特色粒子（particle）：状態量と尤度を持つ多数の粒子によって確率分布を離散的に近似 [1998:Isard,Blake] 非線形な動きに対しても有効確率を用いるので一時的なオクルージョンにも強いパーティクルフィルタによる単眼動画像からのサッカーボール3次元軌道推定 [FIT2006:三須,高橋] 6 ３．パーティクルフィルタ  パーティクルフィルタのアルゴリズム１．画面内に予測に基づく粒子が与えられる２．各粒子の尤度を求める３．尤度に応じて各粒子を処理する a.尤度の低い粒子:破棄してリサンプリング b.尤度の高い粒子:状態遷移４.次のフレームの処理に移り、１に戻る粒子の分布の様子 7 ３．パーティクルフィルタ粒子の誤認識を減らすために、背景か動物体かの識別が必要  ボール識別のアルゴリズム１．粒子の座標を中心として元画像から画像を切り出す２．粒子の座標を中心として背景画像から画像を切り出す３．原画像と背景画像の切り出し画像の差分を取る４．差分結果を二値化 5．その結果、白くなった領域が動物体・中心（粒子）の座標が白⇒尤度を評価・中心（粒子）の座標が黒⇒尤度を０にする原画像 → 背景画像 → 差分後、二値化背景画像：あらかじめ一定時間ごとに連続するフレームを平均してもとめておく 8 ４．実験と考察サッカーの試合の映像 1280×720画素、２４ビット、カラー映像時間：750フレーム  ※初期座標は手動で与えた追跡例例１従来手法（正規化相互相関法）例２提案手法  9 ４．実験と考察従来手法：ライン、ポール、選手への誤認識提案手法：探索範囲の絞り込み、動物体のみの検出手法失敗回数／100フレーム正規化相互相関法（従来手法） 38.89 パーティクルフィルタ（提案手法） 0.26 追跡の軌跡図 10 ５．おわりに  従来法と比較して有効性を確認  精度向上のための今後の課題・特徴量、尤度判定法の検討・パラメータの調節・追跡失敗例 11 補足  各種パラーメターについて粒子数：５０切り取り領域について：一辺30ピクセルの正方領域リサンプリング判定の閾値：0.3 二値化の閾値：（黒０、白２５５として） 100 テンプレート：15×15ピクセル 12 補足  粒子の処理について１．粒子の座標を中心として、元画像を適当な大きさで切り取る２．切り取った画像の中でテンプレートマッチングを行う３．粒子の座標をテンプレートマッチングの結果の座標に更新する４．テンプレートマッチングの結果が動物体かどうかを識別する５．識別の結果に応じて粒子の尤度を更新する 13 補足  その他の処理について・基準粒子の尤度が閾値に満たない場合はボールの位置を更新しない・粒子はフィールド外へ配置しないように処理している 14