高度情報演習1A “テーマＣ” 実践画像処理プログラミング〜画像認識とＣＧによる画像生成〜第四回演習課題画像中からの物体抽出処理（背景情報を手がかりとして）芝浦工業大学工学部情報工学科青木義満 2006/05/15 基本的な画像処理の流れ画像入力画像入出力画像データ参照，書き換え前処理特徴抽出計測・検出・分類時系列画像処理背景情報，色による物体抽出ラベリングパターンと図形の検出パターン認識必要に応じて処理結果を画像生成により提示！講義内容（6回）       画像処理とは？画像データの構成，画像の入出力演習画像処理プログラミング基礎（フィルタの設計と実装）カラー画像入出力，色抽出，ラベリング連続画像処理，背景差分による物体抽出，物体特徴量計算 CGプログラミング基礎ＣＧによる軌跡再現，画像生成ラベリング   領域（塊）ごとにラベル（番号）を付けて区別白画素の連結性から，塊を判定, 番号付け image1[y][x] 二値化したppm画像 labeling_table[y][x] 背景は０ int label_area[0]：９ exec_labeling() QuickTimeý Ç² TIFFÅià• èkÇ »ÇµÅj êL í£ÉvÉçÉOÉâÉÄ Ç™Ç±ÇÃÉsÉNÉ`ÉÉÇ¾å©ÇÈÇžÇ½Ç…ÇÕïKóvÇ Ç• ÅB int label_area[1]：3 label_sum : ラベル総数（この場合３）動画像処理    時系列の連続画像が利用可能主な目的は，動画中からの対象抽出と動きの追跡主な手法  背景差分法，フレーム間差分  オプティカルフロー  色による動物体追跡差分画像  連続する画像間で，対応する画素間の差分を計算  移動物体検出，カット検出（単純な）背景差分法  手順     あらかじめ背景画像を取得各時刻における画像と背景画像の差分をとる２値化ノイズ除去移動物体存在領域のみを抽出単純背景差分法の適用例  背景の時間的変動，画素値のゆらぎに対する対応に課題フレーム間差分法   背景画像を用意できないケース連続する３枚の画像間の差分を利用フレーム間差分法の適用例統計的背景差分法  単純背景差分法の課題  背景が時間的に変動（屋外，樹木のゆらぎなど）  統計的背景差分法  画素値の定常的な変動を考慮して統計的に背景と移動物体を分離  特に屋外（監視，ＩＴＳ）での移動体検出に多く適用   統計的背景差分法（１）     背景に属する画素のクラス：ωo 移動物体に属する画素のクラス： ω1 ある画素の画素値Iの時，その画素がωoに属する確率：p(ωo | I) ある画素の画素値Iの時，その画素がωoに属する確率： p(ω1 | I) ベイズの定理より， p( o ) p(I  o  p( o I  p(I) p(1 ) p(I 1  p(1 I  p(I) 背景画像の画素値の確率密度関数 p(I  o   q(I) 255  q(I) I0 移動物体の画素値の確率密度関数  ※p(ωo):その画素が背景である事前確率 ※p(ω1):その画素が移動物体である事前確率サンプルを学習することで得られる 1 p(I 1  256  統計的背景差分法（２）  画素値Iを観測 p(ωo | I) ＞ p(ω1 | I) → 背景  p(ωo | I) ＞ p(ω1 | I) → 移動物体  p( o I p( o ) p(I  o   p(1 I p(1 ) p(I 1  p( o I p(I  o   p(1 I p(I 1   統計的背景差分法の適用例    750フレームの画像で背景を学習画素毎にヒストグラム作成，各画素値の生起確率計算統計的背景差分法適用オプティカルフロー（１）  ブロックマッチング法  テンプレートマッチングによる類似領域探索  類似度評価：SAD, SSDなど大きな動きに対応可能 ↓ 探索範囲広く，処理時間大オプティカルフロー（２）  勾配法  微小時間間隔で対応する画素値の値が等しいと仮定 I(x, y,t)  I(x  x, y  y,t  t) I I I I(x, y,t)  I(x, y,t)  x  y  t x y t  I x I y I   0 x t y t t   Ix u  Iy v  It  0  求めたい移動ベクトル x y  (u,v)   ,  t t  オプティカルフロー拘束式  注目画素近傍での動きが滑らかと仮定注目画素と近傍画素で同一のフローとする  複数の拘束式  最小二乗法により（u, v）を推定  特徴局所演算 → 高速処理  微小な移動量を前提 → 大きな動きへの対応が困難  オプティカルフローによる移動体検出例オプティカルフロー抽出の結果（動画）  Stanford Univ.の研究グループの動画 QuickTimeý Ç² ÉVÉlÉpÉbÉN êLí£ÉvÉçÉOÉâÉÄ Ç™Ç±ÇÃÉsÉNÉ`ÉÉÇ¾å©ÇÈÇ žÇ½Ç …ÇÕïKóvÇÇ• ÅB オプティカルフローによるカメラのモーション推定