青木研究室自主ゼミ 第1回(p10-)

高度情報演習1A “テーマC”
実践 画像処理プログラミング
〜画像認識とCGによる画像生成〜
第四回 演習課題
画像中からの物体抽出処理(背景情報を手がかりとして)
芝浦工業大学 工学部 情報工学科
青木 義満
2006/05/15
基本的な画像処理の流れ
画像入力
画像入出力
画像データ参照,書き換え
前処理
特徴抽出
計測・検出・分類
時系列画像処理
背景情報,色による物体抽出
ラベリング
パターンと図形の検出
パターン認識
必要に応じて処理結果を画像生成により提示!
講義内容(6回)






画像処理とは? 画像データの構成,画像の入出力演習
画像処理プログラミング基礎(フィルタの設計と実装)
カラー画像入出力,色抽出,ラベリング
連続画像処理,背景差分による物体抽出,物体特徴量計算
CGプログラミング基礎
CGによる軌跡再現,画像生成
ラベリング


領域(塊)ごとにラベル(番号)を付けて区別
白画素の連結性から,塊を判定, 番号付け
image1[y][x]
二値化したppm画像
labeling_table[y][x]
背景は0
int label_area[0]:9
exec_labeling()
QuickTimeý Dz
TIFFÅià•
èkÇ »ÇµÅj êL í£ÉvÉçÉOÉâÉÄ
ǙDZÇÃÉsÉNÉ`ÉÉǾå©ÇÈǞǽDžÇÕïKóvÇ­ Ç•
ÅB
int label_area[1]:3
label_sum : ラベル総数(この場合3)
動画像処理



時系列の連続画像が利用可能
主な目的は,動画中からの対象抽出と動きの追跡
主な手法
 背景差分法,フレーム間差分
 オプティカルフロー
 色による動物体追跡
差分画像

連続する画像間で,対応する画素間の差分を計算
 移動物体検出,カット検出
(単純な)背景差分法

手順




あらかじめ背景画像を取得
各時刻における画像と背景画像の差分をとる
2値化
ノイズ除去
移動物体存在領域のみを抽出
単純背景差分法の適用例

背景の時間的変動,画素値のゆらぎに対する対応に課題
フレーム間差分法


背景画像を用意できないケース
連続する3枚の画像間の差分を利用
フレーム間差分法の適用例
統計的背景差分法

単純背景差分法の課題
 背景が時間的に変動(屋外,樹木のゆらぎなど)

統計的背景差分法
 画素値の定常的な変動を考慮して統計的に背景と
移動物体を分離
 特に屋外(監視,ITS)での移動体検出に多く適用


統計的背景差分法(1)




背景に属する画素のクラス:ωo
移動物体に属する画素のクラス: ω1
ある画素の画素値Iの時,その画素がωoに属する確率:p(ωo | I)
ある画素の画素値Iの時,その画素がωoに属する確率: p(ω1 | I)
ベイズの定理より,
p( o ) p(I  o 
p( o I 
p(I)
p(1 ) p(I 1 
p(1 I 
p(I)
背景画像の画素値の確率密度関数
p(I  o  
q(I)
255
 q(I)
I0
移動物体の画素値の確率密度関数

※p(ωo):その画素が背景である事前確率
※p(ω1):その画素が移動物体である事前確率
サンプルを学習することで得られる
1
p(I 1 
256

統計的背景差分法(2)

画素値Iを観測
p(ωo | I) > p(ω1 | I) → 背景
 p(ωo | I) > p(ω1 | I) → 移動物体

p( o I p( o ) p(I  o 

p(1 I p(1 ) p(I 1 
p( o I p(I  o 

p(1 I p(I 1 

統計的背景差分法の適用例



750フレームの画像で背景を学習
画素毎にヒストグラム作成,各画素値の生起確率計算
統計的背景差分法適用
オプティカルフロー(1)

ブロックマッチング法
 テンプレートマッチングによる類似領域探索
 類似度評価:SAD,
SSDなど
大きな動きに対応可能
↓
探索範囲広く,処理時間大
オプティカルフロー(2)

勾配法
 微小時間間隔で対応する画素値の値が等しいと仮定
I(x, y,t)  I(x  x, y  y,t  t)
I
I
I
I(x, y,t)  I(x, y,t)  x  y  t
x
y
t

I x I y I

 0
x t y t t


Ix u  Iy v  It  0

求めたい移動ベクトル
x y 
(u,v)   , 
t t 
オプティカルフロー拘束式

注目画素近傍での動きが滑らかと仮定
注目画素と近傍画素で同一のフローとする
 複数の拘束式

最小二乗法により(u, v)を推定

特徴
局所演算 → 高速処理
 微小な移動量を前提 → 大きな動きへの対応が困難

オプティカルフローによる移動体検出例
オプティカルフロー抽出の結果(動画)

Stanford Univ.の研究グループの動画
QuickTimeý Dz
ÉVÉlÉpÉbÉN êLí£ÉvÉçÉOÉâÉÄ
ǙDZÇÃÉsÉNÉ`ÉÉǾå©ÇÈÇ žÇ½Ç …ÇÕïKóvÇ­Ç•
ÅB
オプティカルフローによるカメラのモーション推定