Determining Optical Flow
はじめに
• オプティカルフローとは画像内の明るさの
パターンの動きの見かけの速さの分布
• オプティカルフローは物体の動きのよって
変化するため、オプティカルフローより速度
に関する情報を得ることができる
オプティカルフローの計算にお
ける問題点
• それぞれの点における速度場は二つの要
素を持つ（2次元）
• それぞれの点における明るさの変化は1次
元
– 明るさだけでは求めることができない
– その他の拘束の導入が必要
物体の動きとオプティカルフロー
の関係
• オプティカルフローから3次元世界における
物体の速度との対応は必ずしも明らかで
はない
– 回転する球
• 明るさの濃淡が変化しない
– 鏡面反射体
• それ自身ではなく映っている物の速度を表す
• ここでは見かけの速度を表面の動きと同
一視する
検討する問題領域
• 物体の表面は平坦
• ある点の明るさは反射率に比例
• 反射率は連続的に変化
– 明るさが微分可能
明るさの分布の変化は対応する点の変化に
よってのみ決まる
拘束（constraints）
• 微少時間で明るさは変化しない
dE
0
dt
Ｅ（ｘ，ｙ，ｔ）：点（ｘ，ｙ）、時間ｔにおける明るさ
•ここでＥ（ｘ，ｙ，ｔ）を差分で表す
E ( x , y , t ) E ( x x , y y , t t )
E
E
E
E ( x , y , t ) x
y
t
x
y
t
•δｔで割る
x E y E E
O(t ) 0
t x t y t
E x E y E
0 (limit t 0)
x t y t t
•最終的に明るさに関する拘束より以下の式を
得る
Exu Ey v Et 0
dx
dy
,v
dt
dt
E
E
E
Ex
, Ey
, Et
x
y
t
u
( Ex , Ey ) (u, v) Et
Constraint Line
v
constraint line
速度空間
(Ex,Ey)
u
Smoothness Constraint
• 近くの点は似たような速度を持つ
• ほとんどの場所において明るさの分布の
速度は連続的に変化する
拘束を表現する方法
• 速度の傾きの自乗和（下式）を最小化
u 2
x
u 2
y
and
v 2
x
v 2
y
• ラプラシアンの自乗の和（下式）の最小化
u
2
u 2
x
u 2
y
and v
– ここでは上の式を用いる
2
v 2
x
v 2
y
偏導関数の推定
• 次のような立方体の中心におけるＥｘ，Ｅｙ，
Ｅｔを考える。
明るさ空間
ｙ
ｔ
ｘ
偏導関数の推定
E x 14 {Ei , j 1,k Ei , j ,k Ei 1, j 1,k Ei 1, j ,k
i+1
Ei , j 1,k 1 Ei , j ,k 1 Ei 1, j 1,k 1 Ei 1, j ,k 1}
i
E y 14 {Ei 1, j ,k Ei , j ,k Ei 1, j 1,k Ei , j 1,k
Ei 1, j ,k 1 Ei , j ,k 1 Ei 1, j 1,k 1 Ei , j 1,k 1}
ｙ
ｔ
ｘ
j
j+1
k
k+1
Et 14 {Ei , j ,k 1 Ei , j ,k Ei 1, j ,k 1 Ei 1, j ,k
Ei , j 1,k 1 Ei , j 1,k Ei 1, j 1,k 1 Ei 1, j 1,k }
速度のラプラシアン
• 速度についてのラプラシアン（∇2u, ∇2v）は次の近
似式より求める
u (u i , j ,k ui , j ,k ) and v (vi , j ,k vi , j ,k )
2
2
• 速度の平均値ui,j,k,vi,j,kは隣接点の速度に下の重
みをかけた総和
i+1
1/12
1/6
1/12
i
1/6
-1
1/6
i-1
1/12
1/6
1/12
j+1
j
j-1
誤差の最小化
• 明るさの変化に関する拘束
b Exu Ey v Et
• Smoothness Constraint
2
c
u 2
x
u 2
y
v 2
x
v 2
y
• この二つを最小化する
εbとεc2の相対的な重みはどうするか？
誤差の最小化
• 最小化するべき誤差ε2を次式で定義
( b c )dxdy
2
2
2
2
この値を最小化するような速度u,vを求める
誤差の最小化
• 変分法とラプラシアンの近似を用いる
( Ex E y )(u u ) Ex [ Ex u E y v Et ]
2
2
2
( Ex E y )(v v) E y [ Ex u E y v Et ]
2
2
2
誤差の最小化
v
constraint line
(u,v)
(u,v)
(Ex,Ey)
u
反復計算
• 方程式をそのまま解くとコストが非常に大
きくなる
– 導関数（Ex,Ey,Et）と平均値（u,v）から下の式を
用いた反復計算により求める
u
v
n 1
n 1
n
n
n
2
n
n
n
2
u E x [ E x u E y v Et ] /( E x E y )
2
2
v E y [ E x u E y v Et ] /( E x E y )
2
2
一様（明るさが同じ）な領域の充填
• 明るさの傾き（Ex,Ey）が0のとき、速度
（un+1,vn+1）は平均値（un ,vn）と等しくなる
– 一様な領域の速度u,vは反復計算によって領域の
境界から順に充填されていく
– 反復回数は充填される領域の幅（ピクセル数）より
も多くなければならない
Iterative Scheme
• 1 time stepに1回の繰り返し計算を行う
– 単位時間に処理できる画像数が増える
– 誤差が相殺される（傾向にある）
– 1 time stepの間に安定した値が得られるまで
繰り返す方法に比べより正確で、また収束も
早い
結果１
回転（2.8度/time step）
収縮（5％/time step）
•すべての点における速度のラプラシアンが0（画像全体が回転or収縮し
ている）である物体の移動についてのオプティカルフローの計算結果
（32time step後）
•ほぼ正確な値が計算できる
結果２
回転（角速度は距離に反比例）
収縮（収縮率は距離に反比例）
•特異点（回転or収縮の中心）において速度のラプラシアンが0でない移動
についてのオプティカルフローの計算結果（32time step後）
•特異点付近で大きなエラーが起きる
結果３
回転する球
回転する球
（5度/time step, 反復計算にて計算）
（5度/time step, 正確なフロー）
•境界において速度のラプラシアンが0でない移動についてのオプティカル
フローの計算結果（32time step後）
•境界付近で大きなエラーが起きる
まとめ
• 明るさが一つの拘束しか与えないためそ
の他の拘束を導入し、二つの成分を持つ
オプティカルフローを計算する
• ノイズや量子化によって誤差が生じやすい
© Copyright 2024 ExpyDoc
