Document

再帰型幾何学的フロー近似法と
その湾曲Wavelet変換動画像圧縮
への応用
2006年 2月13日
修士論文発表会
廣田研究室
04M35433 沼野祥久
1 / 25
背景
原画像中の幾何学的情報を
利用した画像変換
(湾曲Wavelet変換 [2001 Pennec, Mallat] )
幾何学的情報に合わせて基底を調整
⇒ 画像圧縮, ノイズ除去に効果的
2 / 25
Wavelet変換
輪郭無し
⇒ Wavelet変換
輪郭有り ⇒
湾曲Wavelet変
換
湾曲Wavelet変換
[2001 Pennec,Mallat]
3 / 25
背景
原画像中の幾何学的情報を
利用した画像変換
(湾曲Wavelet変換 [2001 Pennec, Mallat] )
幾何学的情報に合わせて基底を調整
⇒ 画像圧縮, ノイズ除去に効果的
 幾何学的情報を捉える際の
計算機への負担「大」
4 / 25
研究の目的
Wavelet変換の枠組みを利用する
再帰型幾何学的フロー近似法の提案
提案手法を用いた湾曲Wavelet変換による
動画像圧縮への応用
5 / 25
幾何学的フローの例
輪郭と平行なフロー
① 垂直方向に平行
垂直的に
平行なフロー
② 水平方向に平行
水平的に
平行なフロー
6 / 25
従来:分散型幾何学的フロー近似法
原画像
小格子分割
フロー有無判定フロー無
(画素値分散)
Wavelet変換
フロー有
フロー方向計算
(画素列間差分)
フロー種類選定
(差分値比較)
垂直的に
平行
湾曲Wavelet変換
（垂直的に
平行なフロー）
湾曲Wavelet変換
（水平的に
平行なフロー）
水平的に平行
7 / 25
•緑：垂直的に平行なフロー
従来手法での計算例
•橙：水平的に平行なフロー
原画像
分散型幾何学的フロー
近似法の例
8 / 25
提案:再帰型幾何学的フロー近似法
原画像
Wavelet
変換
係数を
小格子分割
フロー無
フロー有無判定
(しきい値処理)
フロー有
フロー種類選定
(係数値比較)
垂直的に
平行
水平的に平行
Wavelet変換
係数を保持
(垂直的に平行なフロー)
フロー方向計算
(係数絶対値)
（垂直的に平行なフロー）
湾曲Wavelet変換
(水平的に平行なフロー)
フロー方向計算
(係数絶対値)
（水平的に平行なフロー）
湾曲Wavelet変換
9 / 25
提案：再帰型幾何学的フロー近似法
1. 係数値へのしきい値処理による
幾何学的フローの有無判定
全ての
係数の絶対値 ≧ しきい値
係数の絶対値＜しきい値
幾何学的フロー有り
幾何学的フロー無し
①：水平成分
（水平方向
輪郭⇒大）
②：垂直成分
（垂直方向
輪郭⇒大）
10 / 25
提案：再帰型幾何学的フロー近似法
2. 水平&垂直成分の係数値総和の比較による
幾何学的フローの種類判定
①＞②
⇒ 垂直的に
平行なフロー
①：
水平成分
②：
垂直成分
①≦②
⇒ 水平的に
平行なフロー
11 / 25
提案：再帰型幾何学的フロー近似法
3. 係数絶対値を用いて輪郭の位置を捉える
幾何学的フローの方向計算
垂直的に平行なフローの場合
（水平成分のみ使用）
画素列毎に
係数絶対値の
最大値位置取得
各位置間の
傾きを計算
⇒ フローの方向
12 / 25
提案：再帰型幾何学的フロー近似法
3. 係数絶対値を用いて輪郭の位置を捉える
幾何学的フローの方向計算
水平的に平行なフローの場合
（垂直成分のみ使用）
画素列毎に
係数絶対値の
最大値位置取得
各位置間の
傾きを計算
⇒ フローの方向
13 / 25
•緑：垂直的に平行なフロー
提案手法での計算例
•橙：水平的に平行なフロー
Wavelet変換係数画像
再帰型幾何学的フロー
近似法の例
14 / 25
従来手法と提案手法の比較
従来手法
有無
判定
種類
選定
方向
計算
計算量比較
提案手法
画素値分散
|係数値|
＞
「乗算」
（四則演算なし）
画素列間差分値原理的には係数値（既知）
＝
計算負荷
（既知）の比較
の比較
軽減可能
画素列間差分
|係数値|
「乗算」
（四則演算なし）
＞
×2種類分
×1種類分
15 / 25
動画像圧縮･再構成実験
標準動画像データベースより10個を選定
↑の差分動画像(5フレーム毎)を作成
従来手法を用いた湾曲Wavelet変換
提案手法を用いた湾曲Wavelet変換
による動画像圧縮･再構成実験
① 計算時間の比較
② 画像品質の比較
16 / 25
使用動画像の例
背景が固定
背景も移動
alex
352×288
108フレーム
sflowg
352×240
150フレーム
17 / 25
① 計算時間の比較
PC (PentiumM, 1.6GHz)上にVC++で
湾曲Wavelet変換を実装
圧縮率：100% (完全再構成)
提案手法による計算負荷の軽減を確認
18 / 25
①:実験結果
背景が固定
(平均:3.18倍)
160
140
提案手法
計算速度が
平均：4.44倍
従来手法
80
60
40
20
stennis
sflowg
man2
diskus
mom
mom_
daughter
grand
mom
alex
claire
0
man1
計算時間 [s]
120
100
背景も移動
(平均:6.34倍)
19 / 25
② 画像品質の比較
圧縮率：0%～100%
平均二乗誤差で比較
提案手法「低解像度：Wavelet係数」
≓
従来手法「原画像」
を確認
20 / 25
②:実験結果の例（背景固定）
平均二乗誤差
120
100
80
従来手法
提案手法
60
40
20
0
0
20
40
60
圧縮率[%]
80
動画像「man1」
キーフレーム
100
平均二乗誤差
120
100
80
従来手法
提案手法
60
40
20
0
0
20
40
60
圧縮率[%]
80
動画像「man1」
差分フレーム
100
21 / 25
平均二乗誤差
②:実験結果の例（背景移動）
160
140
120
100
80
60
40
20
0
従来手法
提案手法
平均二乗誤差
0
20
40
60
圧縮率[%]
80
100
160
140
120
100
80
60
40
20
0
従来手法
提案手法
0
20
40
60
圧縮率[%]
80
動画像「sflowg」
キーフレーム
動画像「sflowg」
差分フレーム
100
22 / 25
②:再構成動画像の例（背景移動）
提案手法：10%
提案手法：20%
提案手法：60%
従来手法：10%
従来手法：20%
従来手法：60%
23 / 25
まとめ
計算負荷軽減のため
Wavelet変換の枠組みを利用した
再帰型幾何学的フロー近似法を提案
湾曲Wavelet変換による動画像圧縮・再構成
へ応用
⇒ 同程度の画像品質性能＆
計算速度が4.44倍に向上
24 / 25
将来展望
計算速度の向上
⇒ 実用化を視野に入れた湾曲Wavelet変換
による画像圧縮・ノイズ除去への応用
幾何学的情報の取得
⇒ 視覚モデル構築のための基礎への応用
25 / 25
終
背景
原画像中の幾何学的情報を利用した
画像変換
(湾曲Wavelet変換 [2001 Pennec, Mallat] )
幾何学的情報に合わせて基底を調整
⇒ 画像圧縮, ノイズ除去に効果的
幾何学的情報を捉える際の
計算機への負担「大」
28 / 25
幾何学的フローの例
輪郭と平行
① 垂直方向にフローが平行に存在
② 水平方向にフローが平行に存在
①：垂直的に
平行なフロー
②：水平的に
平行なフロー
29 / 25
湾曲Wavelet変換
幾何学的フロー無し
[2001 Pennec,Mallat]
⇒ Wavelet変換
幾何学的フロー有り
⇒ 湾曲Wavelet変換
30 / 25
従来:分散型幾何学的フロー近似法
1. 画素値分散による幾何学的フローの
有無判定
画素値分散
画素値分散＜
≧ 閾値
閾値
幾何学的フロー有り
幾何学的フロー無し
31 / 25
従来:分散型幾何学的フロー近似法
2. 画素列間差分の最小化に基づく垂直的に平行な
フローの方向計算の例
幾何学的フローの方向計算
2-1. 垂直的に平行なフロー
2-2. 水平的に平行なフロー
(
－
2
)
3. 画素列間差分値の比較による
幾何学的フローの種類選定
32 / 25
提案：再帰型幾何学的フロー近似法
1.
原画像をWavelet変換
Wavelet変換係数を小格子分割
33 / 25
提案：再帰型幾何学的フロー近似法
3. 列(or行)ごとに係数値の絶対値による
フローの方向計算
垂直的に
平行なフロー
方向計算
湾曲
置換
Wavelet
変換
水平的に
平行なフロー方向計算
湾曲
Wavelet
置換
変換
34 / 25
•緑：垂直的に平行なフロー
提案手法での計算例
•橙：水平的に平行なフロー
分散型幾何学的フロー
Wavelet変換係数画像
近似法の例
再帰型幾何学的フロー
近似法の例
35 / 25
従来手法と提案手法の比較
従来手法
画素値分散
有無判定
+しきい値処理
画素列間差分値
種類選定
比較
(画素列間差分
方向計算 +差分最小値検索)
×2種類分
演算量比較
提案手法
＞
|係数値|
+しきい値処理
≒
係数値比較
＞
|係数値|
+最大値検索
36 / 25
使用動画像の例
背景が固定
背景も移動
alex
352×288
108フレーム
sflowg
352×240
150フレーム
37 / 25
差分フレームの例
キーフレーム
差分フレーム
38 / 25
保存する情報
格子の大きさ
フローの有無
– フローの種類
– フローの方向×格子の幅
フロー無し
フロー有り
0.26% (画素値情報との比較)
4.2%
39 / 25
①の実験結果
提案法[s] 従来法[s] 時間比 [%]
10
36
man1
27.8
17
45
claire
37.8
13
35
alex
37.1
13
45
grandmom
28.9
14
46
mom_daughter
30.4
13
44
mom
29.5
14
65
diskus
21.5
9
50
man2
18.0
sflowg
stennis
15
14
145
77
10.3
18.2
背景が固定
平均で
23.8%
に短縮
背景も移動
40 / 25
② 画像品質の比較
120
100
平均二乗誤差
80
従来手法
提案手法
60
40
20
0
0
10
20
30
40
50
圧縮率[%]
60
70
80
90
100
41 / 25
② 画像品質の比較
120
100
平均二乗誤差
80
従来手法
提案手法
60
40
20
0
0
10
20
30
40
50
60
70
80
90
100
圧縮率[%]
42 / 25
② 画像品質の比較
180
160
平均二乗誤差
140
120
100
従来手法
提案手法
80
60
40
20
0
0
10
20
30
40
50
圧縮率[%]
60
70
80
90
100
43 / 25
② 画像品質の比較
180
160
平均二乗誤差
140
120
100
従来手法
提案手法
80
60
40
20
0
0
10
20
30
40
50
圧縮率[%]
60
70
80
90
100
44 / 25
②の実験結果（背景移動）
提案手法：10%
提案手法：20%
提案手法：60%
従来手法：10%
従来手法：20%
従来手法：60%
ムービーがあると嬉しい45 / 25

Download Report