劣化 JPEG 画像の鮮明化及び 劣化パラ メ ータ の推定に 関する 研究
門野浩二
京都工芸繊維大学大学院
平成 26(2014) 年 3 月 25 日
劣化 JPEG 画像の鮮明化及び 劣化パラ メ ータ の推定に関する 研究
門野浩二
概要
現代社会に おいて ， 犯罪の多様化や凶悪化が大き な 問題と な っ て いる . 警察
白書に よ る と ， 我が国の刑法犯の認知件数は， 平成 8 年から 平成 14 年に かけ
て 戦後最多の記録を 更新し 続け ， 平成 14 年に は約 285 万件を 突破し た . そ の
後， 平成 15 年から は減少に 転じ ， 平成 24 年に は 138 万件ま で減少し たが， 依
然と し て 高い水準に ある こ と は変わり な く ， 厳し い治安情勢が続いて いる .
こ う し た中， 社会全体の防犯意識の高ま り を 背景に ， 全国的に 防犯カ メ ラ の
設置台数が急速に 増加し て いる . 警視庁は， 繁華街を 中心と し た 防犯対策の一
環と し て ， 街頭防犯カ メ ラ シス テム を 導入し ， 防犯カ メ ラ を 利用し たシス テム
の運用に よ り ， 犯罪の抑制に 効果を あ げて いる . ま た ， 防犯カ メ ラ を 導入する
企業が増加し て いる ほか， 自治体主導に よ る 普及活動も 進んでいる . そ の結果，
防犯カ メ ラ に 犯人や犯行車両な ど が撮影さ れる ケ ース が増え ， 現在， 防犯カ メ
ラ は犯罪捜査に 欠かせな い重要な 役割を 果たし て いる ．
し かし ， 街頭に 設置さ れて いる 防犯カ メ ラ は， 画質が十分でな い上に ， 撮影
時や保存時に 画質劣化を 受け る た め， 画像が不鮮明に な る こ と が多い . 撮影時
に 起こ る 画質劣化と し て ， カ メ ラ レ ン ズのピ ン ト 外れに よ る 焦点ずれ劣化や，
カ メ ラ と 被写体と の相対的な 運動に よ る 運動劣化が挙げら れる . 焦点ずれ劣化
は， 画素 (点) がピ ン ト 外れに よ っ て 円に 拡がる 劣化であ り ， 運動劣化は， 画
素 (点) が相対運動に よ っ て 線に 延びる 劣化であ る . ま た ， 防犯カ メ ラ 機器は，
ビデオテ ープ等に 録画する ア ナロ グ形式から ， CCD カ メ ラ で撮影し て ハード
ディ ス ク に 録画する デジタ ル形式へと 移行し て き て おり ， 現在では， イ ン タ ー
ネ ッ ト を 経由し て ， 遠隔地のコ ン ピ ュ ータ に 画像を 記録する 形式のも のが増え
て いる . デジタ ル画像は， データ を 圧縮する こ と で容量を 小さ く し ， データ 伝
送が迅速に 行え る 利点があ る 反面， 圧縮に よ り 画質劣化が生じ て し ま う . 代表
的な 静止画圧縮技術と し て JPEG 圧縮が広く 定着し て いる が， JPEG 圧縮は
非可逆圧縮技術で あ り ， 高周波の細かい成分を 落と し ， ブ ロ ッ ク 状のノ イ ズ
が発生する . ま た フ レ ーム ご と に JPEG 圧縮を 行い， 連続し て 記録する 動画
圧縮技術 MotionJPEG も 広く 普及し て お り ， MotionJPEG 圧縮に つ いて も
JPEG 圧縮と 同様の画質劣化を 受け る .
こ れま で， 画像の鮮明化に 関する 研究は多く 行われて き たが， 焦点ずれ劣化
i
や運動劣化な ど の空間的な 画質劣化と ， JPEG 圧縮に よ る 画質劣化を 同時に
受け た 劣化 JPEG 画像の鮮明化に ついて は， 殆ど 研究がな さ れて こ な かっ た .
ただし ， 実際の防犯カ メ ラ では， 空間的な 劣化と 圧縮に よ る 劣化が複合的に 起
こ っ た画像が録画さ れる ケ ース が殆ど である こ と から ， 複合的劣化に 対する 鮮
明化手法が必要と な る ． そ こ で， 本研究では， 焦点ずれ劣化や運動劣化と いっ
た 空間的な 劣化と ， JPEG 圧縮に よ る 劣化を 複合的に 受け た 劣化 JPEG 画像
に 対し て 鮮明化処理を 行い， 犯罪捜査に 役立つ 画像情報を 得る こ と を 目的と
する ．
ま た， 良好な 鮮明化画像を 得る ために は， 鮮明化処理の際に 劣化パラ メ ータ
を 適切に 推定する 必要があり ， 焦点ずれ劣化の半径や， 運動劣化の長さ と 方向
(角度) を 精度良く 推定でき る かが鮮明化の鍵と な る .
第 1 章では， 一般的な 確率画像モデルに ついて 述べ， 従来の劣化画像復元法
及び劣化パラ メ ータ 推定法の概略を 示す . ま た， JPEG 符号化・ 復号化に つい
て 述べ， 空間的劣化と JPEG 符号化・ 復号化に よ る 複合的な 劣化を 受け た 劣
化 JPEG 画像に 対し て ， 従来の劣化画像復元法を 適用し た 場合， ブ ロ ッ ク ノ
イ ズやモス キ ート ノ イ ズを 増強さ せて し ま い， 良好な 鮮明化画像が得ら れな い
こ と を 示す．
第 2 章では， 空間的な 劣化と JPEG 符号化・ 復号化に よ る 複合的な 劣化過
程を 仮定し ， 劣化 JPEG 画像に 対する 鮮明化手法を 提案する . 劣化 JPEG 画
像の画像観測過程を ， 空間的な 劣化と ， ブロ ッ ク 離散コ サイ ン 変換領域での量
子化ノ イ ズと に よ り モデル化し ， 鮮明化画像の評価規準を 適用する ． そ れに 共
役勾配法を 用いる こ と に よ り 反復的な 鮮明化処理法を 提案する . 提案する 鮮明
化の評価規準は， 原画像に 対し て エッ ジの位置及び方向性， 原画像の局所的な
分散， およ びブロ ッ ク 離散コ サイ ン 変換領域での量子化ノ イ ズの分散を 考慮し
て いる 点に 特徴がある .
第 3 章で は， カ メ ラ レ ン ズ のピ ン ト 外れに よ っ て 生じ る 焦点ずれ劣化と ，
JPEG 符号化・ 復号化に よ る 複合的な 劣化を 受け た 焦点ずれ劣化 JPEG 画像
に 対し ， 第 2 章で提案し た鮮明化手法を 適用し た鮮明化実験に ついて 述べ， 本
手法の有効性を 確認する ．
第 4 章では， カ メ ラ レ ン ズと 被写体と の相対運動に よ っ て 引き 起こ さ れる 運
動劣化と ， JPEG 符号化・ 復号化に よ る 複合的な 劣化を 受け た運動劣化 JPEG
画像に 対し ， 第 2 章で 提案し た 鮮明化手法を 適用し た 鮮明化実験に つ いて 述
べ， 本手法の有効性を 確認する ．
第 5 章では， 劣化 JPEG 画像に 対し ， 鮮明化処理時に 用いる 劣化パラ メ ータ
を 変化さ せな がら 複数の鮮明化画像を 生成し ， 得ら れた複数の鮮明化画像の中
ii
から ， 評価規準に 基づいて 最良の鮮明化画像を 選択する こ と に よ り ， 間接的に
劣化パラ メ ータ を 推定する 手法に ついて 述べる ． ま た， 提案手法を 劣化 JPEG
画像に 適用し ， 本手法の有効性を 確認する .
iii
目次
第1章
緒言
1
1.1
研究の目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.2
画像の確率モデル
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
1.3
従来の劣化画像の復元 . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
1.4
従来の劣化パラ メ ータ 推定 . . . . . . . . . . . . . . . . . . . . . . . . .
8
1.5
JPEG 符号化・ 復号化 . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
1.6
JPEG 画像の鮮明化 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
1.7
従来の画像復元及び劣化パラ メ ータ 推定の問題点 . . . . . . . . . . . . .
15
1.8
本論文の内容およ び構成 . . . . . . . . . . . . . . . . . . . . . . . . . .
17
劣化 JPEG 画像の鮮明化
21
2.1
ま え がき
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21
2.2
原画像のモデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21
2.3
劣化画像のモデル
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
23
2.4
JPEG 符号化・ 復号化モデル . . . . . . . . . . . . . . . . . . . . . . .
24
2.5
複合的な 劣化過程モデル . . . . . . . . . . . . . . . . . . . . . . . . . .
24
2.6
複合的な 劣化過程のス ペク ト ル特性 . . . . . . . . . . . . . . . . . . . .
25
2.7
エッ ジ情報の抽出
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
26
2.8
駆動白色ノ イ ズの局所分散の推定 . . . . . . . . . . . . . . . . . . . . .
28
2.9
量子化ノ イ ズの分散の推定 . . . . . . . . . . . . . . . . . . . . . . . . .
29
2.10
鮮明化の評価規準
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
30
2.11
反復処理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
2.12
鮮明化度合の評価量 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
2.13
むすび
32
第2章
第3章
3.1
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
焦点ずれ劣化 JPEG 画像の鮮明化
34
ま え がき
34
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
目次
iv
3.2
焦点ずれ劣化モデル . . . . . . . . . . . . . . . . . . . . . . . . . . . .
34
3.3
焦点ずれ劣化 JPEG 画像の鮮明化 . . . . . . . . . . . . . . . . . . . . .
36
3.4
むすび
40
第4章
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
運動劣化 JPEG 画像の鮮明化
51
4.1
ま え がき
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
51
4.2
運動劣化モデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
52
4.3
運動劣化 JPEG 画像の鮮明化 . . . . . . . . . . . . . . . . . . . . . . .
53
4.4
むすび
56
第5章
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
劣化 JPEG 画像の劣化パラ メ ータ 推定
67
5.1
ま え がき
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
67
5.2
従来の劣化パラ メ ータ 推定 . . . . . . . . . . . . . . . . . . . . . . . . .
67
5.3
鮮明化画像の評価に 基づく 劣化パラ メ ータ 推定 . . . . . . . . . . . . . .
72
5.4
劣化パラ メ ータ の推定範囲の限定 . . . . . . . . . . . . . . . . . . . . .
84
5.5
劣化パラ メ ータ の推定実験 . . . . . . . . . . . . . . . . . . . . . . . . .
85
5.6
むすび
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
第6章
結言
102
付録 A
付録
104
A.1
参考文献
一様焦点ずれのシス テム 関数
. . . . . . . . . . . . . . . . . . . . . . . 104
110
1
第1章
緒言
1.1 研究の目的
近年， 社会全体の防犯意識の高ま り を 背景に ， 防犯カ メ ラ の設置台数が飛躍的に 増加し
て いる ． そ の結果， 防犯カ メ ラ に 事件の犯人や犯行車両な ど が撮影さ れる ケ ース が増え ，
防犯カ メ ラ 画像が犯罪捜査の重要な 手がかり と な っ て いる .
ただし ， 街頭等に 設置さ れて いる 一般的な 防犯カ メ ラ の画像は， 画質が十分でな く ， ま
た撮影時に 様々 な 要因で劣化を 受け ， 不鮮明な 画像に な る こ と が多い． 撮影時に 受け る 劣
化と し て ， カ メ ラ レ ン ズのピ ン ト 外れに よ っ て 生じ る 焦点ずれ劣化や， カ メ ラ レ ン ズと 被
写体と の相対運動に よ っ て 引き 起こ さ れる 運動劣化な ど がある .
ま た， 画像伝送や画像保存な ど の目的で画像データ を 圧縮する 際に ， 画像の符号化は欠
かせな いも のであ る . 現在， 画像符号化技術と し て ， JPEG 圧縮が定着し て いる ． JPEG
圧縮は， ブロ ッ ク 離散コ サイ ン 変換を 利用し た 非可逆圧縮法であ り ， そ の処理の性質上，
ブロ ッ ク ノ イ ズやモス キ ート ノ イ ズが発生する こ と は避け ら れな い．
こ れま で， 焦点ずれ劣化や運動劣化な ど の空間的な 画質劣化を 受け た画像の復元に 関す
る 研究 [2],[3] や， JPEG 画像の画質改善に 関する 研究 [4],[5],[6] は多く 行われて き た . し
かし ， 空間的な 画質劣化と ， JPEG 符号化・ 復号化に よ る 画質劣化を 複合的に 受け た劣化
JPEG 画像の鮮明化に ついて は， こ れま で殆ど 研究がな さ れて こ な かっ た .
本研究では， 焦点ずれ劣化及び運動劣化の空間的な 劣化と ， JPEG 符号化・ 復号化に よ
る 複合的な 劣化を 受け た 劣化 JPEG 画像に 対し て ， ブロ ッ ク ノ イ ズやモス キ ート ノ イ ズ
を 増強さ せる こ と な く 鮮明化を 行う こ と が目的である ．
ま た従来， 良好な 鮮明化画像を 得る ために は， 鮮明化処理の前に 劣化パラ メ ータ を 適切
に 推定する 必要があっ た． こ れま で， 少数ではある が， 劣化画像から 劣化パラ メ ータ の推
定を 行い， そ の劣化パラ メ ータ の推定値を 用いて 復元を 行っ た 研究が存在する [7],[8]． 例
え ば， 最尤推定法 [9] は， 焦点ずれ劣化や運動劣化な ど の空間的劣化を 受け た 画像に 対し
第1章
2
図 1.1
緒言
従来の画像の生成， 劣化及び復元処理過程
て は， 劣化パラ メ ータ を 精度良く 推定でき る こ と が知ら れて いる が， 空間的劣化に 加え て
JPEG 符号化・ 復号化に よ る 劣化を 受け た 劣化 JPEG 画像に 対し て は， 量子化ノ イ ズの
影響に よ り ， 推定し た劣化パラ メ ータ の値が真値から 大き く 外れて し ま う と いう 問題が生
じる．
そ こ で本研究では， 劣化 JPEG 画像から 劣化パラ メ ータ を 推定する 代わり に ， 鮮明化
処理時に 用いる 劣化パラ メ ータ を 変化さ せて 鮮明化処理を 行い， 得ら れた複数の鮮明化画
像の中から 最良の鮮明化画像を 選択する 評価規準を 提案する .
1.2 画像の確率モ デル
本研究では， 画像の生成， 劣化及び復元処理過程を 確率モデルと し て 扱う . 本論文では，
画像中の位置 (m, n) に おけ る 画素を xm,n ， 画像を 画素の 2 次元配列と し て {xm,n } と 表
記する .
図 1.1 に ， 従来の画像の生成， 劣化及び復元処理過程を 示す .
原画像 {xm,n } は， 駆動白色ノ イ ズ {wm,n } に 線形フ ィ ルタ を 適用する こ と に よ り 生成
さ れ， そ の原画像が空間的な 劣化を 受け ， さ ら に 観測時のノ イ ズ {um,n } が付加さ れる こ
と に よ っ て 劣化画像 {ym,n } が得ら れる も のと 仮定する . 劣化画像 {ym,n } に 復元フ ィ ル
タ を 適用し ， 復元画像 {x̂m,n } を 得る こ と が劣化画像復元である .
1.2 画像の確率モデル
3
1.2.1 原画像のモ デル
原画像 {xm,n } に 対し て ， 従来から 用いら れて いる 確率画像モデルを 仮定する ．
xm,n −
X
ak,l xm−k,n−l = wm,n
(1.1)
(k,l)∈SA
こ こ で， {ak,l } は線形予測係数， SA は線形予測に 用いる サポート ， {wm,n } は平均 0， 分
2
散 σw
の駆動白色ノ イ ズ， すな わち ，
E[wm,n ] = 0
(1.2)
2
E[wm,n wm+k,n+l ] = σw
δk,0 δl,0
(1.3)
と 仮定する . 原画像 {xm,n } に 対する 確率画像モデルを ， 行列・ ベク ト ル表現形式に 変更
し たも のを ， 以下に 示す .
x − Ax = w
(1.4)
こ こ で， x は原画像 {xm,n } を ラ ス タ ース キ ャ ン 式に 並べた縦ベク ト ル， A は線形予測係
数 {ak,l } を 要素に も つ行列， w は駆動白色ノ イ ズベク ト ルであ り ， 以下の統計的性質を
有する .
E[w] = 0
(1.5)
2
E[wwT ] = σw
I
(1.6)
こ こ で， I は単位行列である .
1.2.2 劣化画像のモ デル
劣化画像 {ym,n } は， 線形シス テム で表さ れる 劣化シス テム に よ る 空間的な 劣化を 受け ，
そ の後， 観測時のノ イ ズの付加に よ り 劣化し たと 仮定する ．
ym,n =
X
bk,l xm−k,n−l + um,n
(1.7)
(k,l)∈SB
こ こ で ， {xm,n } は原画像， {bk,l } は劣化を 表す係数， SB は劣化シ ス テ ム のサポー ト ，
{um,n } は平均 0， 分散 σu2 の観測時のノ イ ズである ． 観測時のノ イ ズ {um,n } は， 白色で
ある と 考え ，
E[um,n ] = 0
(1.8)
E[um,n um+k,n+l ] = σu2 δk,0 δl,0
(1.9)
第1章
4
緒言
と 仮定する . ま た， 劣化を 表す係数 {bk,l } は， 次式で与え ら れる ．
bk,l =
Z
k+ 21
k− 21
Z
l+ 21
b(x, y)dxdy (1.10)
l− 12
こ こ で， b(x, y) は， 点拡がり 関数 (Point Spread Function,PSF) である . ま た， 劣化過程
の行列・ ベク ト ル表現は次式で与え ら れる .
y = Bx + u
(1.11)
こ こ で， y は劣化画像ベク ト ル， x は原画像ベク ト ル， u は観測時のノ イ ズベク ト ルであ
り ， B は劣化を 表す係数 {bk,l } を 要素と し て 持つ， 線形劣化シス テム に 対応する 行列であ
る . ま た観測時のノ イ ズベク ト ル u は， 白色である と 考え ，
E[u] = 0
(1.12)
E[uuT ] = σu2 I
(1.13)
と 仮定する . こ こ で， I は単位行列である .
1.3 従来の劣化画像の復元
劣化画像の復元処理は， 空間的な 劣化を 受け た劣化画像の画質を ， 劣化前の画質に 改善
する 処理であり ， 統計的性質を 利用し たも のや， 逆畳み込みを 利用し たも のな ど ， 従来か
ら 多く の研究がな さ れて き た [10]， [11]， [12]．
従来の代表的な 劣化画像復元法である ， ウ ィ ナーフ ィ ルタ [10]， ベイ ズ復元法 [10]， 正
則化復元法 [11] に ついて 簡潔に 述べる ． ま た， 正則化復元法に おけ る 復元の評価規準を 改
良し ， エッ ジが過剰に 平滑化さ れな いよ う に 考慮し たエッ ジ適応型反復法 [12] に ついて も
簡潔に 述べる ．
1.3.1 ウ ィ ナ ーフ ィ ルタ
劣化画像 y よ り 復元フ ィ ルタ G を 用いて ， 次式に よ り 復元画像 x̂ を 推定する こ と を 考
える ．
x̂ = Gy
(1.14)
復元画像 x̂ の評価規準 Jwiener と し て ， 原画像xと 復元画像 x̂ の平均二乗誤差を 用いる ．
Jwiener = E[(x − x̂)T (x − x̂)]
= E[(x − Gy)T (x − Gy)]
(1.15)
1.3 従来の劣化画像の復元
5
復元フ ィ ルタ G は， こ の復元画像 x̂ の評価規準を 最小に する よ う に 決定する ． つま り ，
G = arg min Jwiener
(1.16)
G
と なり ，
∂
J
∂G wiener
∂
Jwiener
∂G
= 0 と な る 復元フ ィ ルタ G を 求める ．
∂ T T
∂ T
∂ T T
∂ T
=E
x x−
y G x−
x Gy +
y G Gy
∂G
∂G
∂G
∂G
= E −2xy T + 2Gyy T
=0 (1.17)
上式を G に ついて 解く こ と に よ り ， 次式を 得る .
G = Rxy R−1
y
= Rx BT (BRx BT + σv2 I)−1
(1.18)
こ こ で，
Rxy = E[xy T ] = Rx BT
T
(1.19)
T
Ry = E[yy ] = BRx B +
σv2 I
(1.20)
し たがっ て ， G を 式 (1.14) に 代入する と ， 復元画像 x̂ は次式と な る ．
x̂ = Rx BT (BRx BT + σv2 I)−1 y
(1.21)
1.3.2 ベイ ズ復元法
ベイ ズ復元では， 劣化画像 (観測画像)y が与え ら れたと いう 条件のも と に ， 最も 確から
し い原画像 x を 求める こ と に な る ． つま り ， ベイ ズの定理よ り ， 劣化画像 (観測画像)y が
与え ら れた場合の， 原画像 x の確率密度関数 p(x|y) は， 次式と な る .
p(x|y) =
p(y|x)p(x)
p(y)
(1.22)
上式に おいて ， 劣化画像 (観測画像)y の確率密度関数 p(y) は， y が与え ら れた段階で定数
と な る ので， p(y|x)p(x) が最大と な る x を 求めればよ い . 復元画像 x̂ の評価基準 JBayes
を 上式右辺の分子の対数と し て 定義する ．
JBayes = − ln p(y|x)p(x)
(1.23)
ま ず， 原画像 x が与え ら れた場合の劣化画像 (観測画像)y の確率密度関数 p(y|x) を ガウ
ス 分布と 仮定する .
p(y|x) =
1
(2π)
MN
2
|Ry|x |
1
2
−1
− 21 (y −µy|x )T Ry|x
(y −µy|x )
e
(1.24)
第1章
6
緒言
こ こ で， M は垂直方向の画像サイ ズ， N は水平方向の画像サイ ズ， µy|x は， 原画像 x が
与え ら れたと いう 条件下での劣化画像 y の平均を 意味し ， Ry|x は， 原画像 x が与え ら れ
たと いう 条件下での劣化画像 y の自己共分散行列を 意味する . つま り ，
µy|x = E[y|x] = Bx
(1.25)
Ry|x = E[(y − µy|x )(y − µy|x )T |x] = σv2 I
(1.26)
こ れら を ， 式 (1.24) に 代入する と ， 次式と な る ．
p(y|x) =
1
(2π)
MN
2
−
(
y −Bx)T (y −Bx)
2
2σv
e
MN
(σv2 ) 2
(1.27)
ま た， 原画像 x の確率密度関数 p(x) は， 次式を 用いる ． つま り ， 原画像 x に 対し て 多次
元のガウ ス 分布を 仮定する .
p(x) =
1
(2π)
MN
2
e− 2 x
1
|Rx |
1
2
T
R−1
x x
(1.28)
上述し た原画像 x に 対する 確率モデルを 用いる こ と に よ り ， 以下と な る ．
p(x) =
(2π)
|A|
MN
2
2 ) M2N
(σw
−
e
(A
x )T A x
2
2σw
(1.29)
つま り ， 原画像 x を 白色化フ ィ ルタ A に よ り 白色化し たも の Ax の確率密度関数と な る ．
以上よ り ， 復元画像の評価基準 JBayes は， 次式と な る ．
JBayes
1
σv2
T
T
= 2 (y − Bx̂) (y − Bx̂) + 2 (Ax̂) (Ax̂)
σv
σw
(1.30)
上式を 復元画像 x̂ に 対し て 偏微分し ， 0 と する こ と に よ り ， 復元画像の評価基準 JBayes
を 最小と する 復元画像 x̂ を 求める ． つま り ，
σv2 T
2
∂
T
JBayes = − 2 B (y − Bx̂) − 2 A Ax̂ = 0
∂ x̂
σv
σw
(1.31)
上式を 復元画像 x̂ に ついて 解く こ と に よ り ， 次式を 得る ．
−1
σv2 T
T
x̂ = B B + 2 A A
BT y
σw
(1.32)
1.3.3 正則化復元法
劣化画像復元は， 復元画像 y から 原画像 x を 求める と いう 意味で， 逆問題であ り ， 正
則化が必要な 問題である ． こ こ では， Tiknohov-Miller 正則化法に よ る 劣化画像復元に つ
いて 考え る ．
1.3 従来の劣化画像の復元
7
復元画像 x̂ を ， も う 一度空間的に 劣化さ せた 画像 Bx̂ と 劣化画像 (観測画像)y と の自
乗誤差 |y − Bx̂|2 に ， 正則化項 |Cx̂| を 加え た も のを ， 復元画像 x̂ の評価基準 JT −M と
する ．
T
T
JT −M = (y − Bx̂) (y − Bx̂) + µ (Cx̂) (Cx̂)
(1.33)
こ こ で， µ は正則化係数， C は正則化オペレ ータ を 表す． 上式を ， 復元画像 x̂ に 対し て 偏
微分し ， 0 と する こ と に よ り ， 復元画像の評価基準 JT −M を 最小と する 復元画像 x̂ を 求
める ． つま り ，
∂
JT −M = −2BT (y − Bx̂) + µ2CT Cx̂ = 0
∂ x̂
(1.34)
上式を ， 復元画像 x̂ に ついて 解く と ， 以下と な る ．
x̂ = BT B + µCT C
−1
BT y
(1.35)
1.3.4 エッ ジ 適応型反復法
正則化復元法に おけ る 復元の評価規準を 改良し ， エッ ジを 過剰に 平滑化さ せな いよ う に
考慮し た次の評価規準を 用いる ．
Jedge =
M
−1 N−1
X
X
m=0 n=0
+µ

ym,n −
M
−1 N−1
X
X
m=0 n=0

X
(k,l)∈D
x̂m,n −
2
bk,l x̂m−k,n−l 
X
(k,l)∈S
2
dk,l (θ(m, n))x̂m−k,n−l 
(1.36)
こ こ で， {ym,n } は劣化画像， {x̂m,n } は復元画像， µ は正則化係数， {dk,l (θ)} はエッ ジ適
応型正則化オペレ ータ である ．
復元画像の評価規準 Jedge に おけ る ， 第 1 項は復元画像を 再び空間的に 劣化さ せたも の
と ， 劣化画像と の差のノ ルム であり ， 正則化復元法に おけ る 第 1 項と 同じ である ． 第 2 項
は， エッ ジ情報を も と に エッ ジ適応型正則化オペレ ータ を 復元画像に 作用さ せたも ののノ
ルム であり ， エッ ジの方向を 考慮し て 復元画像のな めら かさ を 評価する 項である ． 復元処
理の際に ， エッ ジ領域ではエッ ジの方向に 沿っ て 平滑化を 行う こ と で， エッ ジの過剰な 平
滑化は避け ら れる ． 式 (1.36) のベク ト ル表現は， 次式と な る ．
Jedge = (y − Bx̂)T (y − Bx̂) + µ(Dx̂)T (Dx̂)
(1.37)
こ こ で， D は {dk,l } を 要素と する 行列であ る ． も し ， D を 線形位置不変正則化オペレ ー
タ に 置き 換え る と ， 正則化の評価規準と な る ．
第1章
8
緒言
図 1.2 従来の劣化パラ メ ータ 推定手法
1.4 従来の劣化パラ メ ータ 推定
前節で従来の劣化画像復元法に ついて 述べたが， 劣化画像復元を 行う 際に は， 劣化パラ
メ ータ が必要と な る . 実際に は， 劣化パラ メ ータ は未知であ る こ と から ， 劣化パラ メ ータ
を 適切に 推定する こ と が重要である (図 1.2 参照). 本研究では， 空間的劣化と し て ， 焦点
ずれ劣化と 運動劣化を 扱う ので， 推定すべき 劣化パラ メ ータ は， 焦点ずれの半径 R や， 運
動劣化の長さ L である . 従来の劣化パラ メ ータ 法と し て ， 代表的な 手法である ， 最尤推定
法 [9] に ついて 簡潔に 述べる ．
1.4.1 最尤推定法
最も 確から し いパラ メ ータ の推定法と し て ， 尤度関数を 最大と する 推定， つま り ， 最尤
推定に ついて 述べる ． 劣化画像に 対し て 多次元ガウ ス 分布を 仮定する こ と に よ り ， 尤度関
数は次式で与え ら え る ．
p(θ) =
1
(2π)
MN
2
e− 2 (y −µy )
1
|Ry |
1
2
T
R−1
y (y −µy )
(1.38)
こ こ で， θ は推定すべき 劣化パラ メ ータ であり ， 焦点ずれの半径 R や， 運動劣化の長さ L
である . ま た， µy は劣化画像の平均， Ry は劣化画像の自己共分散行列であり ， 次式で与
え ら れる ．
µy = E[y] = Bµx
(1.39)
1.5 JPEG 符号化・ 復号化
9
図 1.3 JPEG 符号化・ 復号化
Ry = E[(y − µy )(y − µy )T ]
(1.40)
こ の尤度関数の対数を と っ たも のを ， 対数尤度関数と 定義する ．
L(θ) ≡ ln p(θ)
1
1
MN
ln 2π − ln |Ry | − (y − µy )T Ry −1 (y − µy )
=−
2
2
Z Z2 π
MN
1
≃−
ln Sy (ω1 , ω2 , θ)dω1 dω2
−
2
2
−π
Z Z π
S̃y (ω1 , ω2 )
1
dω1 dω2
−
2
−π Sy (ω1 , ω2 , θ)
(1.41)
(1.42)
こ こ で， S̃y (ω1 , ω2 ) は標本のパワ ース ペク ト ル， Sy (ω1 , ω2 , θ) はモデルのパワ ース ペク ト
ルであ り ， 標本のパワ ース ペク ト ル S̃y (ω1 , ω2 ) は， 実際の観測画像であ る 劣化画像 y か
ら 計算さ れ， モデルのパワ ース ペク ト ル Sy (ω1 , ω2 , θ) はパラ メ ータ θ を 与え る こ と に よ
り 計算さ れる ．
こ の対数尤度関数を 最大化する パラ メ ータ θ が， 劣化画像 y に 対する 推定パラ メ ータ
である ．
1.5 JPEG 符号化・ 復号化
JPEG ア ルゴ リ ズム に は， 複数の圧縮方式があ り ， 代表的な 圧縮方式と し て 非可逆圧
縮のブロ ッ ク 離散コ サイ ン 変換 (DCT,Discrete Cosine Transform) 方式 [13] があ る . ブ
ロ ッ ク 離散コ サイ ン 変換方式での JPEG 符号化及び復号化は， 図 1.3 のよ う に 行われる .
JPEG 符号化過程は， 画像を 8 × 8 画素のブ ロ ッ ク に 分割し て ブ ロ ッ ク 離散コ サイ ン 変
第1章
10
緒言
換を 行い， 得ら れた DCT 係数 (周波数成分データ ) を 量子化テ ーブ ルで除算する こ と に
よ り 量子化を 行い， 符号化データ が得ら れる . JPEG 復号化過程は， 符号化データ を 量子
化テーブルで乗算する こ と に よ り 逆量子化を 行い， そ の後， ブロ ッ ク 離散逆コ サイ ン 変換
を 行う こ と に よ っ て 復号画像 (JPEG 画像) を 得る .
1.5.1 ブ ロ ッ ク 離散コ サイ ン 変換 (DCT)
ブロ ッ ク 離散コ サイ ン 変換は， 画像を 8 × 8 画素のブロ ッ ク に 分割し て 行われる . 各ブ
ロ ッ ク 内の画素値を {xB
p,q ; p = 0, 1, ..., 7, q = 0, 1, ..., 7} で表すと き ， こ れら を 8 × 8 画
素のブロ ッ ク に 対する 2 次元 DCT は， 以下の式で与え ら れる .
B
Xk,l
7 X
7
X
(2p + 1)kπ
(2q + 1)lπ
1
cos
xB
= Ck Cl
p,q cos
4
16
16
p=0 q=0
(1.43)
こ こ で， p, q はブロ ッ ク 内の画素の位置， k, l は DCT 係数の位置を 示す . ま た，
Ck = Cl =
(
√1
2
k=l=0
1
elsewhere
(1.44)
B
B
こ の変換の結果， 各ブロ ッ ク から 64 個の DCT 係数 Xk,l
が得ら れる . こ の 64 個の Xk,l
B
の内， X0,0
を DC 成分 (直流成分)， 残り の 63 個を AC 成分 (交流成分) と 呼ぶ .
ま た， 8 × 8 画素のブロ ッ ク の画像は， 次式で与え ら れる ブロ ッ ク 離散コ サイ ン 逆変換
(IDCT) に よ っ て 得ら れる .
7
ẋB
p,q =
7
1 XX
(2p + 1)kπ
(2q + 1)lπ
B
Ck Cl Xk,l
cos
cos
4
16
16
(1.45)
k=0 l=0
1.5.2 量子化過程
JPEG の 画質， 圧縮率は， 表 1.1 に 示す よ う な ， 量子化の 過程で 用い る 量子化テ ー
ブ ル の 値 Qk,l の 大き さ で 決ま る . ブ ロ ッ ク 離散コ サ イ ン 変換し た 領域で の 各周波数
B
{Xk,l
(k, l = 0, 1, 2, . . . , 7)} に おいて ， 以下に 示す量子化幅 {∆k,l } の一様量子化が行われ
B
る と する と ， 逆量子化後の各周波数 {Ẋk,l
(k, l = 0, 1, 2, . . . , 7)} は， 次式で表さ れる .
B
Ẋk,l

∆
B
0,
|Xk,l
| ≤ 2k,l
 ∆
B
=
Xk,l
+ k,l
∆k,l
2
B

∆k,l ,
∆k,l
2 ≤ |Xk,l |
(1.46)
B
ブロ ッ ク 離散コ サイ ン 変換後の各周波数 {Xk,l
(k, l = 0, 1, 2, . . . , 7)} と ， 逆量子化後の各
B
周波数 {Ẋk,l
(k, l = 0, 1, 2, . . . , 7)} と の差異に よ り ， 量子化ノ イ ズが生じ る . 図 1.4(a) に
1.5 JPEG 符号化・ 復号化
11
表 1.1 量子化テ ーブル Qk,l の例 (JPEG 推奨)
l=0
l=1
l=2
l=3
l=4
l=5
l=6
l=7
k=0
16
11
10
16
24
40
51
61
k=1
12
12
14
19
26
58
60
55
k=2
14
13
16
24
40
57
69
56
k=3
14
17
22
29
51
87
80
62
k=4
18
22
37
56
68
109
103
77
k=5
24
35
35
64
81
104
113
92
k=6
49
64
78
87
103
121
120
101
k=7
72
92
95
98
112
100
103
99
JPEG 符号化・ 復号化に よ る 劣化を 受け て いな い原画像， 図 1.4(b) に JPEG 符号化・ 復
号化に よ る 劣化を 受け て いる JPEG 画像を 示す． 図 1.4(a) 及び (b) はいずれも 256 ×
256 画素の画像であ り ， 両者の拡大画像 (128 × 128 画素) を 図 1.4(c) 及び (d) に 示す．
JPEG 画像の画質を 良く する に は， Qk,l の値を 小さ く し て 量子化を 行う が， 圧縮率は小さ
く な る . 逆に ， 圧縮率を 上げる に は， Qk,l の値を 大き く する が， 画質が低下する . 圧縮率
を 上げすぎる と ， 量子化ノ イ ズが大き く な り ， 図 1.4(b) 及び (d) に 示すよ う な ， ブロ ッ ク
ノ イ ズやモス キ ート ノ イ ズと 呼ばれる JPEG 特有の現象が顕著に あ ら われる よ う に な る .
ブロ ッ ク ノ イ ズは， ブロ ッ ク 離散コ サイ ン 変換のサイ ズの影響を 受け ， な めら かに 変化す
る 領域に おいて ， ブロ ッ ク 境界での濃淡度の変化が顕著と な る ノ イ ズであ る . ま た， モス
キ ート ノ イ ズは， エッ ジの近傍に おいて ， エッ ジと ほぼ平行に 発生する ノ イ ズである .
1.5.3 JPEG 符号化・ 復号化モ デル
原画像 x の符号画像 z x は， 次式で与え ら れる ．
z x = Q[Cx]
(1.47)
こ こ で， C は画像全体に 対する サイ ズ 8 × 8 のブロ ッ ク 離散コ サイ ン 変換， Q[ ] は量子化
を 表す．
符号画像 z x の復号画像 ẋ は， 次式で与え ら れる ．
ẋ = C−1 Q−1 [z x ]
(1.48)
こ こ で， C−1 は画像全体に 対する サイ ズ 8 × 8 画素のブロ ッ ク 離散コ サイ ン 逆変換， Q−1 [
] は逆量子化を 表す．
第1章
12
(a) 原画像 (8.00[bpp])
(b)JPEG 画像 (0.273[bpp])
(c) 原画像の拡大画像
(d)JPEG 画像の拡大画像
緒言
図 1.4 JPEG 圧縮に よ る 画質劣化 (Lena)
式 (1.47) 及び式 (1.48) よ り ， JPEG 画像の符号化・ 復号化は， 次式と な る .
ẋ = C−1 Q−1 [Q[Cx]]
= C−1 (Cx + v)
= x + C−1 v
(1.49)
JPEG 画像の符号化・ 復号化の過程に おいて ， 量子化 Q と 逆量子化 Q−1 が行われる こ と
に よ り ， 量子化ノ イ ズ v が付加さ れ， 画質劣化が生じ る . 量子化ノ イ ズは， ブロ ッ ク 離散
コ サイ ン 変換の周波数に 依存する も のであ り ， そ の分散は周波数毎に 異な る . ブロ ッ ク 離
散コ サイ ン 変換の周波数のう ち ， 直流成分の量子化ノ イ ズは， ブロ ッ ク ノ イ ズを 発生さ せ
る 要因と な っ て いる . ま た， 高い周波数成分に は， 量子化の過程で情報が完全に 欠落する
も のも あり ， 画像の詳細な 情報が欠落する こ と と な る .
1.6 JPEG 画像の鮮明化
こ れま で， ブロ ッ ク ノ イ ズと モス キ ート ノ イ ズを 低減する こ と に よ り ， JPEG 画像の鮮
明化が行われて き た . 従来の JPEG 画像の画質改善の研究と し て ， Nikolas[4], Ozcelik[5],
1.6 JPEG 画像の鮮明化
(a) 原画像
13
(b)JPEG 画像
(c) 鮮明化画像
図 1.5 JPEG 画像の鮮明化結果 (Lena)
DCT Spectrum_ori
1e+04
1e+03
100
10000
DCT Spectrum
100
DCT Spectrum_res
1e+04
1e+03
100
10
10000
DCT Spectrum
100
100
1
1
1
0.01
0.01
0.01
0
0
2
k
DCT Spectrum_jpeg
1e+04
1e+03
100
10
0.1
10000
DCT Spectrum
0
2
k
4
6
0
4
2
6
6
0
l
(a) 原画像
2
k
4
4
2
0
図 1.6
4
2
6
l
l
(b)JPEG 画像
4
6
6
(c) 鮮明化画像
DCT ス ペク ト ル (Lena)
藤田 [6] な ど がある ． Nikolas ら [4] は， 改善画像のな めら かさ の制約条件と し て ， ブロ ッ
ク 離散コ サイ ン 変換のブロ ッ ク 境界での自乗誤差を ， 画像の局所的な 平均と 分散と に よ り
重みづけ し て 評価し て いる ． そ し て ， 符号化し た 場合に 同じ JPEG 符号と な る 画像集合
の中から ， 上記の制約条件を 満たす復号画像を 得る も のである ． し たがっ て ， JPEG 復号
画像中のブ ロ ッ ク ノ イ ズの低減を 主眼と し て いる ． Ozcelik ら [5] は， 原画像に 対する 事
前情報と し て ， 非定常ガウ ス マ ルコ フ モデルを 用い， 事後確率最大 (MAP) 推定を 行な っ
て いる ． 特徴は， 原画像モデルに ラ イ ン 要素を 持つ混合ガウ ス マ ルコ フ モデルを 用いて い
る 点に あり ， 画像のエッ ジを 保持する と いう 性質がある ． ま た， 彼ら の研究では MAP 推
定時に ， 平均場ア ニーリ ン グを 行な っ て お り ， 各種パラ メ ータ が必要と な る ． 藤田ら [6]
は， 劣化画像復元法を 用いて ， 原画像に 対し エッ ジの位置及び方向性， 原画像の局所的な
分散， およ びブロ ッ ク 離散コ サイ ン 変換領域での量子化ノ イ ズの分散を 考慮し た， ブロ ッ
ク ノ イ ズおよ びモス キ ート ノ イ ズの低減に よ る JPEG 画像の鮮明化を 提案し て いる ．
こ こ では， 代表的な 手法である ， 劣化画像復元法を 用いた JPEG 画像の鮮明化法 [6] に
ついて 簡潔に 述べる ．
第1章
14
緒言
1.6.1 劣化画像復元法を 用いた JPEG 画像の鮮明化
JPEG 画像 ẋ の改善画像 x̂ は， ベイ ズ復元に おけ る 復元画像の評価規準よ り ， 次式に
よ り 評価する .
T
J(x̂) = {C(ẋ − x̂)} R−1
v {C(ẋ − x̂)}
+ {A(x̂ − µx )}T R−1
w {A(x̂ − µx )}
(1.50)
こ こ で， C はブロ ッ ク 離散コ サイ ン 変換， Rv は量子化ノ イ ズ v の分散行列， A は原画
像 x のエッ ジを 考慮し た非定常白色化フ ィ ルタ ， µx は原画像 x の非定常平均， Rw は駆
動白色ノ イ ズ w の分散行列である .
上式第 1 項は， 単純に 復号し た JPEG 画像 ẋ と 改善画像 x̂ と の誤差を ブロ ッ ク 離散コ
サイ ン 変換し た領域に おいて ， 量子化ノ イ ズの分散 Rv で重みづけ し て 評価する こ と を 示
し て いる . ま た， 上式第 2 項は， エッ ジの位置と 方向を 考慮し た上での画像のな めら かさ
を 評価する 項である .
図 1.5 は， 原画像 (図 1.5(a)) を JPEG 符号化・ 復号化する こ と に よ り 得ら れた JPEG
画像 (図 1.5(b)) に 対し て ， 劣化画像復元法に よ り 鮮明化し た 画像 (図 1.5(c)) を 示し て
いる . JPEG 画像 (図 1.5(b)) と 鮮明化画像 (図 1.5(c)) を 比較する と ， 鮮明化画像 (図
1.5(c)) では， ブ ロ ッ ク ノ イ ズやモ ス キ ート ノ イ ズが低減さ れ， 画質が改善し て いる こ と
がわかる .
JPEG 符号化・ 復号化は， 8 × 8 画素のブロ ッ ク ごと に 離散コ サイ ン 変換及び量子化が
行われる 非可逆圧縮である こ と から ， 画質改善の評価を 行う 際に は， 8 × 8 画素のブロ ッ
ク に 対する 周波数成分， つま り 2 次元 DCT を 考察する 必要があ る . 8 × 8 画素のブロ ッ
ク に 対する 2 次元 DCT は， 以下の式で与え ら れる .
7 X
7
X
(2q + 1)lπ
(2p + 1)kπ
1
xp+8i,q+8j cos
cos
Xk,l (i, j) = Ck Cl
4
16
16
p=0 q=0
(1.51)
こ こ で， (p, q) はブロ ッ ク 内の画素の位置， (i, j) は画像全体に 対する 各ブロ ッ ク の位置，
(k, l) は DCT 係数の位置を 示す . ま た，
(
√1
k=l=0
2
Ck = Cl =
1
elsewhere
(1.52)
こ の変換の結果， 各ブロ ッ ク (i, j) から 64 個の DCT 係数 Xk,l (i, j) が得ら れる .
得ら れた DCT 係数から DCT ス ペク ト ルを 求め， ブロ ッ ク コ サイ ン 変換に よ り 求めた
画像全体の DCT ス ペク ト ルを 用いて ， 画質の改善を 評価する . DCT ス ペク ト ルは次式
1.7 従来の画像復元及び劣化パラ メ ータ 推定の問題点
15
で表さ れる .
M
8
DCT
Sk,l
=
N
−1 8 −1
X
X
i=0
2
Xk,l
(i, j)
j=0
M N
8 8
(1.53)
こ こ で， (k, l) は DCT 係数の位置， (i, j) は画像全体に 対する 各ブロ ッ ク の位置を 示す .
原画像 (図 1.5(a)) の DCT ス ペク ト ルを 図 1.6(a) に ， JPEG 画像 (図 1.5(b)) の DCT
ス ペク ト ルを 図 1.6(b) に ， 鮮明化画像 (図 1.5(c)) の DCT ス ペク ト ルを 図 1.6(c) に 示す .
図 1.6 よ り ， JPEG 符号化・ 復号化に よ っ て 低下し た高周波数成分が， 鮮明化処理を 行う
こ と に よ っ て 改善さ れて いる こ と がわかる .
1.7 従来の画像復元及び劣化パラ メ ータ 推定の問題点
上述し た エッ ジ適応型反復法を 用いる こ と に よ り ， 焦点ずれ劣化や運動劣化な ど の空
間的劣化を 受け た 画像を 良好に 復元でき る こ と が従来の研究 [12] に よ り 確認さ れて いる ．
し かし ， 空間的劣化に 加え て JPEG 符号化・ 復号化に よ る 劣化を 受け た 場合， そ の復元
画像は， ブロ ッ ク ノ イ ズやモス キ ート ノ イ ズを 増強し て し ま い， 良好な 復元画像と はな ら
な い．
図 1.7 は， 原画像 (Lena)(図 1.7(a)) を 焦点ずれ半径 R = 2.5 で劣化さ せた 焦点ずれ劣
化 JPEG 画像 (図 1.7(b)) に 対し て ， 従来復元法を 用いて 復元し た結果を 示し て いる ． 復
元画像 (図 1.7(c)) はノ イ ズの増幅が著し く ， 原画像と 復元画像と の自乗誤差 (図 1.7(d))
が大き く な っ て おり ， 良好な 復元画像と は言え な い．
従来復元法の劣化画像モデル (式 (2.6)) は， 焦点ずれ劣化や運動劣化な ど の空間的な 劣
化と ， 観測時のノ イ ズの付加に よ り 生成さ れる と 仮定し て いる が， JPEG 画像はブ ロ ッ
ク 離散コ サイ ン 変換領域での量子化が行われ， 非可逆圧縮を 受け る ため， 従来復元法の劣
化画像モデルの仮定が適切でな いも のと 考え ら れる ． 従来復元法の復元の評価規準は， ブ
ロ ッ ク 離散コ サイ ン 変換領域での量子化が考慮さ れて おら ず， ブロ ッ ク ノ イ ズやモス キ ー
ト ノ イ ズを 増幅さ せる 要因と な っ て いる ．
ま た， 上述し た最尤推定法を 用いる こ と に よ り ， 空間的劣化を 受け た画像に 対し て ， 劣
化パラ メ ータ を 精度良く 推定でき る こ と が従来の研究 [9] に よ り 確認さ れて いる が， 空間
的劣化に 加え て JPEG 符号化・ 復号化に よ る 劣化を 受け た 場合， 劣化パラ メ ータ の推定
精度が著し く 低下し ， 推定し た劣化パラ メ ータ を 用いて 復元処理を 行っ た画像は， 良好な
復元画像と はな ら な い．
図 1.8 及び図 1.9 は， JPEG 符号化・ 復号化に よ る 劣化を 受け て いな い焦点ずれ劣化
画像 (図 1.8(a)) と ， JPEG 符号化・ 復号化に よ る 劣化を 受け た焦点ずれ劣化 JPEG 画像
第1章
16
表 1.2
緒言
最尤推定法に よ る 焦点ずれ半径 R̂ の推定結果
真値 R
推定値 R̂
[pixel]
[pixel]
焦点ずれ劣化画像 (Lena)
2.5
2.5
焦点ずれ劣化 JPEG 画像 (Lena)
2.5
1.8
Image
(図 1.9(a)) に 対し て ， 従来推定法 [9] を 用いて 焦点ずれ半径を 推定し ， 従来復元法 [12] に
よ り 復元し た 結果を 示し て いる ． 表 1.2 に 示すよ う に ， JPEG 符号化・ 復号化に よ る 劣
化を 受け て いな い焦点ずれ劣化画像の推定値は， 真値と 同じ R̂ = 2.5 で あ る のに 対し ，
JPEG 符号化・ 復号化に よ る 劣化を 受け た 焦点ずれ劣化 JPEG 画像の推定値は R̂ = 1.8
であ り ， 真値から 大き く 外れて いる ． ま た ， 焦点ずれ劣化 JPEG 画像を 推定値 R̂ = 1.8
で復元し た 画像 (図 1.9(b)) は， 焦点ずれ劣化画像を 推定値 R̂ = 2.5 で復元し た 画像 (図
1.8(b)) よ り も 画質が悪く ， 良好な 復元画像と は言え な い． 劣化パラ メ ータ の推定誤差の
要因と し て ， ブロ ッ ク 離散コ サイ ン 変換領域での量子化ノ イ ズの影響が考え ら れる .
そ こ で， 本研究では， 劣化画像モデルと し て ， 空間的劣化と JPEG 符号化・ 復号化に よ
る 複合的な 劣化を 仮定し ， ブロ ッ ク 離散コ サイ ン 変換領域での量子化を 考慮し た鮮明化の
評価規準を 提案する . ま た， 鮮明化処理の前に 劣化 JPEG 画像から 直接劣化パラ メ ータ を
推定する のではな く ， 鮮明化処理時に 用いる 劣化パラ メ ータ を 変化さ せて 複数の鮮明化画
像を 生成し ， そ れら の画像の中から 評価規準に 基づいて 最良の鮮明化画像を 選択する こ と
に よ り ， 間接的に 劣化パラ メ ータ の推定を 行う .
1.8 本論文の内容およ び構成
本研究に おけ る 鮮明化処理過程は， 図 1.10 に 示すよ う に ， 鮮明化処理時に 用いる 劣化
パラ メ ータ を 変化さ せな がら ， 複数の鮮明化処理画像を 作成し ， そ れら の画像の中から 評
価規準に 基づいて ， 最良の鮮明化画像を 選択する ． つま り ， 鮮明化処理の前に ， 劣化パラ
メ ータ の推定を 行わず， 複数の鮮明化処理画像から 良好な 鮮明化処理画像を 選択する こ と
に よ り ， 間接的に 劣化パラ メ ータ の推定を 行う ． そ し て ， 鮮明化処理ア ルゴ リ ズム では，
焦点ずれや運動劣化な ど の空間的な 劣化だけ でな く ， JPEG 符号化・ 復号化を 画像の劣化
過程に 取り 入れ， ブロ ッ ク 離散コ サイ ン 変換領域での量子化ノ イ ズの分散を 考慮する と と
も に ， 悪条件問題に 対する 正則化と し て ， エッ ジの位置およ び方向を 考慮し た予測フ ィ ル
タ を 用いる ．
ま た， 鮮明化処理時に 用いる 劣化パラ メ ータ を 変化さ せな がら 生成し た複数の鮮明化画
1.8 本論文の内容およ び構成
(a) 原画像
17
(b) 焦点ずれ劣化 JPEG 画像
(R = 2.5 , 0.509[bpp])
(c) 復元画像
(d) 自乗誤差画像
(R̂ = 2.5 , ISN R = −1.363[dB])
図 1.7
従来法に よ る 焦点ずれ劣化 JPEG 画像の復元結果 (Lena)
像から ， 最良の鮮明化画像を 選択する ための評価規準は， 鮮明化画像に 対し て 観測値差分
フ ィ ルタ (白色化フ ィ ルタ ) を 適用し ， そ の出力の白色性を パワ ース ペク ト ルの平坦さ か
ら 求め る こ と に よ り ， 鮮明化画像を 選択する ． こ れは， 鮮明化処理時に 用いた 劣化パラ
メ ータ が適切でな い場合， 鮮明化画像に 強いリ ン ギン グが発生し たり ， 逆に ， 鮮明化画像
に 劣化が残る 現象を ， 観測値差分フ ィ ルタ の出力のパワ ース ペク ト ルの平坦さ で評価し よ
う と する も のである ． 以下に ， 第 2 章以下の内容に ついて 述べる ．
第 2 章で は， 空間的な 劣化と JPEG 符号化・ 復号化に よ る 劣化過程を 仮定し ， 劣化
JPEG 画像に 対する 鮮明化手法に つ いて 述べる . 劣化 JPEG 画像の画像観測過程を ， 空
間的な 劣化と ， ブロ ッ ク 離散コ サイ ン 変換領域での量子化と に よ り モデル化し ， 評価規準
に 基づく 鮮明化手法を 提案する .
第 3 章では， カ メ ラ のレ ン ズのピ ン ト 外れに よ っ て 生じ る 焦点ずれ劣化と ， JPEG 符号
化・ 復号化の複合的な 劣化を 受け た 焦点ずれ劣化 JPEG 画像に 対し ， 第 2 章で提案し た
鮮明化手法を 適用し ， そ の有効性を 確認する .
第1章
18
(a) 焦点ずれ劣化画像
(b) 鮮明化画像
(R = 2.5)
(R̂ = 2.5,
緒言
(c) 自乗誤差画像 ISN R = 3.46[dB])
図 1.8 焦点ずれ劣化画像に 対する 最尤推定法に よ る 劣化パラ メ ータ 推定結果 (Lena)
(a) 焦点ずれ劣化
(b) 鮮明化画像
(c) 自乗誤差画像
JPEG 画像
(R = 2.5,
(R̂ = 1.8,
0.509[bpp])
ISN R = 0.16[dB])
図 1.9
焦点ずれ劣化 JPEG 画像に 対する 最尤推定法に よ る 劣化パラ メ ータ 推定結果 (Lena)
第 4 章では， カ メ ラ と 被写体と の相対運動に よ っ て 引き 起こ さ れる 運動劣化と ， JPEG
符号化・ 復号化の複合的な 劣化を 受け た 運動劣化 JPEG 画像に 対し ， 第 2 章で提案し た
鮮明化手法を 適用し ， そ の有効性を 確認する ．
第 5 章では， 劣化 JPEG 画像に 対し ， 鮮明化処理時に 用いる 劣化パラ メ ータ を 変化さ
せな がら 複数の鮮明化画像を 生成し ， 得ら れた複数の鮮明化画像の中から 評価規準に 基づ
いて 良好な 鮮明化画像を 選択する こ と に よ り ， 間接的に 劣化パラ メ ータ を 推定する 手法に
ついて 述べる . こ こ で用いた 評価規準は， 鮮明化画像に 対し て 観測値差分フ ィ ルタ (白色
化フ ィ ルタ ) を 適用し ， そ の出力のパワ ース ペク ト ルの平坦さ を 求める こ と に よ り ， 鮮明
化画像を 選択する も のである . 提案し た推定手法を ， 焦点ずれ劣化 JPEG 画像及び運動劣
化 JPEG 画像に 適用し ， 推定手法の有効性を 確認する .
1.8 本論文の内容およ び構成
19
図 1.10 鮮明化処理過程
第1章
20
図 1.11
本論文の構成
緒言
21
第2章
劣化 JPEG 画像の鮮明化
2.1 ま え がき
第 1 章で述べたと おり ， 空間的な 劣化画像に 対する 鮮明化や， JPEG 画像に 対する 鮮明
化に ついて は， 従来から 多く 研究さ れて き た . し かし ， 空間的な 劣化と JPEG 符号化・ 復
号化に よ る 劣化と が複合的に 起こ っ た 劣化 JPEG 画像に 対する 鮮明化に つ いて は， こ れ
ま で殆ど 研究がな さ れて こ な かっ た . 従来の復元法は， JPEG の符号化・ 復号化を 考慮し
て お ら ず， 空間的な 劣化を 受け た JPEG 画像に 従来法を 適用する と ， ノ イ ズを 増幅さ せ
て し ま い， 良好な 復元画像が得ら れな い． そ こ で， 本研究では， 従来法 [12] を 発展さ せ，
劣化 JPEG 画像に 対し て ， ブロ ッ ク 離散コ サイ ン 変換領域での量子化 [6] を 考慮し た鮮明
化方法を 提案する ．
劣化 JPEG 画像の生成過程及び鮮明化画像の生成過程に つ いて ， 図 2.1 に 示すよ う な
モデルを 仮定する . 本章では， 劣化 JPEG 画像の鮮明化に ついて の基本原理を 述べる .
2.2 原画像のモ デル
原画像 {xm,n } に 対し て ， 次式で表さ れる 白色ノ イ ズ駆動型の線形予測モデルを 用いる ．
xm,n − µx (m, n)
X
−
ak,l (θ (m, n)) {xm−k,n−l − µx (m − k, n − l)} = wm,n
(2.1)
(k,l)∈SA
こ こ で， {µx (m, n)} は原画像の平均， {ak,l (θ(m, n))} は原画像のエッ ジを 考慮し た 線形
予測係数であ る ． ま た ， wm,n は駆動白色ノ イ ズであ り ， 平均は 0， 分散は画像の位置に
よ り 変化する と 仮定し ，
2
E[wm,n wm+k,n+l ] = σw
(m, n)δk,0 δl,0
(2.2)
第 2 章 劣化 JPEG 画像の鮮明化
22
図 2.1
鮮明化処理過程
と な る . こ こ で， θ(m, n) は， 次式で定義さ れる エッ ジ情報を 表す．

0




 45
90
θ(m, n) =


135



360
···
···
···
···
···
0◦ 方向のエッ ジ
45◦ 方向のエッ ジ
90◦ 方向のエッ ジ
135◦ 方向のエッ ジ
(2.3)
平坦領域
原画像 {xm,n } に 対する 確率モデルを ， 行列・ ベク ト ル表現形式に 変更し た も のを ， 以下
に 示す .
x − µx − A(x − µx ) = w
(2.4)
こ こ で， x は原画像 {xm,n } を ラ ス タ ース キ ャ ン 式に 並べた 縦ベク ト ル， µx は原画像の
平均ベク ト ル， A は原画像のエッ ジを 考慮し た白色化フ ィ ルタ である . ま た， w は駆動白
色ノ イ ズベク ト ルであり ， 平均は 0， 分散は画像の位置に よ り 変化する と 仮定し ， そ の自
己共分散行列を Rw と する ． つま り ，
Rw = E[wwT ] = Diagonal
(2.5)
白色化フ ィ ルタ の係数 {ak,l (θ)} を ， 表 2.1 に 示す． ま た， 図 2.2 は， 原画像 (図 2.2(a)) に
ついて の平均 (図 2.2(b))， エッ ジ情報 (図 2.2(c)) 及び駆動白色ノ イ ズの分散 (図 2.2(d))
を 示し たも のである . 図 2.2(c) のエッ ジ情報は， θ(m, n) = 0◦ を 黒色， θ(m, n) = 45◦ を
紫色， θ(m, n) = 90◦ を 橙色， θ(m, n) = 135◦ を 黄色， θ(m, n) = 360◦ を 白色に 対応さ せ
て 表示し て いる . 図 2.2(d) の駆動白色ノ イ ズの分散は， 黒色が駆動白色ノ イ ズの大き な 分
散， 白色が駆動白色ノ イ ズの小さ な 分散を 示し て いる .
2.3 劣化画像のモデル
23
(a) 原画像 (Lena)
(b) 原画像の平均 (c) エッ ジ抽出画像
(d) 駆動白色ノ イ ズの分散
図 2.2
原画像の平均， エッ ジ情報及び駆動白色ノ イ ズの分散
2.3 劣化画像のモ デル
劣化画像 {ym,n } は， 線形シス テム で表さ れる 劣化シス テム に よ る 空間的な 劣化を 受け ，
そ の後， 観測時のノ イ ズの付加に よ り 劣化し たと 仮定する ．
ym,n =
X
bk,l xm−k,n−l + um,n
(2.6)
(k,l)∈SB
こ こ で ， {xm,n } は原画像， {bk,l } は劣化を 表す係数， SB は劣化シ ス テ ム のサポー ト ，
{um,n } は， 平均 0， 分散 σu2 の観測時のノ イ ズである ． 観測時のノ イ ズ {um,n } は， 白色
である と 考え ，
E[um,n ] = 0
(2.7)
E[um,n um+k,n+l ] = σu2 δk,0 δl,0
(2.8)
第 2 章 劣化 JPEG 画像の鮮明化
24
と 仮定する . ま た， 劣化を 表す係数 {bk,l } は， 次式で与え ら れる ．
bk,l =
Z
k+ 21
k− 21
Z
l+ 21
b(x, y)dxdy (2.9)
l− 12
こ こ で， b(x, y) は， 点拡がり 関数 (Point Spread Function,PSF) である . ま た， 劣化過程
の行列・ ベク ト ル表現は次式で与え ら れる .
y = Bx + u
(2.10)
こ こ で， y は劣化画像ベク ト ル， x は原画像ベク ト ル， u は観測時のノ イ ズベク ト ルであ
り ， B は劣化を 表す係数 {bk,l } を 要素と し て 持つ， 線形劣化シス テム に 対応する 行列であ
る . ま た観測時のノ イ ズベク ト ル u は， 白色である と 考え ，
E[u] = 0
(2.11)
E[uuT ] = σu2 I
(2.12)
と な る . こ こ で， I は単位行列である .
2.4 JPEG 符号化・ 復号化モ デル
劣化画像 y の符号画像 z y は， 次式で与え ら れる ．
z y = Q[Cy]
(2.13)
こ こ で， C は画像全体に 対する サイ ズ 8 × 8 のブロ ッ ク 離散コ サイ ン 変換， Q[ ] は量子化
を 表す．
符号画像 z y の復号画像 ẏ は， 次式で与え ら れる ．
ẏ = C−1 Q−1 [z y ]
(2.14)
こ こ で， C−1 は画像全体に 対する サイ ズ 8 × 8 画素のブロ ッ ク 離散コ サイ ン 逆変換， Q−1 [
] は逆量子化を 表す．
2.5 複合的な劣化過程モ デル
空間的な 劣化と ， JPEG 符号化・ 復号化と に よ り 画像が複合的な 劣化を 受け る 場合， 複
合的な 劣化過程モデルを 考え る 必要がある . 式 (2.13) 及び式 (2.14) よ り ，
ẏ = C−1 Q−1 [Q[Cy]] (2.15)
2.6 複合的な 劣化過程のス ペク ト ル特性
25
と な る . こ こ で ， C は画像全体に 対する サイ ズ 8 × 8 のブ ロ ッ ク 離散コ サイ ン 変換， Q[
] は量子化， C−1 は画像全体に 対する サイ ズ 8 × 8 画素のブ ロ ッ ク 離散コ サイ ン 逆変換，
Q−1 [ ] は逆量子化を 示し て お り ， 量子化 Q[ ] 及び逆量子化 Q−1 [ ] が行われる こ と に よ
り ， 量子化ノ イ ズ v が生じ る ため， 式 (2.15) は以下のよ う に な る .
ẏ = C−1 (Cy + v)
(2.16)
ま た， 上式に 式 (2.10) を 代入する こ と に よ り ，
ẏ = C−1 {C (Bx + u) + v}
= Bx + u + C−1 v
(2.17)
と な る . こ こ で， 本研究で扱う 劣化 JPEG 画像は， 量子化ノ イ ズ v に 比べて 観測時付加ノ
イ ズ u が十分小さ いも のを 想定し て いる こ と から ， 観測時付加ノ イ ズ u を 無視でき る も
のと みな し ，
ẏ = Bx + C−1 v
(2.18)
と 仮定する . つま り ， 原画像 x が空間的劣化 (B) を 受け ， さ ら に 量子化ノ イ ズ v を ブロ ッ
ク 離散コ サイ ン 逆変換し た も のが加わり ， 復号画像 (劣化 JPEG 画像)ẏ が得ら れる と 解
釈でき る ． 量子化ノ イ ズ v の自己共分散行列を Rv と する と ，
Rv = E[vv T ] = Diagonal
(2.19)
と なる .
2.6 複合的な劣化過程のス ペク ト ル特性
前節で示し た， 空間的な 劣化と JPEG 符号化・ 復号化に よ る 複合的な 劣化過程のス ペク
ト ル特性に ついて 示す . 図 2.3 は， 原画像 (図 2.3(a)) を 鉛直下向き の方向に 10 画素の長
さ (L = 10) で運動劣化する こ と に よ り 得ら れた運動劣化画像 (図 2.3(b)) に 対し ， さ ら に
JPEG 符号化・ 復号化を 行っ て 得ら れた 運動劣化 JPEG 画像 (図 2.3(c)) を 示し て いる .
ま た， 原画像 (図 2.3(a)) の DCT ス ペク ト ルを 図 2.3(d) に ， 運動劣化画像 (図 2.3(b)) の
DCT ス ペク ト ルを 図 2.3(e) に ， 運動劣化 JPEG 画像 (図 2.3(c)) の DCT ス ペク ト ルを
図 2.3(f) に 示す . 図 2.3 よ り ， JPEG 符号化・ 復号化に よ っ て 高周波数成分が低下し て い
る こ と がわかる . 図 2.4 は， 従来法の復元処理過程に おけ る ， 原画像 (Lena)， 運動劣化画
像 (L = 10) 運動劣化 JPEG 画像 (L = 10) のパワ ース ペク ト ルを 示し て いる . 図 2.4 は，
運動劣化画像 (L = 10) と 運動劣化 JPEG 画像 (L = 10) のパワ ース ペク ト ルを 示し て お
り ， JPEG 符号化・ 復号化に おけ る 量子化ノ イ ズの影響に よ り ， 中周波数から 高周波数領
第 2 章 劣化 JPEG 画像の鮮明化
26
(a) 原画像
(b) 運動劣化画像
(c) 運動劣化 JPEG 画像
(L = 10)
(L = 10)
DCT Spectrum_ori
1e+04
1e+03
100
DCT Spectrum_motionblur
1e+04
1e+03
100
10
1
0.1
10000
DCT Spectrum
1
0.01
10000
DCT
Spectrum
100
1
0.01
0
0
0
2
2
k
DCT Spectrum_jpeg_motionblur
1e+04
1e+03
100
10
1
0.1
10000
DCT
Spectrum
100
1
0.01
100
k
4
2
k
4
6
6
0
6
4
2
0
2
l
4
4
6
6
0
2
l
4
6
l
(d) 原画像の
(e) 運動劣化画像の
(f) 運動劣化 JPEG 画像の
DCT ス ペク ト ル
DCT ス ペク ト ル
DCT ス ペク ト ル
図 2.3
運動劣化 JPEG 過程の DCT ス ペク ト ル (Lena)
域での， 運動劣化 JPEG 画像のパワ ース ペク ト ルが， 運動劣化画像のパワ ース ペク ト ル
よ り も 高く な っ て いる ．
2.7 エッ ジ 情報の抽出
エッ ジ情報の抽出は， 以下に 示すよ う に ， コ ン パス・ オペレ ータ [10] と 判別基準法 [18]
に 基づく 閾値処理に よ り 行う ．
コ ン パス・ オ ペレ ータ
コ ン パス ・ オペレ ータ を ， 原画像 {xm,n } に ， 適用する ．
φm,n
1
1
X
X
ck,l (θ)xm−k,n−l = arg max θ∈Θ (2.20)
k=−1 l=−1
Θ = {0◦ , 45◦ , 90◦ , 135◦ }
tm,n
1
1
X
X
ck,l (φm,n )xm−k,n−l =
k=−1 l=−1
(2.21)
(2.22)
2.7 エッ ジ情報の抽出
27
10000
Original
Motionblur(L=10)
Motionblur_jpeg(L=10)
Power Spectrum
1000
100
10
1
0.1
0.01
0
0.2
図 2.4
0.4
0.6
0.8
1
Omega
1.2
1.4
1.6
運動劣化 JPEG 過程のパワ ース ペク ト ル
表 2.1 白色化フ ィ ルタ
Whitening Filter.
θ = 0◦
a1,1 (θ)
a1,0 (θ)
a1,−1 (θ)
a0,1 (θ)
a0,0 (θ)
a0,−1 (θ)
a−1,1 (θ) a−1,0 (θ) a−1,−1 (θ)
0
0
2α 0
0
0
θ = 45◦
θ = 90◦
0
0
0 2α
0
2α
0
0
0
0
0
2α
0
0
0
2α 0
0
θ = 135◦
2α 0
θ = 360◦
0
0
α
0
0
0
0
0
α
0
α
2α 0
0
0
2α
0
α
0
こ こ で， {φm,n } は， 位置 (m, n) の画素がエッ ジである と 決定さ れた場合の角度の
候補， {tm,n } はコ ン パス・ オペレ ータ の出力の最大値であり ， {ck,l (θ)} は， 表 2.2
に 示すコ ン パス ・ オペレ ータ の係数である ．
閾値処理 エッ ジ情報 {θ(m, n)} は， 次式に 示すよ う に コ ン パス ・ オペレ ータ の出力 {tm,n }
を 閾値処理する こ と に よ り 得ら れる ． な お， 閾値 T は， 判別基準法 [18] に よ り 決
定する ．
θ(m, n) =
φm,n ,
360,
tm,n ≥ T
tm,n < T
(エッ ジ領域)
(平坦領域)
(2.23)
第 2 章 劣化 JPEG 画像の鮮明化
28
表 2.2 コ ン パス ・ オペレ ータ
Compass Operator.
θ = 0◦
θ = 45◦
θ = 90◦
c1,1 (θ)
c1,0 (θ)
c1,−1 (θ)
1
2
1
2
1
0
1 0
c0,1 (θ)
c0,0 (θ)
c0,−1 (θ)
0
0
0
1
0
2 0
−1
−2
−1
0
−1
−1
c−1,1 (θ) c−1,0 (θ) c−1,−1 (θ)
−2
1 0
−1
−2
−1
θ = 135◦
0
1 2
−1
0 1
−2
−1
0
2.8 駆動白色ノ イ ズの局所分散の推定
2
駆動白色ノ イ ズ {wm,n } の局所分散 {σw
(m, n)} は， 白色化フ ィ ルタ A の出力を ， サイ
ズ (2W + 1) × (2W + 1) の Welch ウ ィ ン ド ウ [19] を 用いる 局所平均に よ り 推定する ．
w = x − µx − A(x − µx )
(2.24)
上式の出力を ŵ と する と ，
µ̂w (m, n) =
W
X
W
X
h̄k,l ŵm+k,n+l
(2.25)
k=−W l=−W
2
σ̂w
(m, n) = max
W
X
W
X
k=−W l=−W
!
2
h̄k,l ŵm+k,n+l
− µ̂2w (m, n), ǫ
(2.26)
2
こ こ で， ǫ は， 上式に おけ る 駆動白色ノ イ ズ {wm,n } の局所分散 {σw
(m, n)} の推定に お
いて ， そ の推定値が異常に 小さ く な ら な いよ う に する た め の閾値で あ る . ま た ， 係数は
{h̄k,l } は， Welch の係数であり ， 次式で与え ら れる .
h̄k,l =
W
X
hk,l
W
X
(2.27)
hi,j
i=−W j=−W
hk,l =
(
1−
k
W +1
2 ) (
1−
l
W +1
2 )
(2.28)
2.9 量子化ノ イ ズの分散の推定
29
2.9 量子化ノ イ ズの分散の推定
ブロ ッ ク 離散コ サイ ン 変換 (サイ ズ 8 × 8) し た領域での自己共分散行列は， 原画像モデ
ルに よ り 計算さ れる 原画像の自己共分散行列 Rx を 用いて ， 次式で与え ら れる ．
E[(CBx)(CBx)T ] = CBE[xxT ]BT CT
= CBRx BT CT
(2.29)
ブ ロ ッ ク 離散コ サイ ン 変換し た 領域で の各周波数 {uk,l (k, l = 0, 1, 2, . . . , 7)} に お いて ，
以下に 示す量子化幅 {∆k,l } の一様量子化が行われる と する と ， 逆量子化後の各周波数
{u̇k,l (k, l = 0, 1, 2, . . . , 7)} は， 次式で表さ れる .

∆
 0,
|uk,l | ≤ 2k,l
∆k,l
u̇k,l =
uk,l + 2
∆k,l

∆k,l ,
∆k,l
2 ≤ |uk,l |
(2.30)
こ こ で， [ ] はガウ ス の記号であ る . ま た ， 次式で示すラ プラ ス 分布を 仮定する ． こ れは，
予測誤差や直交変換後の係数の確率分布と し て ， ガウ ス 分布よ り も ラ プラ ス 分布の方が現
実の分布に 近いから である .
αk,l −αk,l |u|
e
2
2
= 2
αk,l
puk,l (u) =
(2.31)
σu2 k,l
(2.32)
量子化ノ イ ズの分散は， 以下に よ り 求めら れる [6]．
E (uk,l − u̇k,l )2
 ∆
Z k,l
2
=2
u2 puk,l (u)du
 0
+ lim
N→∞
N Z
X
n=1
(l+ 21 )∆k,l
(l− 12 )∆k,l
(2.33)
(u − n∆k,l )2 puk,l (u)du
∆k,l
2
1
= 2 −
αk,l
αk,l sinh αk,l ∆k,l
2
)
(2.34)
第 2 章 劣化 JPEG 画像の鮮明化
30
2.10 鮮明化の評価規準
ベイ ズの定理よ り ， 劣化 JPEG 画像 ẏ が与え ら れた場合の， 原画像 x の確率密度関数
p(x|ẏ) は， 次式と な る .
p(x|ẏ) =
p(ẏ|x)p(x)
p(ẏ)
(2.35)
こ こ で ， p(ẏ|x) は原画像 x が与え ら れた 場合の， 劣化 JPEG 画像 ẏ の確率密度関数，
p(x) は原画像 x の確率密度関数， p(ẏ) は劣化 JPEG 画像 ẏ の確率密度関数である .
上式に おいて ， 劣化 JPEG 画像 ẏ の確率密度関数 p(ẏ) は， ẏ が与え ら れた段階で定数
と な る ので， p(ẏ|x)p(x) が最大と な る x を 求めればよ い . 鮮明化画像 x̂ の評価基準 J(x̂)
を 上式右辺の分子の対数と し て 定義する ．
J(x̂) = − ln p(ẏ|x̂)p(x̂)
(2.36)
ま ず， 原画像 x が与え ら れた 場合の， 劣化 JPEG 画像 ẏ の確率密度関数 p(ẏ|x) を ガ
ウ ス 分布と 仮定する .
p(ẏ|x) =
1
(2π)
MN
2
|Rẏ|x |
1
2
− 21 (ẏ −µẏ|x )T R−1
(ẏ −µẏ|x )
ẏ|x
e
(2.37)
こ こ で， M は垂直方向の画像サイ ズ， N は水平方向の画像サイ ズ， µẏ|x は， 原画像 x が
与え ら れたと いう 条件下での劣化 JPEG 画像 ẏ の平均を 意味し ， Rẏ|x は， 同様に ， 原画
像 x が与え ら れた と いう 条件下での劣化 JPEG 画像 ẏ の自己共分散行列を 意味する . 平
均 µẏ|x 及び， 自己共分散行列 Rẏ|x は，
µẏ|x = E[ẏ|x] = Bx
(2.38)
Rẏ|x = E[(ẏ − µẏ|x )(ẏ − µẏ|x )T |x] = C−1 Rv (C−1 )T
(2.39)
と な り ， こ れら を 式 (2.37) に 代入する と ， 次式と な る ．
p(ẏ|x) =
1
(2π)
MN
2
e− 2 {C(ẏ −Bx)}
1
|C−1 Rv (C−1 )T |
1
2
T
R−1
v {C(ẏ −Bx)}
(2.40)
ま た， 原画像 x の確率密度関数 p(x) は， 次式を 用いる ． つま り ， 原画像 x に 対し て ガウ
ス 分布を 仮定する .
p(x) =
1
(2π)
MN
2
e− 2 (x−µx )
1
|Rx |
1
2
T
R−1
x (x−µx )
(2.41)
2.11 反復処理
31
こ こ で， µx は原画像の平均を 意味し ， Rx は原画像 x の自己共分散行列を 意味する . 自己
共分散行列 Rx は，
Rx = E[(x − µx )(x − µx )T ] = A−1 Rw (A−1 )T
(2.42)
と な り ， こ れを 式 (2.41) に 代入する と ， 次式と な る ．
p(x) =
1
(2π)
MN
2
e− 2 {A(x−µx )}
1
|A−1 Rw (A−1 T )|
1
2
T
R−1
w {A(x−µx )}
(2.43)
以上よ り ， 鮮明化画像の評価基準 J(x̂) は， 次式と な る ．
T
J(x̂) = {C(ẏ − Bx̂)} R−1
v {C(ẏ − Bx̂)}
+ {A(x̂ − µx )}T R−1
w {A(x̂ − µx )}
(2.44)
上式第 1 項は， 鮮明化画像 x̂ は， 単純に 復号し た劣化 JPEG 画像 ẏ と ， 鮮明化画像 x̂ を
空間劣化さ せた画像 Bx̂ と の誤差を ブロ ッ ク 離散コ サイ ン 変換し た領域に おいて ， 量子化
ノ イ ズの分散 Rv で重みづけ し て 評価する こ と を 示し て いる ． ま た， 上式第 2 項は， エッ
ジの位置と 方向を 考慮し た上での画像のな めら かさ を 評価する 項である ．
な お， 正則化復元法に よ る 復元画像の評価規準では， 第 1 項は復元画像の観測画像に 対
する 忠実度， 第 2 項は画像のな めら かさ を 評価する 正則化項であり ， 通常， 第 1 項と 第 2
項と のバラ ン ス を 制御する ために ， 正則化係数を 第 2 項に 対する 乗数と し て 用いる ． 本提
案法では， 第 1 項のブロ ッ ク 離散コ サイ ン 変換領域での重みに 相当する Rv ， およ び第 2
項の空間領域での重みに 相当する Rw と に よ り ， 第 1 項と 第 2 項と のバラ ン ス が制御さ れ
て いる と 考え る こ と ができ る ． ま た ， 具体的に は， 空間的劣化や JPEG 圧縮に よ る 量子
化ノ イ ズの分散は， 第 1 項の評価に 関係する が， 実際の鮮明化処理では， 第 2 項で用いる
原画像モデルに おけ る 白色化フ ィ ルタ の係数 α を 調整する こ と に よ り ， 評価規準の調整を
行う こ と ができ る ．
2.11 反復処理
鮮明化画像の評価規準 (式 (2.44)) に ， 共役勾配法を 適用する こ と に よ り ， 以下の反復
的な 鮮明化処理過程が得ら れる ．
1. ∇J の計算
g (k) = ∇J(x̂(k) )
(2.45)
(k)
(k)
= −2{BT CT R−1
) − AT R−1
− µx )}
v C(ẏ − Bx̂
w A(x̂
(2.46)
2. 収束判定
IF
k g (k) k2 < ǫ
THEN END
(2.47)
第 2 章 劣化 JPEG 画像の鮮明化
32
3. 探索方向の計算
−g (0)
(k)
p =
−g (k) + β (k) p(k−1)
k=0
k≥1
(2.48)
k g (k) k2
k g (k−1) k2
(2.49)
x̂(k+1) = x̂(k) + γ (k) p(k)
(2.50)
γ (k) = argγ min J(x̂(k) + γp(k) )
1
= − g (k)T p(k)
2
(k)
/{(CBp(k) )T R−1
)
v (CBp
(2.51)
β (k) =
4. 鮮明化画像 x̂(k) の更新
(k)
+ (Ap(k) )T R−1
)}
w (Ap
(2.52)
GO TO (1)
2.12 鮮明化度合の評価量
鮮明化画像 {x̂m,n } を 定量的に 評価する ために ， 原画像 {xm,n } と 鮮明化画像 {x̂m,n } の
誤差の自乗和を 用いた． 具体的に は， 式 (2.53) に 示す ISNR(Improvement of Signal-to-
Noise Ratio) を 利用し て ， 原画像 {xm,n } と 劣化 JPEG 画像 {ẏm,n } と の差の分散と ， 原
画像 {xm,n } と 鮮明化画像 {x̂m,n } と の誤差の分散を 用いて 定量的な 評価を 行っ た . ISNR
は， 平均自乗誤差に 基づく 画質改善の評価値であり ， 人間の主観的な 評価と は必ずし も 一
致し な いが， ISNR の数値が高いほど 鮮明化が良好に 行われたこ と を 意味する [16].
ISNR[dB] = 10 log10
M
−1 N−1
X
X
m=0 n=0
M
−1 N−1
X
X
m=0 n=0
(ẏm,n − xm,n )2
(x̂m,n − xm,n )2
(2.53)
2.13 むす び
本章では， 空間的な 劣化と JPEG 符号化・ 復号化に よ る 劣化を 受け た劣化 JPEG 画像
に 対する 鮮明化手法に つ いて 述べた . 劣化 JPEG 画像の画像観測過程を ， 空間的な 劣化
2.13 むすび
と ， ブロ ッ ク 離散コ サイ ン 変換領域での量子化と に よ り モデル化し ， 評価規準に 基づく 鮮
明化手法を 提案し た .
鮮明化処理ア ルゴ リ ズ ム で は， 焦点ずれや運動劣化な ど の空間的な 劣化だ け で な く ，
JPEG 符号化・ 復号化を 画像の劣化過程に 取り 入れる た めに ， ブ ロ ッ ク 離散コ サイ ン 変
換領域での量子化ノ イ ズの分散を 考慮する と と も に ， 悪条件問題に 対する 正則化と し て ，
エッ ジの位置およ び方向を 考慮し た予測フ ィ ルタ を 用いた .
本手法を 用いて 焦点ずれ劣化 JPEG 画像の鮮明化実験を 行っ た 結果を 第 3 章に ， 運動
劣化 JPEG 画像の鮮明化実験を 行っ た 結果を 第 4 章に そ れぞれ示し ， 本手法の有効性を
評価する .
33
34
第3章
焦点ずれ劣化 JPEG 画像の鮮明化
3.1 ま え がき
本章で は， 第 2 章で 述べ た 劣化 JPEG 画像の鮮明化の原理に 沿い， 焦点ずれ劣化と
JPEG 符号化・ 復号化の複合的な 劣化を 受け た 焦点ずれ劣化 JPEG 画像の鮮明化手法に
ついて 述べる .
藤田ら は， こ れま での焦点ずれ劣化画像の鮮明化の研究と し て ， 焦点ずれ劣化画像から
エッ ジ情報を 抽出し ， そ のエッ ジ情報に 基づいて 鮮明化を 行う エッ ジ適応型反復法 [12] を
提案し て いる ． し かし な がら ， こ の手法は JPEG 符号化・ 復号化を 考慮し て おら ず， 焦点
ずれ劣化し た JPEG 画像に 従来法を 適用する と ， ノ イ ズを 増幅さ せて し ま い， 良好な 復
元画像が得ら れな い． そ こ で， 従来法 [12] を 発展さ せ， JPEG 符号化・ 復号化に おけ る ブ
ロ ッ ク 離散コ サイ ン 変換領域での量子化 [6] を 考慮し た焦点ずれ劣化 JPEG 画像の鮮明化
手法を 提案し ， そ の有効性を 検討する .
3.2 焦点ずれ劣化モ デル
焦点ずれ劣化は， 図 3.1 に 示すと おり ， カ メ ラ のピ ン ト 外れに よ っ て ， 点光源が円状の
点拡がり 関数に 拡がる 劣化である . そ の円の半径を 焦点ずれ半径 R と する ．
焦点ずれ劣化と し て ， 次式に 示す画像全体が一様に 劣化する モデルを 仮定する ．
y = Bx ym,n =
X
(3.1)
bk,l xm−k,n−l
(3.2)
(k,l)∈SB
こ こ で， {xm,n } は焦点ずれ劣化し て いな い原画像， x は {xm,n } を ラ ス タ ース キ ャ ン
3.2 焦点ずれ劣化モデル
35
図 3.1
焦点ずれ劣化の点拡がり 関数の模式図
図 3.2
鮮明化処理のフ ロ ーチャ ート
式に 並べた列ベク ト ル , {ym,n } は焦点ずれ劣化画像， y は {ym,n } を ラ ス タ ース キ ャ ン 式
に 並べた 列ベク ト ル , B は焦点ずれ劣化を 作用する 行列， {bk,l } は焦点ずれ劣化を 作用す
る 線形係数を 表す． 焦点ずれ劣化を 作用する 線形係数 {bk,l } は， 次式で与え ら れる .
第3章
36
(a) 原画像
焦点ずれ劣化 JPEG 画像の鮮明化
(b) 焦点ずれ劣化 JPEG 画像
(c) エッ ジ抽出画像
(R = 2.5)
(d) 画像の平均
(e) 駆動白色ノ イ ズの分散
(f) 鮮明化画像
(Rres = 2.5)
図 3.3
bk,l =
Z
k+ 21
k− 21
Z
l+ 21
焦点ずれ劣化 JPEG 画像の鮮明化処理過程
b(x, y)dxdy (3.3)
l− 12
ま た， 焦点ずれ劣化の点拡がり 関数 b(x, y) は，
b(x, y) =
1
,
πR2
0,
p
x2 + y 2 ≤ R
elsewhere
(3.4)
で表さ れる . こ こ で， R は焦点ずれ劣化を 表す点拡がり 関数の半径を 表す． な お， 式 (3.3)
の右辺は解析的に 求め正確な 値を 用いた．
3.3 焦点ずれ劣化 JPEG 画像の鮮明化
3.3.1 鮮明化の処理手順
焦点ずれ劣化 JPEG 画像の鮮明化処理手順は， 図 3.2 のフ ロ ーチ ャ ート に 示すと お り
であり ， 以下の処理手順に よ り 鮮明化を 行う ．
3.3 焦点ずれ劣化 JPEG 画像の鮮明化
· 原画像 (図 3.3(a)) に 式 (3.1) を 適用し ， 焦点ずれ劣化画像 y を 生成する ．
· 焦点ずれ劣化画像 y に 対し て ， 式 (2.13) 及び式 (2.14) に よ り JPEG 符号化・ 復号
化を 行い， 焦点ずれ劣化 JPEG 画像 ẏ(図 3.3(b)) を 得る .
· 焦点ずれ劣化 JPEG 画像 ẏ から ， 式 (2.20)， 式 (2.22)， 式 (2.23) を 用いて エ ッ
ジ 情報 (図 3.3(c)) を 抽出す る ． 図 3.3(c) の エ ッ ジ 情報は ， θ(m, n) = 0◦ を 黒
色， θ(m, n) = 45◦ を 紫色， θ(m, n) = 90◦ を 橙色， θ(m, n) = 135◦ を 黄色，
θ(m, n) = 360◦ を 白色に 対応さ せて 表示し て いる . · 焦点ずれ劣化 JPEG 画像 ẏ から 平均 µy (図 3.3(d)) を 推定する ．
· 焦点ずれ劣化 JPEG 画像 ẏ に 白色化フ ィ ルタ を 作用さ せた 出力 A(ẏ − µy ) から ，
原画像の駆動白色ノ イ ズの分散行列 Rw (図 3.3(e)) を 推定する ． 図 3.3(e) の駆動白
色ノ イ ズの分散は， 黒色が駆動白色ノ イ ズの大き な 分散， 白色が駆動白色ノ イ ズの
小さ な 分散を 示し て いる .
· ブロ ッ ク 離散コ サイ ン 変換領域での量子化ノ イ ズの分散 Rv を 推定する ．
· 評価規準 J(x̂) を 最小化する 鮮明化画像 x̂(図 3.3(f)) を 共役勾配法を 用いて ， 反復
的に 求める ．
3.3.2 計算機実験
本手法の有効性を 確認する ため， 計算機実験を 行っ た . 原画像 (図 3.4(a)) に 対し て ， 焦
点ずれ半径 R = 2.5 と し て 焦点ずれ劣化し た 画像に JPEG 符号化 (0.509[bpp]) を 行い，
そ の復号画像つま り 焦点ずれ劣化 JPEG 画像 (図 3.4(b)) を 生成し た .
ま ず， 従来のエッ ジ適応型反復法 [12] に よ る 処理結果を 示す． 焦点ずれ劣化 JPEG 画
像 (図 3.4(b)) から ， 従来法 [12] に よ り 復元し た 画像が図 3.4(c) で あ り ， 復元画像 (図
3.4(c)) と 原画像 (図 3.4(a)) と の自乗誤差を 濃淡で図示し たも のが， 図 3.4(e) である ． 図
3.4(e) の濃淡表示で は， 黒が大き な 自乗誤差， 白が小さ な 自乗誤差に 対応し て いる ． ま
た ， 従来法に よ る 復元画像 (図 3.4(c)) の顔の部分を 拡大し た 画像を 図 3.4(g) に 示す . 図
3.4(c)， (e)， (g) よ り ， 焦点ずれ劣化 JPEG 画像に 対し て ， 従来法 [12] に よ り JPEG 符
号化・ 復号化を 考慮せずに 劣化画像復元を 行っ たのでは， ノ イ ズを 増大さ せて し ま い， 良
好な 復元画像が得ら れな いこ と がわかる ．
つ ぎ に ， 提案手法に よ る 処理結果を 示す． 焦点ずれ劣化 JPEG 画像 (図 3.4(b)) から ，
提案法を 用いて 鮮明化し た 画像が図 3.4(d) であ り ， 鮮明化画像 (図 3.4(d)) と 原画像 (図
3.4(a)) と の自乗誤差を 図 3.4(e) と 同様に し て 濃淡で図示し た も のが， 図 3.4(f) であ る ．
ま た ， 鮮明化画像 (図 3.4(d)) の顔の部分を 拡大し た 画像を 図 3.4(h) に 示す . 従来法に よ
る 誤差画像 (図 3.4(e)) と 提案法に よ る 誤差画像 (図 3.4(f)) と を 比較する と ， 提案法では
顕著な ノ イ ズの増大は見ら れず， 焦点ずれ劣化 JPEG 画像の鮮明化が良好に 行われて い
37
第3章
38
焦点ずれ劣化 JPEG 画像の鮮明化
る こ と がわかる ．
従来法に よ る 復元画像 (図 3.4(e)) の ISNR が -1.363[dB] であ る のに 対し ， 提案手法に
よ る 鮮明化画像 (図 3.4(f)) の ISNR が 1.270[dB] である こ と から ， 定量的に も ， 画質劣化
が低減さ れて いる こ と が確認でき る ．
原画像 (図 3.4(a))， 焦点ずれ劣化 JPEG 画像 (図 3.4(b))， 従来法に よ る 復元画像 (図
3.4(e))， 提案法に よ る 鮮明化画像 (図 3.4(f)) の輝度値プ ロ フ ァ イ ルを 図 3.5 に 示す． 横
軸は画像水平方向の座標値を 示し て おり ， 縦軸はそ の座標 (画素) の輝度値を 示し て いる ．
画像の平坦領域に おいて は， 従来法に よ る 復元画像では， ノ イ ズの増強が顕著である のに
対し ， 提案法に よ る 鮮明化画像では， ノ イ ズの増強を 抑え ら れて いる こ と がわかる ． ま た，
エッ ジ近傍に おいて は， 提案法に よ る 鮮明化画像のエッ ジの立ち 上がり は， 原画像のエッ
ジの立ち 上がり と 比較し て 殆ど 差はな く ， エッ ジの立ち 上がり を 保持し たま ま ， ノ イ ズの
増強を 抑制し て いる こ と がわかる ． ま た， 従来法に よ る 鮮明化画像では， オーバシュ ート
な ど が発生し て いる こ と がわかる ．
な お， 提案手法の α,W は， 図 3.4 の計算機実験 (Lena,R = 2.5) に おいて ISNR が最大
と な る 値 (α = 0.235,W = 4) を 用いた (図 3.6 参照)． 以下の鮮明化実験に おいて も ， 同
じ 値を 用いた．
図 3.7 は， 原画像 (図 3.7(a))， 焦点ずれ劣化 JPEG 画像 (図 3.7(b))， 提案法に よ る 鮮
明化画像 (図 3.7(c)) と ， 図 3.7(a),(b),(c) のそ れぞれの画像に 対応する DCT ス ペク ト
ル (図 3.7(d),(e),(f)) を 示し て いる . 焦点ずれ劣化 JPEG 画像の DCT ス ペク ト ル (図
3.7(e)) は， 原画像の DCT ス ペク ト ル (図 3.7(d)) に 比べる と ， 高周波数領域に おいて 低
下が認めら れる が， 鮮明化画像の DCT ス ペク ト ル (図 3.7(f)) は高周波数領域が回復し ，
原画像に 近い DCT ス ペク ト ルを 有し て いる こ と がわかる . ま た ， 図 3.8 に 原画像， 焦点
ずれ劣化 JPEG 画像， 鮮明化画像のパワ ース ペク ト ルを 示し て いる . 焦点ずれ劣化 JPEG
画像のパワ ース ペク ト ルは， ほぼ全周波数領域に おいて パワ ーが低下し て いる のに 対し ，
鮮明化画像のパワ ース ペク ト ルは， パワ ーの向上が認めら れる .
他の画像 (House,Baboon) に 対し て ， 同様の計算機実験を 行っ た結果を 表 3.1， 図 3.9，
図 3.10 に 示す． 図 3.9 に おいて ， 平坦領域と エッ ジが主要な 部分と な る House 画像では，
従来法に よ る 復元画像では， エッ ジの近傍に ア ーティ フ ァ ク ト が目立つが， 提案法に よ る
鮮明化画像では， そ れら が抑制でき て いる こ と がわかる ． 図 3.10 に おいて ， 細かな 点や
線が主要な 部分と な る Baboon 画像では， 従来法に よ る 復元画像と 提案法に よ る 鮮明化画
像と では， 鼻の部分の拡大画像を 見る と ， 従来法に よ る 復元画像では一様に ノ イ ズが顕著
である が， 提案法に よ る 鮮明化画像ではノ イ ズが抑制さ れて いる こ と がわかる ．
ま た， 図 3.4(a)， 図 3.9(a)， 図 3.10(a) の原画像に ついて ， 圧縮率 (量子化テーブル ) を
変化さ せて 実験を 行っ た 結果の ISNR を ， 図 3.11 に 示す． 細かな 点や線が主要な 部分と
な る Baboon 画像では， エン ト ロ ピ ーの変化に 対し て ， ISNR の変化は緩やかであ る が，
3.3 焦点ずれ劣化 JPEG 画像の鮮明化
39
表 3.1 計算機実験結果
Image
R
Entropy
Conventional
Proposed
[pixel]
[bpp]
ISNR[dB]
ISNR[dB]
Lena
2.5
0.509
-1.363
1.270
House
2.5
0.387
0.434
1.499
Baboon
2.5
0.527
0.066
0.371
表 3.2 各量子化テ ーブルに 対する 画像の圧縮率
テーブル 1
テーブル 2
テーブル 3
テーブル 4
Entropy
Entropy
Entropy
Entropy
[bpp]
[bpp]
[bpp]
[bpp]
Lena
0.359
0.509
0.631
0.890
House
0.272
0.387
0.472
0.670
Baboon
0.357
0.527
0.668
0.936
Image
表 3.3
量子化テ ーブル 1
l=0
l=1
l=2
l=3
l=4
l=5
l=6
l=7
k=0
16
22
20
32
48
80
102
122
k=1
24
24
28
38
52
116
120
110
k=2
28
26
32
48
80
114
138
112
k=3
28
34
44
58
102
174
160
124
k=4
36
44
74
112
136
218
206
154
k=5
48
70
70
128
162
208
226
184
k=6
98
128
156
174
206
242
240
202
k=7
144
184
190
196
224
200
206
198
Lena 画像や House 画像では， エン ト ロ ピ ーの変化に 対し て ， ISNR の変化が大き く な っ
て いる ． ま た， 圧縮率が小さ い画像ほど ， 鮮明化の効果が大き いこ と がわかる ． 表 3.3 か
ら 表 3.6 は， 量子化テーブルの例を 示し て おり ， 各量子化テーブルに 対する ， 各画像の圧
縮率は， 表 3.2 のと おり である .
図 3.12， 図 3.13， 図 3.14 は， 異な る 焦点ずれ半径 R を 用いた鮮明化実験の結果を 示し
て いる . 原画像 (Lena， House， Baboon) に 対し て ， 焦点ずれ半径 R = 2.5, 3.0, 3.5, 4.0
第3章
40
焦点ずれ劣化 JPEG 画像の鮮明化
表 3.4 量子化テ ーブル 2(JPEG 推奨)
l=0
l=1
l=2
l=3
l=4
l=5
l=6
l=7
k=0
16
11
10
16
24
40
51
61
k=1
12
12
14
19
26
58
60
55
k=2
14
13
16
24
40
57
69
56
k=3
14
17
22
29
51
87
80
62
k=4
18
22
37
56
68
109
103
77
k=5
24
35
35
64
81
104
113
92
k=6
49
64
78
87
103
121
120
101
k=7
72
92
95
98
112
100
103
99
表 3.5
量子化テ ーブル 3
l=0
l=1
l=2
l=3
l=4
l=5
l=6
l=7
k=0
12
8
8
8
9
8
12
9
k=1
9
12
11
11
10
11
11
15
k=2
15
12
12
15
15
18
13
13
k=3
15
13
13
18
11
12
12
12
k=4
12
12
12
11
12
12
12
12
k=5
12
12
12
12
12
12
12
12
k=6
12
12
12
12
12
12
12
12
k=7
12
12
12
12
12
12
12
12
を 用いて 焦点ずれ劣化 JPEG 画像を 生成し ， そ れぞれ劣化に 用いた R と 同じ 値を 用いて
鮮明化処理を 行っ た . 焦点ずれ半径 R が大き く な る に つれて ， 鮮明化画像に 劣化が残る 傾
向が見ら れる が， いずれも 鮮明化の効果が確認でき る こ と から ， 本鮮明化手法に よ り ， 捜
査上有用な 画像情報を 得る こ と が可能と 考え る .
3.4 むす び
本章では， 焦点ずれ劣化と JPEG 符号化・ 復号化の複合的な 劣化を 受け た 焦点ずれ劣
化 JPEG 画像に 対する 鮮明化手法の提案を 行っ た． 焦点ずれ劣化 JPEG 画像の画像観測
過程を ， 焦点ずれ劣化と いう 空間的な 劣化と ， ブロ ッ ク 離散コ サイ ン 変換領域での量子化
ノ イ ズの付加と に よ り モデル化し ， 鮮明化画像の評価規準を 考察し ， そ れに 共役勾配法を
3.4 むすび
41
表 3.6
量子化テ ーブル 4
l=0
l=1
l=2
l=3
l=4
l=5
l=6
l=7
k=0
5
3
4
4
4
3
5
4
k=1
4
4
5
5
5
6
7
12
k=2
8
7
7
7
7
15
11
11
k=3
9
12
11
15
12
12
11
15
k=4
11
11
13
16
28
17
13
14
k=5
26
15
11
11
18
21
18
26
k=6
29
29
31
31
31
13
17
22
k=7
24
22
30
24
28
30
31
30
適用する こ と に よ る 反復的な 鮮明化処理法を 提案し た． ま た， 計算機シミ ュ レ ーショ ン で
は， JPEG 符号化・ 復号化を 考慮し な い従来の劣化画像復元法を ， 劣化 JPEG 画像に 適
用し た場合， ノ イ ズ増幅誤差が大き いが， 提案法ではノ イ ズ増幅誤差を 抑え た鮮明化画像
が得ら れる こ と を 示し た．
第3章
42
(a) 原画像
焦点ずれ劣化 JPEG 画像の鮮明化
(b) 焦点ずれ劣化 JPEG 画像
(R = 2.5 , 0.509[bpp])
(c) 従来法に よ る 復元画像
(d) 提案法に よ る 鮮明化画像
(α = 0.235 , W = 4)
(e) 従来法に よ る 自乗誤差画像
(f) 提案法に よ る 自乗誤差画像
(g) 従来法に よ る 復元画像の
(h) 提案法に よ る 鮮明化画像の
拡大画像 拡大画像 図 3.4 鮮明化処理実験結果 (Lena)
3.4 むすび
43
180
160
Intensity
140
120
100
80
60
Original
Out-of-focus_JPEG
Conventional
Proposed
40
20
200
205
図 3.5
1.2
[dB] 1.1
1
0.9
210
215
220
Pixel
225
230
235
Lena 画像の輝度値プロ フ ァ イ ル
ISNR[dB]
1.25
1.2
1.1
1
5
4
0.2
0.21
0.22
alpha
図 3.6
3
0.23
2
0.24
1
ISNR の α,W に 対する 変化
W
240
第3章
44
(a) 原画像 (Lena)
(b) 焦点ずれ劣化
(c) 提案法に よ る
JPEG 画像 (R = 2.5)
鮮明化画像 (Rres = 2.5)
DCT Spectrum_ori
1e+04
1e+03
100
DCT Spectrum_blur_JPEG
1e+03
100
10
1
10000
DCT Spectrum
10000
DCT
Spectrum
100
1
0.01
100
1
0.01
0
2
2
k
4
2
k
4
6
6
4
2
0
6
DCT Spectrum_resR
1e+04
1e+03
100
10
10000
DCT
Spectrum
100
1
0.01
0
0
k
焦点ずれ劣化 JPEG 画像の鮮明化
0
2
l
4
4
6
6
0
2
l
4
6
l
(d) 原画像の
(e) 焦点ずれ劣化
(f) 提案法に よ る
DCT ス ペク ト ル
JPEG 画像の
鮮明化画像の
DCT ス ペク ト ル
DCT ス ペク ト ル
図 3.7
鮮明化画像の DCT ス ペク ト ル (Lena)
10000
Original
Out-of-Focus_jpeg(R=2.5)
Restored(R_res=2.5)
Power Spectrum
1000
100
10
1
0.1
0
0.2
0.4
0.6
0.8
1
Omega
1.2
図 3.8 焦点ずれ劣化 JPEG 過程のパワ ース ペク ト ル
1.4
1.6
3.4 むすび
45
(a) 原画像
(b) 焦点ずれ劣化 JPEG 画像
(R = 2.5, 0.386[bpp])
(c) 従来法に よ る 復元画像
(d) 提案法に よ る 鮮明化画像
(α = 0.235 , W = 4)
(e) 従来法に よ る 自乗誤差画像
(f) 提案法に よ る 自乗誤差画像
(g) 従来法に よ る 復元画像の
(h) 提案法に よ る 鮮明化画像の
拡大画像
拡大画像 図 3.9 鮮明化処理実験結果 (House)
第3章
46
(a) 原画像
焦点ずれ劣化 JPEG 画像の鮮明化
(b) 焦点ずれ劣化 JPEG 画像
(R = 2.5, 0.526[bpp])
(c) 従来法に よ る 復元画像
(d) 提案法に よ る 鮮明化画像
(α = 0.235, W = 4)
(e) 従来法に よ る 自乗誤差画像
(f) 提案法に よ る 自乗誤差画像
(g) 従来法に よ る 復元画像の
(h) 提案法に よ る 鮮明化画像の
拡大画像
拡大画像 図 3.10
鮮明化処理実験結果 (Baboon)
3.4 むすび
47
3.5
3
ISNR[dB]
2.5
2
1.5
1
0.5
Lena
House
Baboon
0
-0.5
0.2
0.3
0.4
0.5
0.6
0.7
Entropy[bpp]
図 3.11
Entropy と ISNR の関係
0.8
0.9
1
第3章
48
焦点ずれ劣化 JPEG 画像の鮮明化
(a) 焦点ずれ JPEG 画像
(b) 鮮明化画像 (R = 2.5 , 0.509[bpp])
(ISN R = 1.35[dB])
(d) 焦点ずれ JPEG 画像
(e) 鮮明化画像 (R = 3.0 , 0.466[bpp])
(ISN R = 1.22[dB])
(g) 焦点ずれ JPEG 画像
(h) 鮮明化画像 (R = 3.5 , 0.439[bpp])
(ISN R = 1.40[dB])
(j) 焦点ずれ JPEG 画像
(k) 鮮明化画像 (R = 4.0 , 0.415[bpp])
(ISN R = 1.27[dB])
図 3.12
(c) 自乗誤差画像 (f) 自乗誤差画像 (i) 自乗誤差画像 (l) 自乗誤差画像 異な る 焦点ずれ半径 R を 用いた 鮮明化実験結果 (Lena)
3.4 むすび
49
(a) 焦点ずれ JPEG 画像
(b) 鮮明化画像 (R = 2.5 , 0.387[bpp])
(ISN R = 1.49[dB])
(d) 焦点ずれ JPEG 画像
(e) 鮮明化画像 (R = 3.0 , 0.359[bpp])
(ISN R = 1.24[dB])
(g) 焦点ずれ JPEG 画像
(h) 鮮明化画像 (R = 3.5 , 0.340[bpp])
(ISN R = 1.75[dB])
(j) 焦点ずれ JPEG 画像
(k) 鮮明化画像 (R = 4.0 , 0.320[bpp])
(ISN R = 1.63[dB])
図 3.13
(c) 自乗誤差画像 (f) 自乗誤差画像 (i) 自乗誤差画像 (l) 自乗誤差画像 異な る 焦点ずれ半径 R を 用いた 鮮明化実験結果 (House)
第3章
50
焦点ずれ劣化 JPEG 画像の鮮明化
(a) 焦点ずれ JPEG 画像
(b) 鮮明化画像 (R = 2.5 , 0.527[bpp])
(ISN R = 0.357[dB])
(d) 焦点ずれ JPEG 画像
(e) 鮮明化画像 (R = 3.0 , 0.458[bpp])
(ISN R = 0.301[dB])
(g) 焦点ずれ JPEG 画像
(h) 鮮明化画像 (R = 3.5 , 0.416[bpp])
(ISN R = 0.391[dB])
(j) 焦点ずれ JPEG 画像
(k) 鮮明化画像 (R = 4.0 , 0.382[bpp])
(ISN R = 0.322[dB])
図 3.14
(c) 自乗誤差画像 (f) 自乗誤差画像 (i) 自乗誤差画像 (l) 自乗誤差画像 異な る 焦点ずれ半径 R を 用いた 鮮明化実験結果 (Baboon)
51
第4章
運動劣化 JPEG 画像の鮮明化
4.1 ま え がき
本章では， 第 2 章の鮮明化の原理に 沿い， 運動劣化と JPEG 符号化・ 復号化に よ る 複
合的な 劣化を 受け た 運動劣化 JPEG 画像に 対する 鮮明化手法に つ いて 述べる . 劣化過程
を 空間的な 劣化の一つである 運動劣化と ， ブロ ッ ク 離散コ サイ ン 変換領域での量子化ノ イ
ズの付加と に よ り モデル化し ， 鮮明化画像の評価規準を 共役勾配法を 適用する こ と に よ る
反復的な 鮮明化処理法 [20] を 提案し ， そ の有効性を 検討する .
y
0
L
φ
x
b(x,y)
図 4.1
運動劣化の点拡がり 関数の模式図
第 4 章 運動劣化 JPEG 画像の鮮明化
52
4.2 運動劣化モ デル
運動劣化は， 図 4.1 に 示すと おり ， 被写体と カ メ ラ レ ン ズと の相対運動や手ぶれに よ っ
て ， 点光源が線分状の点拡がり 関数に のびる 劣化である . そ の線分の長さ を 運動劣化の長
さ L， 線分と x 軸と の角度を 運動劣化の角度 φ と する ．
被写体と カ メ ラ レ ン ズと の相対運動に よ る 運動劣化と し て ， 次式に 示す画像全体が一様
に 任意方向に 劣化する モデルを 仮定する ．
y = Bx
ym,n =
(4.1)
X
bk,l xm−k,n−l
(4.2)
k,l
こ こ で， {xm,n } は運動劣化し て いな い原画像， x は {xm,n } を ラ ス タ ース キ ャ ン 式に 並
べた列ベク ト ル , {ym,n } は運動劣化画像， y は {ym,n } を ラ ス タ ース キ ャ ン 式に 並べた 列
ベク ト ル , B は運動劣化を 作用する 行列， {bk,l } は運動劣化を 作用する 線形係数を 表す．
運動劣化を 作用する 線形係数 {bk,l } は， 次式で与え ら れる .
bk,l =
Z
k+ 12
k− 21
Z
l+ 21
b(x, y)dxdy (4.3)
l− 12
ま た， 運動劣化の点拡がり 関数 b(x, y) は，
b(x, y) =
1
δ(x sin φ − y cos φ)
L
{u(x cos φ + y sin φ) − u(x cos φ + y sin φ − L)}
(4.4)
で表さ れる . こ こ で， L は運動劣化の長さ ， u() はス テ ッ プ 関数， φ は x 軸と 運動劣化の
点拡がり 関数である 線分と の角度を 表す (図 4.1 参照)． な お， こ の劣化のモデルでは， 被
写体と カ メ ラ の相対的な 運動と し て ， 任意方向の等速直線運動を 想定し て いる ． 垂直方向
の運動劣化の場合， 点拡がり 関数 b(x, y) は， 次式と な る ．
b(x, y) =
1
L δ(y),
0,
0≤x≤L
elsewhere
(4.5)
4.3 運動劣化 JPEG 画像の鮮明化
図 4.2
53
鮮明化処理のフ ロ ーチャ ート
4.3 運動劣化 JPEG 画像の鮮明化
4.3.1 鮮明化処理手順
運動劣化 JPEG 画像の鮮明化処理手順は， 図 4.2 のフ ロ ーチ ャ ート に 示すと お り であ
り ， 以下の処理手順に よ り 鮮明化を 行う ．
· 原画像 (図 4.3(a)) に 式 (4.2) を 適用し ， 運動劣化画像 y を 生成する .
· 運動劣化画像 y に 対し て ， 式 (2.13) 及び式 (2.14) に よ り JPEG 符号化・ 復号化を
行い， 運動劣化 JPEG 画像 ẏ(図 4.3(b)) を 得る ．
· JPEG 符号化・ 復号化を 考慮し な い従来のエッ ジ適応型反復法に よ り ， 運動劣化
JPEG 画像 ẏ から 一時的な 復元画像 x̃(図 4.3(c)) を 得る .
· 一時的な 復元画像 x̃ から エッ ジ情報 (図 4.3(d)) を 抽出する ． 図 4.3(d) のエッ ジ
情報は， θ(m, n) = 0◦ を 黒色， θ(m, n) = 45◦ を 紫色， θ(m, n) = 90◦ を 橙色，
θ(m, n) = 135◦ を 黄色， θ(m, n) = 360◦ を 白色に 対応さ せて 表示し て いる . · 一時的な 復元画像 x̃ から 平均 µx を 推定する ．
第 4 章 運動劣化 JPEG 画像の鮮明化
54
(a) 原画像
(b) 運動劣化 JPEG 画像
(c) 一時的な 復元画像
(L = 10)
(d) エッ ジ抽出画像
図 4.3
(e) 駆動白色ノ イ ズの分散
(f) 鮮明化画像 (Lres = 10)
運動劣化 JPEG 画像の鮮明化処理過程
· 一時的な 復元画像 x̃ に 白色化フ ィ ルタ を 作用さ せた出力 A(x̃ − µx ) から ， 原画像
の駆動白色ノ イ ズの分散行列 Rw (図 4.3(e)) を 推定する ． 図 4.3(e) の駆動白色ノ イ
ズの分散は， 黒色が駆動白色ノ イ ズの大き な 分散， 白色が駆動白色ノ イ ズの小さ な
分散を 示し て いる .
· ブロ ッ ク 離散コ サイ ン 変換領域での量子化ノ イ ズの分散 Rv を 推定する ．
· 評価規準 J(x̂) を 最小化する 鮮明化画像 x̂(図 4.3(f)) を 共役勾配法を 用いて ， 反復
的に 求める ．
4.3.2 計算機実験
本手法の有効性を 確認する ため， 計算機実験を 行っ た . 原画像 (図 4.4(a)) に 対し て ， 運
動劣化の長さ L = 10 と し て 運動劣化し た 画像に JPEG 符号化 (0.515[bpp]) を 行い， そ
の復号画像つま り 運動劣化 JPEG 画像 (図 4.4(b)) を 得た．
ま ず， 従来のエッ ジ適応型反復法 [12] に よ る 処理結果を 示す． 運動劣化 JPEG 画像 (図
4.4(b)) から ， 従来法に よ り 復元し た画像が図 4.4(c) であり ， 復元画像 (図 4.4(c)) と 原画
像 (図 4.4(a)) と の自乗誤差を 濃淡で図示し たも のが， 図 4.4(e) である ． 図 4.4(e) の濃淡
4.3 運動劣化 JPEG 画像の鮮明化
表示では， 黒が大き な 自乗誤差， 白が小さ な 自乗誤差に 対応し て いる ． ま た， 従来法に よ
る 復元画像 (図 4.4(c)) の顔の部分を 拡大し た画像を 図 4.4(g) に 示す . 図 4.4(c)， (e)， (g)
よ り ， 運動劣化 JPEG 画像に 対し て ， 従来法に よ り JPEG 符号化・ 復号化を 考慮せずに
劣化画像復元を 行っ たのでは， 鮮明化が不充分であり ， 良好な 復元画像が得ら れな いこ と
がわかる ．
つぎに ， 提案法に よ る 処理結果を 示す． 従来法に よ る 復元画像 (図 4.4(c)) から ， 提案手
法を 用いて 鮮明化し た画像が図 4.4(f) であり ， 鮮明化画像 (図 4.4(f)) と 原画像 (図 4.4(a))
と の自乗誤差を ， 図 4.4(g) と 同様に し て 濃淡で図示し た も のが， 図 4.4(h) であ る ． 従来
法に よ る 誤差画像 (図 4.4(g)) と 提案手法に よ る 誤差画像 (図 4.4(h)) と を 比較する と ， 運
動劣化 JPEG 画像の鮮明化が良好に 行われて いる こ と がわかる ．
原画像 (図 4.4(a))， 運動劣化 JPEG 画像 (図 4.4(b))， 従来法によ る 復元画像 (図 4.4(e))，
提案法に よ る 鮮明化画像 (図 4.4(f)) の輝度値プ ロ フ ァ イ ルを 図 4.5 に 示す． 横軸は画像
垂直方向の座標値を 示し て お り ， 縦軸はそ の座標 (画素) の輝度値を 示し て いる ． 画像の
平坦領域に おいて は， 従来法に よ る 復元画像では， ノ イ ズの増強が顕著であ る のに 対し ，
提案法に よ る 鮮明化画像では， ノ イ ズの増強を 抑え ら れて いる こ と がわかる ． ま た， エッ
ジ近傍に おいて は， 従来法に よ る 復元画像ではオーバシュ ート が発生し て いる のに 対し ．
提案法に よ る 鮮明化画像のエッ ジの立ち 上がり は， 原画像のエッ ジの立ち 上がり と 比較し
て 殆ど 差はな く ， エッ ジの立ち 上がり を 保持し たま ま ， オーバシュ ート の発生を 抑制し て
いる こ と がわかる ．
な お ， 提案手法に お け る 原画像の相関に 対応する パラ メ ータ α[20], 駆動白色雑音の局
所分散を 求める 際のパラ メ ータ W [20] は， 図 4.4 の計算機実験 (Lena,L = 10) に おいて
ISNR が最大と な る 値 (α = 0.218,W = 4) を 用いた (図 4.6 参照)． 以下の鮮明化実験に
おいて も ， α と W は同じ 値を 用いた．
図 4.7 は， 原画像 (図 4.7(a))， 運動劣化 JPEG 画像 (図 4.7(b))， 提案法に よ る 鮮明化
画像 (図 4.7(c)) と ， 図 4.7(a),(b),(c) のそ れぞれの画像に 対応する DCT ス ペク ト ル (図
4.7(d),(e),(f)) を 示し て いる . 運動劣化 JPEG 画像の DCT ス ペク ト ル (図 4.7(e)) は， 原
画像の DCT ス ペク ト ル (図 4.7(d)) に 比べる と ， 高周波数領域に お いて 低下が認めら れ
る が， 鮮明化画像の DCT ス ペク ト ル (図 4.7(f)) は高周波数領域が回復し ， 原画像に 近い
DCT ス ペク ト ルを 有し て いる こ と がわかる . ま た ， 図 4.8 に 原画像， 運動劣化 JPEG 画
像， 鮮明化画像のパワ ース ペク ト ルを 示し て いる . 運動劣化 JPEG 画像のパワ ース ペク
ト ルは， ほぼ全周波数領域に おいて パワ ーが低下し て いる のに 対し ， 鮮明化画像のパワ ー
ス ペク ト ルは， パワ ーの向上が認めら れる . 特に ， 人間の視覚に 敏感な 低周波数領域に お
いて ， 鮮明化画像のパワ ース ペク ト ルが原画像のパワ ース ペク ト ルと 同程度に 回復し て お
り ， 鮮明化画像 (図 4.7(c)) が視覚的に 良好に 鮮明化さ れて いる こ と に 対応し て いる .
他の画像 (House,Baboon) に 対し て ， 同様の計算機実験を 行っ た 結果を 図 4.9,4.10 に
55
第 4 章 運動劣化 JPEG 画像の鮮明化
56
表 4.1
Image
L
計算機実験結果
Entropy
Conventional
Proposed
[pixel]
[bpp]
ISNR[dB]
ISNR[dB]
Lena
10
0.515
5.10
7.93
House
10
0.353
8.52
9.02
Baboon
10
0.527
2.25
2.98
示す． ま た ， 図 4.1 に ， Lena 画像， House 画像， Baboon 画像に 対する 計算機実験の結
果を ま と めた． 図 4.9 に おいて ， 平坦領域と エッ ジが主要な 部分と な る House 画像では，
従来法に よ る 復元画像では， エッ ジの近傍に ア ーティ フ ァ ク ト が目立つが， 提案法に よ る
鮮明化画像では， そ れら が抑制でき て いる こ と がわかる ． 図 4.10 に おいて ， 細かな 点や
線が主要な 部分と な る Baboon 画像では， 従来法に よ る 復元画像と 提案法に よ る 鮮明化画
像と では， 鼻の部分の拡大画像を 見る と ， 従来法に よ る 復元画像では一様に ノ イ ズが顕著
である が， 提案法に よ る 鮮明化画像ではノ イ ズが抑制さ れて いる こ と がわかる .
ま た ， 図 4.4(a)， 図 4.9(a)， 図 4.10(a) の原画像に ついて ， 運動劣化の長さ L = 10 と
し て ， 圧縮率を 変化さ せて 実験を 行っ た 結果の ISNR を ， 図 4.11 に 示す． 細かな 点や線
が主要な 部分と な る Baboon 画像では， エン ト ロ ピ ーの変化に 対し て ， ISNR の変化は緩
やかである が， Lena 画像や House 画像では， エン ト ロ ピ ーの変化に 対し て ， ISNR の変
化は大き く な っ て いる ． ま た， 圧縮率が小さ い画像ほど ， 鮮明化の効果が大き いこ と がわ
かる ． 表 3.3 から 表 3.6 の各量子化テ ーブルに 対する ， 各画像の圧縮率は， 表 4.2 に 示す
と おり である .
図 4.12， 図 4.13， 図 4.14 は， 異な る 運動劣化の長さ L を 用いた鮮明化実験の結果を 示
し て いる . 原画像 (Lena， House， Baboon) に 対し て ， 運動劣化の長さ L = 10, 15, 20, 25
を 用いて 運動劣化 JPEG 画像を 生成し ， そ れぞれ劣化に 用いた L と 同じ 値を 用いて 鮮明
化処理を 行っ た . 運動劣化の長さ L が大き く な る に つれて ， 鮮明化画像に 劣化が残る 傾向
が見ら れる が， いずれも 鮮明化の効果が確認でき る こ と から ， 本鮮明化手法を 用いる こ と
に よ り ， 捜査上有用な 画像情報を 得る こ と が可能と 考え る .
4.4 むす び
本章では， 運動劣化と JPEG 符号化・ 復号化の複合的な 劣化を 受け た 運動劣化 JPEG
画像に 対する 鮮明化手法の提案を 行っ た ． 運動劣化 JPEG 画像の画像観測過程を ， 運動
劣化と いう 空間的な 劣化と ， ブロ ッ ク 離散コ サイ ン 変換領域での量子化ノ イ ズの付加と に
4.4 むすび
57
表 4.2 各量子化テ ーブルに 対する 画像の圧縮率
テーブル 1
テーブル 2
テーブル 3
テーブル 4
Entropy
Entropy
Entropy
Entropy
[bpp]
[bpp]
[bpp]
[bpp]
Lena
0.359
0.515
0.703
0.994
House
0.246
0.355
0.475
0.720
Baboon
0.341
0.527
0.784
1.119
Image
よ り モデル化し ， 鮮明化画像の評価規準に 共役勾配法を 適用する こ と に よ る 反復的な 鮮明
化処理法を 提案し た． ま た， 計算機シミ ュ レ ーショ ン では， JPEG 符号化・ 復号化を 考慮
し な い従来の劣化画像復元法を ， 運動劣化 JPEG 画像に 適用し た 場合， 鮮明化は不充分
である が， 提案法ではリ ン ギン グを 抑え た鮮明化画像が得ら れる こ と を 示し た．
第 4 章 運動劣化 JPEG 画像の鮮明化
58
(a) 原画像
(b) 運動劣化 JPEG 画像
(L = 10 , 0.515[bpp])
(c) 従来法に よ る 復元画像
(d) 提案法に よ る 鮮明化画像
(ISN R = 5.10[dB])
(α = 0.218,W = 4)
(ISN R = 7.93[dB])
(e) 従来法に よ る 自乗誤差画像
(f) 提案法に よ る 自乗誤差画像
(g) 従来法に よ る 復元画像の
(h) 提案法に よ る 鮮明化画像の
拡大画像
拡大画像
図 4.4 鮮明化処理実験結果 (Lena)
4.4 むすび
59
180
160
Intensity
140
120
100
80
Original
Motionblur_JPEG
Conventional
Proposed
60
40
40
45
50
55
60
65
70
75
Pixel
図 4.5
Lena 画像の輝度値プロ フ ァ イ ル
ISNR[dB]
7.9
7.8
7.6
7.4
7.2
7.8
[dB]
7.6
7.4
7.2
0.2
0.21
alpha0.22
0.23
図 4.6
1
2
3
5
4
W
ISNR の α,W に 対する 変化
6
7
80
第 4 章 運動劣化 JPEG 画像の鮮明化
60
(a) 原画像
(b) 運動劣化 JPEG 画像
(c) 提案法に よ る 鮮明化画像
(L = 10)
(Lres = 10)
DCT Spectrum_ori
1e+04
1e+03
100
DCT Spectrum_jpeg_motionblur
1e+04
1e+03
100
10
1
0.1
10000
DCT Spectrum
1
0.01
10000
DCT
Spectrum
100
1
0.01
0
0
0
2
2
k
DCT Spectrum_res_jpeg_motionblur
1e+04
1e+03
100
10
1
10000
DCT
Spectrum
100
1
0.01
100
k
4
2
k
4
6
6
4
2
0
6
0
2
l
4
4
6
6
0
2
l
4
6
l
(d) 原画像の
(e) 運動劣化
(f) 提案法に よ る
DCT ス ペク ト ル
JPEG 画像の
鮮明化画像の
DCT ス ペク ト ル
DCT ス ペク ト ル
図 4.7
鮮明化画像の DCT ス ペク ト ル (Lena)
10000
Original
Motionblur_jpeg(L=10)
Restored(L_res=10)
Power Spectrum
1000
100
10
1
0.1
0
0.2
0.4
0.6
0.8
1
Omega
1.2
図 4.8 運動劣化 JPEG 過程のパワ ース ペク ト ル
1.4
1.6
4.4 むすび
61
(a) 原画像
(b) 運動劣化 JPEG 画像
(L = 10 , 0.353[bpp])
(c) 従来法に よ る 復元画像
(d) 提案法に よ る 鮮明化画像
(ISN R = 8.52[dB]) (α = 0.218,W = 4)
(ISN R = 9.02[dB])
(e) 従来法に よ る 自乗誤差画像
(f) 提案法に よ る 自乗誤差画像
(g) 従来法に よ る 復元画像の
(h) 提案法に よ る 鮮明化画像の
拡大画像
拡大画像
図 4.9 鮮明化処理実験結果 (House)
第 4 章 運動劣化 JPEG 画像の鮮明化
62
(a) 原画像
(b) 運動劣化 JPEG 画像
(L = 10 , 0.527[bpp])
(c) 従来法に よ る 復元画像
(d) 提案法に よ る 鮮明化画像
(ISN R = 2.25[dB]) (α = 0.218,W = 4)
(ISN R = 2.98[dB])
(e) 従来法に よ る 自乗誤差画像
(f) 提案法に よ る 自乗誤差画像
(g) 従来法に よ る 復元画像の
(h) 提案法に よ る 鮮明化画像の
拡大画像
拡大画像
図 4.10
鮮明化処理実験結果 (Baboon)
4.4 むすび
63
10
ISNR[dB]
8
6
4
2
House
Lena
Baboon
0
0.2
0.4
0.6
0.8
Entropy[bpp]
図 4.11
Entropy と ISNR の関係
1
1.2
第 4 章 運動劣化 JPEG 画像の鮮明化
64
(a) 運動劣化 JPEG 画像
(b) 鮮明化画像 (L = 10 , 0.515[bpp])
(ISN R = 7.93[dB])
(d) 運動劣化 JPEG 画像
(e) 鮮明化画像 (L = 15 , 0.460[bpp])
(ISN R = 7.87[dB])
(g) 運動劣化 JPEG 画像
(h) 鮮明化画像 (L = 20 , 0.424[bpp])
(ISN R = 7.35[dB])
(j) 運動劣化 JPEG 画像
(k) 鮮明化画像 (L = 25 , 0.400[bpp])
(ISN R = 7.21[dB])
図 4.12
(c) 自乗誤差画像 (f) 自乗誤差画像 (i) 自乗誤差画像 (l) 自乗誤差画像 異な る 運動劣化の長さ L を 用いた 鮮明化実験結果 (Lena)
4.4 むすび
65
(a) 運動劣化 JPEG 画像
(b) 鮮明化画像 (L = 10 , 0.355[bpp])
(ISN R = 8.85[dB])
(d) 運動劣化 JPEG 画像
(e) 鮮明化画像 (L = 15 , 0.318[bpp])
(ISN R = 8.19[dB])
(g) 運動劣化 JPEG 画像
(h) 鮮明化画像
(L = 20 , 0.296[bpp])
(ISN R = 6.87[dB])
(j) 運動劣化 JPEG 画像
(k) 鮮明化画像 (L = 25 , 0.279[bpp])
(ISN R = 6.39[dB])
(c) 自乗誤差画像 (f) 自乗誤差画像 (i) 自乗誤差画像 (l) 自乗誤差画像 図 4.13 異な る 運動劣化の長さ L を 用いた 鮮明化実験結果 (House)
第 4 章 運動劣化 JPEG 画像の鮮明化
66
(a) 運動劣化 JPEG 画像
(b) 鮮明化画像 (L = 10 , 0.527[bpp])
(ISN R = 2.98[dB])
(d) 運動劣化 JPEG 画像
(e) 鮮明化画像 (L = 15 , 0.450[bpp])
(ISN R = 2.88[dB])
(g) 運動劣化 JPEG 画像
(h) 鮮明化画像 (L = 20 , 0.411[bpp])
(ISN R = 2.98[dB])
(j) 運動劣化 JPEG 画像
(k) 鮮明化画像 (L = 25 , 0.387[bpp])
(ISN R = 3.06[dB])
図 4.14
(c) 自乗誤差画像 (f) 自乗誤差画像 (i) 自乗誤差画像 (l) 自乗誤差画像 異な る 運動劣化の長さ L を 用いた 鮮明化実験結果 (Baboon)
67
第5章
劣化 JPEG 画像の劣化パラ メ ータ
推定
5.1 ま え がき
第 3 章及び第 4 章では， 劣化パラ メ ータ が既知の場合に お け る ， 焦点ずれ劣化 JPEG
画像及び運動劣化 JPEG 画像の鮮明化実験を 行い， 劣化 JPEG 画像に 対する 鮮明化手法
の有効性を 示し た . ただし 実際に は， 劣化パラ メ ータ は未知であ り ， 鮮明化処理を 行う 際
に は劣化パラ メ ータ の推定が必要と な る ． 鮮明化処理に 用いる 劣化パラ メ ータ が不適切な
場合， そ の鮮明化画像は劣悪な も のに な る ため， 適切な 劣化パラ メ ータ を 推定する こ と が
不可欠と な る ． そ こ で本章では， 劣化 JPEG 画像に 対する 劣化パラ メ ータ の推定手法に
ついて 検討を 行う .
5.2 従来の劣化パラ メ ータ 推定
従来の復元処理過程は， 図 5.1 に 示すよ う に ， 劣化画像から 劣化パラ メ ータ の推定を 行
い， 推定し た劣化パラ メ ータ を 用いて 復元処理を 行う も のであっ た． 従来の劣化パラ メ ー
タ 推定法と し て ， 代表的な 手法である ， 最尤推定法 [9] に ついて 簡潔に 述べる ．
5.2.1 最尤推定法
第 1 章で示し たと おり ， 最尤推定法は尤度関数を 最大と する 推定法であり ， 対数尤度関
数は次式で示さ れる .
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
68
図 5.1
従来の復元処理過程
L(θ) ≡ ln p(θ)
MN
1
1
=−
ln 2π − ln |Ry | − (y − µy )T Ry −1 (y − µy )
2
2
Z Z2 π
1
MN
ln Sy (ω1 , ω2 , θ)dω1 dω2
−
≃−
2
2
−π
Z Z π
1
S̃y (ω1 , ω2 )
−
dω1 dω2
2
−π Sy (ω1 , ω2 , θ)
(5.1)
(5.2)
こ こ で， S̃y (ω1 , ω2 ) は標本のパワ ース ペク ト ル， Sy (ω1 , ω2 , θ) はモデルのパワ ース ペク ト
ルであ り ， 標本のパワ ース ペク ト ル S̃y (ω1 , ω2 ) は， 実際の観測画像であ る 劣化画像 y か
ら 計算さ れ， モデルのパワ ース ペク ト ル Sy (ω1 , ω2 , θ) はパラ メ ータ θ を 与え る こ と に よ
り 計算さ れる ． こ の対数尤度関数を 最大化する パラ メ ータ θ が， 劣化画像 y に 対する 推
定パラ メ ータ である ．
5.2.2 最尤推定法の問題点
最尤推定法は， JPEG 符号化・ 復号化に よ る 劣化を 受け て いな い焦点ずれ劣化画像や運
動劣化画像に 対し て ， 推定精度が良いこ と が従来の研究 [24] に よ り 確認さ れて いる が， 空
間的な 劣化に 加え て JPEG 符号化・ 復号化に よ る 劣化を 受け た 焦点ずれ劣化 JPEG 画像
や運動劣化 JPEG 画像に 対し て は， 推定誤差が大き く な る と いう 問題がある ． 表 5.1 は，
9 種類の画像に ついて ， 焦点ずれ劣化画像及び運動劣化画像を 生成し ， 最尤推定法を 用い
5.2 従来の劣化パラ メ ータ 推定
69
表 5.1 劣化画像に 対する 最尤推定法に よ る 劣化パラ メ ータ 推定結果
真値 R
推定値 R̂
真値 L
推定値 L̂
[pixel]
[pixel]
[pixel]
[pixel]
Lena
2.5
2.5
10.0
10.0
House
2.5
2.7
10.0
10.0
Baboon
2.5
2.5 10.0
9.8
Airplane
2.5
2.5
10.0
10.0
Cameraman
2.5
2.5
10.0
10.0
BOAT
2.5
2.5
10.0
10.0
Building
2.5
2.5
10.0
10.0
Lighthouse
2.5
2.5
10.0
10.0
Girl
2.5
2.5
10.0
10.0
Image
て 劣化パラ メ ータ 推定を 行っ た結果を 示し て いる ． 表 5.2 は， 上記同様の 9 種類の画像に
ついて ， 焦点ずれ劣化 JPEG 画像及び運動劣化 JPEG 画像を 生成し ， 最尤推定法を 用い
て 劣化パラ メ ータ 推定を 行っ た結果を 示し て いる ． 焦点ずれ劣化画像及び運動劣化画像に
つ いて は， 劣化パラ メ ータ を 概ね精度良く 推定でき る のに 対し ， 焦点ずれ劣化 JPEG 画
像及び運動劣化 JPEG 画像に ついて は， 劣化パラ メ ータ の推定値が全体的に 真値よ り も
小さ く ， 推定誤差が大き く な っ て いる こ と がわかる ． こ のよ う に 空間的な 劣化に 加え て
JPEG 符号化・ 復号化に よ る 劣化を 受け る こ と で， 劣化パラ メ ータ の推定精度が著し く 低
下し ， 良好な 鮮明化画像を 得る こ と が困難と な る ．
5.2.3 劣化画像及び劣化 JPEG 画像のパワ ース ペク ト ルの比較
図 5.2 は 原画像 (Lena)， 焦点ず れ劣化画像 (R = 2.5)， 焦点ず れ劣化 JPEG 画像
(R = 2.5) を 示し て お り ， 図 5.3 は， そ れに 対応する 原画像 (Lena)， 焦点ずれ劣化画像
(R = 2.5)， 焦点ずれ劣化 JPEG 画像 (R = 2.5) のパワ ース ペク ト ルを 示し て いる ． 図
5.3 よ り ， 焦点ずれ劣化画像のパワ ース ペク ト ルは， 原画像のパワ ース ペク ト ルに 比べて ，
全周波数領域に おいて パワ ーの低下が認めら れる . ま た， 焦点ずれ劣化画像が， JPEG 符
号化・ 復号化を 受け た 焦点ずれ劣化 JPEG 画像のパワ ース ペク ト ルは， 高周波数領域の
パワ ーが高く な っ て いる こ と がわかる . こ れは， JPEG 符号化・ 復号化に よ り ， 高周波数
領域に 量子化ノ イ ズが付加さ れたためと 考え ら れる .
ま た， 図 5.4 は原画像 (Lena)， 運動劣化画像 (L = 10)， 運動劣化 JPEG 画像 (L = 10)
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
70
表 5.2
劣化 JPEG 画像に 対する 最尤推定法に よ る 劣化パラ メ ータ 推定結果
真値 R
推定値 R̂
真値 L
推定値 L̂
[pixel]
[pixel]
[pixel]
[pixel]
Lena
2.5
1.8
10.0
9.7
House
2.5
2.6
10.0
9.9
Baboon
2.5
1.7
10.0
4.9
Airplane
2.5
1.7
10.0
9.6
Cameraman
2.5
1.7
10.0
5.0
BOAT
2.5
1.7
10.0
8.2
Building
2.5
1.7
10.0
9.8
Lighthouse
2.5
1.6
10.0
5.0
Girl
2.5
1.9
10.0
10.4
Image
(a) 原画像
(b) 焦点ずれ劣化画像
(c) 焦点ずれ劣化 JPEG 画像
(R = 2.5)
(R = 2.5)
図 5.2 焦点ずれ劣化 JPEG 過程 (Lena)
を 示し て おり ， 図 5.5 は， そ れに 対応する 原画像 (Lena)， 運動劣化画像 (L = 10)， 運動
劣化 JPEG 画像 (L = 10) のパワ ース ペク ト ルを 示し て いる ． 図 5.5 よ り ， 運動劣化画像
のパワ ー ス ペク ト ルは， 原画像のパワ ー ス ペク ト ルに 比べ て ， 全周波数領域に お いて パ
ワ ーの低下が認めら れる . ま た， 運動劣化画像が， JPEG 符号化・ 復号化を 受け た運動劣
化 JPEG 画像のパワ ース ペク ト ルは， 高周波数領域のパワ ーが高く な っ て いる こ と がわ
かる . こ れは， JPEG 符号化・ 復号化に よ り ， 高周波数領域に 量子化ノ イ ズが付加さ れた
ためと 考え ら れる .
最尤推定法に よ る 劣化パラ メ ータ 推定では， 標本画像 (観測画像) のパワ ース ペク ト ル
と ， 劣化モ デル画像のパワ ース ペク ト ルの誤差を 評価する た め， JPEG 符号化・ 復号化
5.3 鮮明化画像の評価に 基づく 劣化パラ メ ータ 推定
10000
Original
Out-of-Focus(R=2.5)
Out-of-Focus_jpeg(R=2.5)
1000
Power Spectrum
71
100
10
1
0.1
0.01
0
0.2
0.4
0.6
0.8
1
Omega
1.2
1.4
1.6
図 5.3 焦点ずれ劣化 JPEG 過程のパワ ース ペク ト ル
(a) 原画像
(b) 運動劣化画像
(c) 運動劣化 JPEG 画像
(L = 10)
(L = 10)
図 5.4
運動劣化 JPEG 過程 (Lena)
に よ り 量子化ノ イ ズが付加さ れた 影響で， 標本画像 (観測画像) と 劣化モ デル画像と の誤
差が大き く な り ， 劣化パラ メ ータ の推定精度が低下し たも のと 考え ら れる . 上記の理由に
よ り ， 劣化 JPEG 画像から 劣化パラ メ ータ を 直接推定する こ と は困難と 考え ら れる こ と
から ， 劣化 JPEG 画像に 対する ， 劣化パラ メ ータ の推定手法に つ いて 検討を 行う 必要が
ある .
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
72
10000
Original
Motionblur(L=10)
Motionblur_jpeg(L=10)
Power Spectrum
1000
100
10
1
0.1
0.01
0
0.2
0.4
0.6
0.8
1
Omega
1.2
1.4
1.6
図 5.5 運動劣化 JPEG 過程のパワ ース ペク ト ル
5.3 鮮明化画像の評価に基づく 劣化パラ メ ータ 推定
5.3.1 鮮明化画像の評価
前節で示し た と お り ， 空間的な 劣化に 加え て JPEG 符号化・ 復号化に よ る 劣化を 受け
る こ と で， 劣化パラ メ ータ の推定精度が低下し ， 良好な 鮮明化画像を 得る こ と が困難と な
る ． そ こ で， 本研究では， 劣化 JPEG 画像から 劣化パラ メ ータ を 直接推定する のではな
く ， 鮮明化画像から 間接的に 劣化パラ メ ータ 推定を 行う 手法を 提案する ． 具体的に は， 図
5.6 に 示すと おり ， 劣化 JPEG 画像に 対し て ， 劣化パラ メ ータ を 変化さ せな がら 複数の鮮
明化画像を 生成し ， 得ら れた複数の鮮明化画像の中から 評価規準に 基づいて 最良の鮮明化
画像を 選択する ． 劣化 JPEG 画像の真の劣化パラ メ ータ に 対し て ， 鮮明化処理時に 用い
る 劣化パラ メ ータ が小さ い場合， 鮮明化画像は， 劣化が残っ た画像と な り ， 逆に ， 鮮明化
処理に 用いる 劣化パラ メ ータ が大き い場合， 鮮明化画像は， リ ン ギン グの顕著な 画像と な
る ． こ の性質を 用いる こ と に よ り ， 鮮明化画像の評価が行え る と 考え る ．
以下に 実例で示す． 原画像 Lena に 対し て ， 運動劣化の長さ L = 10 と し て 垂直方向に
運動劣化さ せた 後， JPEG 符号化・ 復号化を 行っ て 作成し た 運動劣化 JPEG 画像に 対し
て ， 鮮明化処理時に 用いる 運動劣化の長さ Lres = 8, 10, 12 で鮮明化処理し た 結果を ， 図
5.7(a), 図 5.7(b), 図 5.7(c) に 示す． Lres = 8 を 用いた鮮明化画像 (図 5.7(a)) では， 鮮明
5.3 鮮明化画像の評価に 基づく 劣化パラ メ ータ 推定
図 5.6
73
劣化パラ メ ータ 手法の検討
(a) 鮮明化画像
(b) 鮮明化画像
(c) 鮮明化画像
(Lres = 8)
(Lres = 10)
(Lres = 12) 図 5.7
異な る 運動劣化の長さ Lres を 用いて 鮮明化し た 場合の鮮明化画像
化が不充分であ り ， ま た Lres = 12 を 用いた 鮮明化画像 (図 5.7(c)) では， リ ン ギン グの
発生が顕著である のに 対し ， Lres = 10 を 用いた鮮明化画像 (図 5.7(b)) では， 顕著な リ ン
ギン グの増大は見ら れず， 良好に 鮮明化さ れて いる こ と がわかる ．
具体的な 鮮明化画像の評価と し て は， 鮮明化画像を 白色化する フ ィ ルタ を 定義し ， そ の
白色化フ ィ ルタ の出力画像が， 白色 (パワ ース ペク ト ルが一定) かど う かを ， そ のパワ ー
ス ペク ト ルのゆがみ (3 次のモーメ ン ト ) を 評価する こ と に よ り 行う ． こ れは， 鮮明化処理
時に 用いる 運動劣化の長さ Lres が真の値よ り も 小さ いま た は大き い場合， そ の出力画像
のパワ ース ペク ト ルが一定と はな ら な い特性を 用いて いる ．
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
74
図 5.8
鮮明化処理過程
5.3.2 観測値差分フ ィ ルタ (Measurement Differencing Filter)
図 5.8 に ， 劣化 JPEG 画像の生成過程及び鮮明化処理過程を 示す . 原画像 {xm,n } は，
駆動白色ノ イ ズ {wm,n } に 線形フ ィ ルタ を 適用する こ と に よ り 生成さ れ， そ の原画像が
空間的な 劣化を 受け ， さ ら に 観測時のノ イ ズ {um,n } が付加さ れる こ と に よ っ て 劣化画像
{ym,n } が得ら れる も のと 仮定する . さ ら に 劣化画像が JPEG 符号化・ 復号化を 受け ， 劣
化 JPEG 画像 {ẏm,n } が生成さ れる . そ の劣化 JPEG 画像 {ẏm,n } に 鮮明化フ ィ ルタ を 適
用する こ と に よ り ， 鮮明化画像 {x̂m,n } が得ら れる .
鮮明化が適切に 行われた 場合， 白色化フ ィ ルタ (線形フ ィ ルタ の逆フ ィ ルタ ) を 鮮明化
画像に 適用する こ と に よ り 得ら れた 画像は， そ のパワ ース ペク ト ルが一定 (白色) に 近づ
く も のと 考え ら れる .
本研究では， 画像を 白色化する フ ィ ルタ と し て ， 次式で観測値差分フ ィ ルタ (Measure-
ment Differencing Filter， 以後 MDF と 呼称) を 定義する ．
em,n ≡ fm,n − µf (m, n)
X
−
dk,l {fm−k,n−l − µf (m − k, n − l)}
(5.3)
(k,l)∈SD
SD = {(0, 1), (1, 0), (0, −1), (−1, 0)}
(5.4)
こ こ で， {em,n } は観測値差分フ ィ ルタ の出力画像， {fm,n } は入力画像， {µf (m, n)} は
入力画像 {fm,n } の局所平均， {dk,l } は観測値差分フ ィ ルタ の線形係数である ． ま た， SD
は線形予測に 用いる サポート を 示し て いる ．
5.3 鮮明化画像の評価に 基づく 劣化パラ メ ータ 推定
図 5.9
75
従来法に よ る 復元処理過程
入力画像 {fm,n } が鮮明化画像 {x̂m,n } の場合， 以下のよ う に な る ．
em,n ≡ x̂m,n − µx̂ (m, n)
X
dk,l {x̂m−k,n−l − µx̂ (m − k, n − l)}
−
(5.5)
(k,l)∈SD
SD = {(0, 1), (1, 0), (0, −1), (−1, 0)}
(5.6)
こ こ で， {x̂m,n } は鮮明化画像， {µx̂ (m, n)} は鮮明化画像 {x̂m,n } の局所平均である ．
鮮明化が適切に 行われた 場合， 鮮明化画像に 観測値差分フ ィ ルタ を 適用し た 出力画像
(MDF 出力画像) は， パワ ース ペク ト ルが一定 (白色) に 近づく も のと 考え ら れる . 次節に
おいて ， 従来の復元処理過程の周波数表現を 示し ， 復元画像に 観測値差分フ ィ ルタ を 適用
し た出力画像のパワ ース ペク ト ルが一定 (白色) に な る こ と を 確認する .
5.3.3 観測値差分フ ィ ルタ の復元処理過程への適用例
図 5.9 に 劣化画像の生成過程及び復元処理過程を 示す． 原画像 {xm,n } は， 駆動白色ノ
イ ズ {wm,n } に 線形フ ィ ルタ を 適用する こ と に よ っ て 生成さ れ， 原画像 {xm,n } に 空間
的劣化及び観測時の白色ノ イ ズが付加さ れる こ と に よ っ て 劣化画像 {ym,n } が得ら れる
も のと 仮定する ． そ の劣化画像 {ym,n } に 復元フ ィ ルタ を 適用する こ と に よ り ， 復元画像
{x̂m,n } が得ら れる ． ま た ， 復元画像に 観測値差分フ ィ ルタ (MDF) を 適用する こ と に よ
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
76
り ， MDF 出力画像 {em,n } が得ら れる .
上記の劣化画像の生成過程及び復元処理過程を ， 周波数で表現し たも のを 以下に 示す．
駆動白色ノ イ ズのパワ ースペク ト ル
駆動白色ノ イ ズ {wm,n } の自己共分散関数 Rw (k, l) は， 次式で表わすこ と ができ る ．
Rw (k, l) = E[wm,n wm+k,n+l ]
2
= σw
δk,0 δl,0
(5.7)
よ っ て ， 駆動白色ノ イ ズ {wm,n } のパワ ース ペク ト ル Sw (ω1 , ω2 ) は次式と な る ．
Sw (ω1 , ω2 ) =
=
=
∞
X
∞
X
Rw (k, l)e−jkω1 e−jlω2
k=−∞ l=−∞
∞
∞
X
X
2
σw
δk,0 δl,0 e−jkω1 e−jlω2
k=−∞ l=−∞
2
σw
(5.8)
原画像のパワ ースペク ト ル
原画像 {xm,n } は次式で表すこ と ができ る ．
wm,n = xm,n −
X
ak,l xm−k,n−l
(5.9)
(k,l)∈SA
こ こ で ， {ak,l } は線形予測係数， {SA } は線形予測のサポー ト で あ る ． 駆動白色ノ イ ズ
{wm,n } の自己共分散関数 Rw (p, q) は， 次式で表わすこ と ができ る ．
Rw (p, q) = E[wm,n wm+p,n+q ]
X
= Rx (p, q) −
ak,l Rx (k + p, l + q) −
(k,l)∈S
+
X
(k,l)∈S
ak,l
X
(k′ ,l′ )∈S
X
(k′ ,l′ )∈S
ak′ ,l′ Rx (p − k ′ , q − l′ )
ak′ ,l′ Rx (k + p − k ′ , l + q − l′ )
(5.10)
こ こ で， Rx (p, q) は， 原画像 {xm,n } の自己共分散関数であり ， 次式で表さ れる ．
Rx (p, q) = E[xm,nxm+p,n+q ]
(5.11)
5.3 鮮明化画像の評価に 基づく 劣化パラ メ ータ 推定
77
式 (5.10) を 離散フ ーリ エ変換する こ と に よ り ， 駆動白色ノ イ ズ {wm,n } のパワ ース ペク
ト ル Sw (ω1 , ω2 ) と ， 原画像 {xm,n } のパワ ース ペク ト ル Sx (ω1 , ω2 ) と の関係式を 得る ．
∞
X
Sw (ω1 , ω2 ) =
∞
X
Rw (p, q)e−jpω1 e−jqω2
p=−∞ q=−∞
= Sx (ω1 , ω2 )|1 − A(e−jω1 , e−jω2 )|2
(5.12)
と な る ． こ こ で，
A(e−jω1 , e−jω2 ) =
X
ak,l e−jkω1 e−jlω2
(5.13)
(k,l)
である ．
し たがっ て ， 原画像 {xm,n } のパワ ース ペク ト ル Sx (ω1 , ω2 ) は次式と な る ．
1
Sx (ω1 , ω2 ) =
|1 − A(e−jω1 , e−jω2 )|2
2
σw
=
|1 − A(e−jω1 , e−jω2 )|2
Sw (ω1 , ω2 )
(5.14)
観測時白色ノ イ ズのパワ ースペク ト ル
観測時に 付加さ れる 白色ノ イ ズ {um,n } の自己共分散関数 Ru (k, l) は， 次式で表すこ と
ができ る ．
Ru (k, l) = E[um,n um+k,n+l ]
= σu2 δk,0 δl,0
(5.15)
よ っ て ， 観測時に 付加さ れる 白色ノ イ ズ {um,n } のパワ ース ペク ト ル Su (ω1 , ω2 ) は次
式と な る ．
Su (ω1 , ω2 ) =
=
=
∞
X
∞
X
k=−∞ l=−∞
∞
∞
X
X
Ru (k, l)e−jkω1 e−jlω2
σu2 δk,0 δl,0 e−jkω1 e−jlω2
k=−∞ l=−∞
σu2
(5.16)
劣化画像のパワ ースペク ト ル
劣化画像 {ym,n } は次式で表すこ と ができ る ．
ym,n =
X
(k,l)∈SB
bk,l xm−k,n−l + um,n
(5.17)
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
78
こ こ で， {bk,l } は劣化を 表す点拡がり 関数， {SB } は劣化シス テム のサポート である ．
劣化画像 {ym,n } の自己共分散関数 Ry (p, q) は， 次式で表すこ と ができ る ．
Ry (p, q) = E[ym,nym+p,n+q ]
∞
∞
∞
X
X
X
=
(5.18)
∞
X
k=−∞ l=−∞ k′ =−∞ l′ =−∞
+σu2 δp,0 δq,0
bk,l bk′ ,l′ Rx (k + p − k ′ , l + q − l′ )
(5.19)
(∵ E[xm,n um+p,m+q ] = 0)
(5.20)
劣化画像 {ym,n } の自己共分散関数 Ry (p, q) を 離散フ ーリ エ変換する こ と に よ り ， 劣化
画像 {ym,n } のパワ ース ペク ト ル Sy (ω1 , ω2 ) を 求める こ と ができ ， 次式で表せる ．
Sy (ω1 , ω2 ) =
∞
X
∞
X
Ry (p, q)e−jpω1 e−jqω2
p=−∞ q=−∞
= |B(e−jω1 , e−jω2 )|2 Sx (ω1 , ω2 ) + Su (ω1 , ω2 )
|B(e−jω1 , e−jω2 )|2
Sw (ω1 , ω2 ) + Su (ω1 , ω2 )
=
|1 − A(e−jω1 , e−jω2 )|2
|B(e−jω1 , e−jω2 )|2
σ 2 + σu2
=
|1 − A(e−jω1 , e−jω2 )|2 w
(5.21)
こ こ で，
B(e−jω1 , e−jω2 ) =
X
bk,l e−jkω1 e−jlω2
(5.22)
(k,l)
である ．
ま た， 復元フ ィ ルタ に よ る 復元画像 {x̂m,n } は， 次式で表すこ と ができ る ．
x̂m,n =
X
gk,l ym−k,n−l
(5.23)
(k,l)∈SG
こ こ で， {gk,l } は復元フ ィ ルタ の線形係数， {SG } は復元シス テム のサポート である ．
復元画像のパワ ースペク ト ル
復元画像 {x̂m,n } の自己共分散関数 Rx̂ (p, q) は， 次式で表すこ と ができ る ．
Rx̂ (p, q) = E[x̂m,nx̂m+p,n+q ]
∞
∞
∞
X
X
X
=
k=−∞ l=−∞
∞
X
k′ =−∞ l′ =−∞
gk,l gk′ ,l′ Ry (k + p − k ′ , l + q − l′ )
(5.24)
復元画像 {x̂m,n } の自己共分散関数 Rx̂ (p, q) を 離散フ ーリ エ変換する こ と に よ り ， 復元
5.3 鮮明化画像の評価に 基づく 劣化パラ メ ータ 推定
79
画像 {x̂m,n } のパワ ース ペク ト ル Sx̂ (ω1 , ω2 ) を 求める こ と ができ ， 次式で表せる ．
Sx̂ (ω1 , ω2 ) =
∞
X
∞
X
Rx̂ (p, q)e−jpω1 e−jqω2
p=−∞ q=−∞
= |G(e−jω1 , e−jω2 )|2 Sy (ω1 , ω2 )
=
|G(e−jω1 , e−jω2 )|2 |B(e−jω1 , e−jω2 )|2 2
σw
|1 − A(e−jω1 , e−jω2 )|2
+|G(e−jω1 , e−jω2 )|2 σu2
(5.25)
こ こ で，
G(e−jω1 , e−jω2 ) =
X
gk,l e−jkω1 e−jlω2
(5.26)
(k,l)
である ．
復元画像の観測値差分フ ィ ルタ 出力のパワ ースペク ト ル
復元画像 {x̂m,n } の MDF 出力画像 {em,n } の自己共分散関数 Re (p, q) は， 次式で表す
こ と ができ る ．
Re (p, q) = E[em,n em+p,n+q ]
∞
∞
∞
X
X
X
= Rx̂ (p, q) −
dk,l Rx̂ (k + p, l + q) −
+
∞
X
k=−∞ l=−∞
∞
∞
∞
X
X
X
k=−∞ l=−∞
k′ =−∞ l′ =−∞
∞
X
k′ =−∞ l′ =−∞
Rx̂ (p − k ′ , q − l′ )
dk,l dk′ ,l′ Rx̂ (k + p − k ′ , l + q − l′ )
(5.27)
復元画像 {x̂m,n } の MDF 出力画像 {em,n } のパワ ース ペク ト ル Se (ω1 , ω2 ) は， 復元画
像 {x̂m,n } の MDF 出力画像 {em,n } の自己共分散関数 Re (p, q) を 離散フ ーリ エ変換する
こ と に よ り ， 求める こ と ができ ， 次式で表せる ．
Se (ω1 , ω2 ) =
∞
X
∞
X
Re (p, q)e−jpω1 e−jqω2
p=−∞ q=−∞
= |1 − D(e−jω1 , e−jω2 )|2 Sx̂ (ω1 , ω2 )
|1 − D(e−jω1 , e−jω2 )|2 |G(e−jω1 , e−jω2 )|2 |B(e−jω1 , e−jω2 )|2 2
=
σw
|1 − A(e−jω1 , e−jω2 )|2
+|1 − D(e−jω1 , e−jω2 )|2 |G(e−jω1 , e−jω2 )|2 σu2
(5.28)
(5.29)
こ こ で，
D(e−jω1 , e−jω2 ) =
X
(k,l)
dk,l e−jkω1 e−jlω2
(5.30)
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
80
である ．
復元フ ィ ルタ G(e−jω1 , e−jω2 ) がウ ィ ナーフ ィ ルタ のと き ，
G(e−jω1 , e−jω2 ) =
B ∗ (e−jω1 , e−jω2 )Sx (ω1 , ω2 )
|B(e−jω1 , e−jω2 )|2 Sx (ω1 , ω2 ) + σu2
こ こ で， Sx (ω1 , ω2 ) ≫ σu2 ， |B(e−jω1 , e−jω2 )|2 ≫
G(e−jω1 , e−jω2 ) =
2
σu
Sx (ω1 ,ω2 )
B ∗ (e−jω1 , e−jω2 )
|B(e−jω1 , e−jω2 )|2 +
∼
=
2
σu
Sx (ω1 ,ω2 )
(5.31)
の場合，
1
B(e−jω1 , e−jω2 )
(5.32)
Sx (ω1 , ω2 ) ≪ σu2 の場合，
−jω1
G(e
−jω2
,e
)=
B ∗ (e−jω1 , e−jω2 ) Sx (ωσ12,ω2 )
u
|B(e−jω1 , e−jω2 )|2 Sx (ωσ12,ω2 )
u
+1
∼
=0
(5.33)
と なる .
こ のと き ， 復元画像 {x̂m,n } の MDF 出力画像 {em,n } のパワ ース ペク ト ル Se (ω1 , ω2 )
は， Sx (ω1 , ω2 ) ≫ σu2 ， |B(e−jω1 , e−jω2 )|2 ≫
2
σu
Sx (ω1 ,ω2 )
の場合，
|1 − D(e−jω1 , e−jω2 )|2 2
|1 − D(e−jω1 , e−jω2 )|2 2
Se (ω1 , ω2 ) =
σ +
σu
|1 − A(e−jω1 , e−jω2 )|2 w
|B(e−jω1 , e−jω2 )|2
(5.34)
2
と な り ， |1 − D(e−jω1 , e−jω2 )|2 = |1 − A(e−jω1 , e−jω2 )|2 ， σu2 ≪ σw
のと き ，
2
Se (ω1 , ω2 ) = σw
(5.35)
と な る ． ま た， Sx (ω1 , ω2 ) ≪ σu2 の場合，
Se (ω1 , ω2 ) = 0
(5.36)
と なる ．
復元が適切に 行われた 場合， Sx (ω1 , ω2 ) ≫ σu2 ， |B(e−jω1 , e−jω2 )|2 ≫
2
σu
Sx (ω1 ,ω2 )
の範
囲内では， 復元画像 {x̂m,n } の MDF 出力画像 {em,n } のパワ ース ペク ト ル Se (ω1 , ω2 ) は
2
σw
でほぼ一定と な る た め， パワ ース ペク ト ルの平坦さ を 評価する こ と に よ り ， 最良の復
元画像を 選択する こ と が可能である と 考え る ．
5.3.4 観測値差分フ ィ ルタ 出力のパワ ースペク ト ル
図 5.10 は， 原画像 (Lena)， 原画像を 運動劣化の長さ L = 10 で 劣化さ せた 運動劣化
JPEG 画像， 運動劣化の長さ Lres = 8, 10, 12 を 用いて 鮮明化処理し た 鮮明化画像のパ
ワ ース ペク ト ルを 示し て いる . 図 5.10 よ り ， 運動劣化の長さ Lres = 8 を 用いた鮮明化画
像のパワ ース ペク ト ルは， 低周波数領域の値が原画像よ り も 低く な っ て おり ， こ れは鮮明
5.3 鮮明化画像の評価に 基づく 劣化パラ メ ータ 推定
81
1e+09
Original
Motionblur_jpeg(L=10)
Restored(Lres=8)
Restored(Lres=10)
Restored(Lres=12)
Spectrum
1e+08
1e+07
1e+06
100000
10000
0
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
Omega
図 5.10
パワ ース ペク ト ル
化が不十分で あ り ， 運動劣化が残っ て いる 現象に 対応し て いる ． 逆に ， 運動劣化の長さ
Lres = 12 を 用いた鮮明化画像のパワ ース ペク ト ルは， 低周波数領域の値が原画像よ り も
高く な っ て おり ， こ れはリ ン ギン グの増大に 対応し て いる ． ただし ， 図 5.10 から は， 鮮明
化時に 用いる 運動劣化の長さ Lres の変化に 対応する 違いの定量的評価を 行う こ と は難し
い． 図 5.11 は， 図 5.10 で用いた画像に ， 観測値差分フ ィ ルタ (MDF) を 適用し た出力の
パワ ース ペク ト ル Pe (ω1 , 0) を 示し て いる ． 原画像の MDF 出力のパワ ース ペク ト ルは，
比較的フ ラ ッ ト であ り ， 運動劣化 JPEG 画像の MDF 出力のパワ ース ペク ト ルは， 全周
波数領域に わた っ て 値が小さ く な っ て いる ． 運動劣化の長さ Lres = 8 を 用いた 鮮明化画
像に MDF を 適用し た 出力のパワ ース ペク ト ルは， 低周波領域の値が原画像よ り も 低い．
逆に ， 運動劣化の長さ Lres = 12 を 用いた 鮮明化画像に MDF を 適用し た 出力のパワ ー
ス ペク ト ルは， 低周波数領域の値が原画像よ り も 高く な っ て いる ． 真の運動劣化の長さ
Lres = 10 を 用いた鮮明化画像に MDF を 適用し た出力のパワ ース ペク ト ルは， 低周波数
領域に おいて ほぼ一定と な っ て おり ， 原画像に 近い値と な っ て いる ． パワ ース ペク ト ルの
平坦さ を 評価する ために ， 次節に 示すパワ ース ペク ト ルのゆがみを 用いる ．
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
82
Spectrum
100
10
1
Original
Motionblur_jpeg(L=10)
Restored(Lres=8)
Restored(Lres=10)
Restored(Lres=12)
0.1
0
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
Omega
図 5.11 観測値差分フ ィ ルタ を 適用し た 出力のパワ ース ペク ト ル
5.3.5 パワ ース ペク ト ルのゆがみ
観測値差分フ ィ ルタ の出力画像 {em,n } のパワ ース ペク ト ル {Pe (ω1 , ω2 )} の白色度合
を 評価する ために ， 以下で定義する パワ ース ペク ト ルのゆがみ SPe を 用いる ．
N
SPe
4
1 X
2π
≡
{Pe ( k, 0) − µPe }3
3
2πσPe
M
(5.37)
k=1
こ こ で， µPe はパワ ース ペク ト ルの縦方向の平均,σPe は， パワ ース ペク ト ルの縦方向の標
準偏差であり ， 以下に よ り 推定する ．
Pe
2π
M
k, 0 =
N−1 M −1
2
1 X X
−j 2π
km M
e
e
m,n
M N n=0 m=0
M −1
1 X 2π
Pe
k, 0
M
M
k=0
v
u M −1 2
u 1 X
2π
t
k, 0 − µPe
=
Pe
M
M
(5.38)
µP e =
(5.39)
σP e
(5.40)
k=0
5.3 鮮明化画像の評価に 基づく 劣化パラ メ ータ 推定
3
ISNR
Skewness
8
ISNR
7
2.5
6
5
Skewness
9
83
2
4
3
2
1.5
7
図 5.12
8
9
10
L_res
11
12
13
鮮明化に 用いた Lres と ス ペク ト ルの縦方向のゆがみおよ び ISN R の関係
鮮明化時に 用いる 運動劣化の長さ Lres が妥当な 場合, 観測値差分フ ィ ルタ 出力のパワ ー
ス ペク ト ルがほぼ一定と な る ため， パワ ース ペク ト ルのゆがみは小さ く な る ．
以下に 実例で示す． 前節と 同様に ， 原画像 (Lena) を 垂直方向に 運動劣化の長さ L = 10
で 劣化さ せた 運動劣化 JPEG 画像に 対し ， 運動劣化の長さ Lres を 変化さ せて 複数の鮮
明化画像を 生成し ， そ の鮮明化画像に 観測値差分フ ィ ルタ を 適用し た 出力のパワ ー ス ペ
ク ト ルの縦方向のゆがみと ， ISNR の関係を 図 5.12 に 示す． 図 5.12 よ り ， 出力ス ペク ト
ルの縦方向のゆがみが最小値を と る Lres の値 10.4 は， ISNR が最大値を と る Lres の値
10.0 に 対し て ， 4 パーセ ン ト 程度大き な 値と な っ て いる ． ま た， 鮮明化時に 用いる 運動劣
化の長さ Lres と し て ， 真の運動劣化の長さ Lres = 10 を 用いて 鮮明化し た 場合， ISNR
は 7.93[dB] であ り ， 観測値差分フ ィ ルタ に 適用し た 出力のパワ ース ペク ト ルの縦方向の
ゆがみが最小と な る 場合 (Lres = 10.4)， ISNR は 7.73[dB] であ り ， ほぼ同等な 値と と な
る ． 鮮明化時に 用いる 運動劣化の長さ Lres = 10 と Lres = 10.4 の場合の鮮明化画像を 図
5.13 に 示す． 両者に 視覚的な 差は殆ど な く ， 両者と も 良好に 鮮明化さ れて いる こ と がわ
かる ． よ っ て ， 観測値差分フ ィ ルタ を 適用し た出力のパワ ース ペク ト ルのゆがみを 鮮明化
画像の評価量と する こ と が可能である と 考え ら れる ． 以後， 本手法を 用いて 焦点ずれ半径
R̂， 運動劣化の長さ L̂ 及び角度 φ̂ に ついて 推定実験を 行い， 本手法の有効性を 確認する ．
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
84
図 5.13
(a) 鮮明化画像 (Lres =10)
(b) 鮮明化画像 (Lres =10.4)
(ISN R=7.93[dB])
(ISN R=7.73[dB])
鮮明化に 用いる 運動劣化の長さ Lres =10 と Lres =10.4 の場合の処理結果 (Lena)
5.4 劣化パラ メ ータ の推定範囲の限定
前節で 提案し た 推定手法は， 鮮明化処理を 行っ た 複数の鮮明化画像から ， 観測値差分
フ ィ ルタ の出力のパワ ース ペク ト ルの平坦さ を 利用する こ と を 考え る と ， 計算量が膨大と
な る ． そ こ で ， 本推定手法を 用いる 前に ， あ ら かじ め 推定範囲を 限定し て お く 必要があ
る ． 事前推定法と し て ， 短い計算時間で大ま かに 推定でき る 手法が適し て いる ． 従来の最
尤推定法は， 劣化 JPEG 画像に 対する 推定精度が低い上に ， 計算時間が長いため， 事前推
定法と し て は適さ な い． ま た， 自己共分散関数を 用いた推定手法は， 推定精度は高く な い
も のの， 計算時間が短いた め， 事前推定法と し て 適し て いる も のと 考え ら れる ． そ こ で，
劣化 JPEG 画像に 対し て 観測値差分フ ィ ルタ を 適用し ， 出力画像の自己共分散関数から
大ま かに 劣化パラ メ ータ の推定を 行う こ と に よ り ， 推定範囲を 限定する ． そ の後， 範囲を
限定し た領域での劣化パラ メ ータ を 利用し て ， 鮮明化画像に 観測値差分フ ィ ルタ を 適用し
た 出力のパワ ース ペク ト ルを 利用し た 鮮明化画像の選択を 行う ． 図 5.14 に 劣化パラ メ ー
タ の推定手順を 示す． 劣化画像の観測値差分フ ィ ルタ の出力の自己共分散関数に よ り ， 劣
化パラ メ ータ の推定範囲を 限定し ， 限定し た範囲内で劣化パラ メ ータ を 変化さ せて 鮮明化
処理を 行い， 複数の鮮明化画像を 得る ． 複数の鮮明化画像に 観測値差分フ ィ ルタ を 適用
し ， そ の出力のパワ ース ペク ト ルが平坦 (ゆがみが最小) と な る 鮮明化画像を 選択する ．
5.5 劣化パラ メ ータ の推定実験
85
5.5 劣化パラ メ ータ の推定実験
5.5.1 焦点ずれ半径の推定実験
第 3 章では焦点ずれ劣化 JPEG 画像の鮮明化実験に ついて 述べた が， こ こ では， 焦点
ずれ劣化 JPEG 画像の焦点ずれ半径 R̂ の推定実験に ついて 述べる ．
鮮明化処理の際に 用いる 焦点ずれ半径 Rres を 変化さ せな がら ， 複数の鮮明化画像を 生
成し た 後， 観測値差分フ ィ ルタ 出力 {em,n } のパワ ース ペク ト ルの平坦さ を 評価する こ と
に よ り ， 最良の鮮明化画像を 選択し ， 間接的に 焦点ずれ半径 R̂ の推定を 行う ． ただし ， 複
数の鮮明化画像を 生成する 際に ， 変化さ せる 焦点ずれ半径 Rres が無数に 存在する こ と か
ら ， 変化さ せる 範囲を 限定する 必要がある ． そ こ で， 事前に ， 焦点ずれ劣化 JPEG 画像に
観測値差分フ ィ ルタ を 適用し た 出力 {em,n } に 対し て ， 自己共分散関数 Re (k, l) を 計算す
る こ と に よ り ， 焦点ずれ半径 R̂ を 大ま かに 推定し ， 推定範囲を 限定する ．
図 5.15 は， 原画像 (Lena) を 焦点ずれ半径 R = 2.5 で劣化さ せた 焦点ずれ劣化 JPEG
画像の， 観測値差分フ ィ ルタ 出力 {em,n } の自己共分散関数 Re (k, l) を 示し て いる ． ま た，
図 5.16， 図 5.17， 図 5.18 は， 画像モデルを 焦点ずれ半径 R = 1.5， 2.5， 3.5 で劣化さ せた
焦点ずれ劣化画像モデルの， 観測値差分フ ィ ルタ 出力 {em,n } の自己共分散関数 Re (k, l)
を 示し て いる ．
図 5.19 は， 図 5.15 から 図 5.18 に ついて ， 原点から の距離 h(=
√
k 2 + l2 ) と ， 自己共
分散関数 Re (k, l) の関係を 示し て いる ． 焦点ずれ劣化画像モデルの観測値差分フ ィ ルタ 出
力 {em,n } の自己共分散関数 Re (k, l) は、 いずれも 原点から の距離 h が大き く な る に つれ
て 線形的に 低下し ， 焦点ずれ半径 R の 2 倍， つ ま り 焦点ずれ直径の長さ で Re (k, l) が 0
と な る ． こ の性質を 利用し て ， 焦点ずれ半径の推定範囲を 限定する ．
図 5.19 よ り ， 原画像 (Lena) を 焦点ずれ半径 R = 2.5 で劣化さ せた焦点ずれ劣化 JPEG
画像の， 観測値差分フ ィ ルタ 出力 {em,n } の自己共分散関数 Re (k, l) に つ いて 回帰直線
を 引く と ， 原点から の距離 h が大き く な る に つ れて Re (k, l) が低下し ， 原点から の距離
h = 4.5 付近で 0 と な る こ と がわかる ． 同値は， 焦点ずれ半径 R = 1.5 の焦点ずれ劣化画
像モデルで Re (k, l) が 0 と な る 原点から の距離 (h = 3.0) と ， 焦点ずれ半径 R = 3.5 の焦
点ずれ劣化画像モデルで Re (k, l) が 0 と な る 原点から の距離 (h = 7.0) と の間に 入っ て い
る こ と から ， 推定値は少な く と も R = 1.5 ∼ 3.5 の範囲内に 入っ て いる も のと 考え ら れ，
推定範囲を R = 1.5 ∼ 3.5 に 限定する ． 同範囲内で焦点ずれ半径 Rres を 変化さ せな がら
鮮明化処理を 行い， 得ら れた 複数の鮮明化画像に 対する 観測値差分フ ィ ルタ 出力 {em,n }
の， パワ ース ペク ト ルの縦方向と 横方向のゆ がみの積 SP e を 図 5.20 に 示す． 図 5.20 よ
り ， Rres = 2.4 でパワ ース ペク ト ルの縦方向と 横方向のゆ がみの積 SP e が最小と な り ，
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
86
ま た， Rres = 2.4 付近で ISNR が最大値を と る こ と から ， R̂ = 2.4 を 推定値と する ．
図 5.21 よ り ， 推定値 R̂ = 2.4 を 用いて 鮮明化し た 画像 (ISN R = 1.25[dB]) は， 真値
R = 2.5 を 用いて 鮮明化し た 画像 (ISN R = 1.28[dB]) と 画質的に 殆ど 差異は見ら れず，
同程度に 鮮明化さ れて いる こ と が確認でき る ．
次に ， デジタ ルカ メ ラ で撮影し た 実際の焦点ずれ劣化 JPEG 画像 (図 5.24(a)) を 用い
て ， 焦点ずれ半径の推定実験を 行っ た 結果に つ いて 述べ る ． 図 5.22 は， 実焦点ずれ劣
化 JPEG 画像と ， R = 2.0， R = 3.0， R = 4.0 で 劣化さ せた 焦点ずれ劣化画像モ デル
に つ いて ， 原点から の距離 h と 自己共分散関数 Re (k, l) の関係を 示し て いる ． 実焦点ず
れ劣化 JPEG 画像の観測値差分フ ィ ルタ 出力 {em,n } の自己共分散関数 Re (k, l) の回帰
直線は， 焦点ずれ劣化画像モ デルと 同様， 原点から の距離 h が大き く な る に つ れて 線形
的に 低下し ， h = 5.0 付近で 0 と な る ． 同値は， R = 2.0 の焦点ずれ劣化画像モ デルで
Re (k, l) = 0 と な る 原点から の距離 (h = 4.0) と ， R = 4.0 の焦点ずれ劣化画像モ デル
で Re (k, l) = 0 と な る 原点から の距離 (h = 8.0) と の間に 入っ て いる こ と から ， 推定範
囲を R = 2.0 ∼ 4.0 に 限定する ． 同範囲内で 焦点ずれ半径 Rres を 変化さ せな がら 鮮明
化処理を 行い， 得ら れた 複数の鮮明化画像に 対する 観測値差分フ ィ ルタ 出力 {em,n } の，
パワ ー ス ペク ト ルの縦方向と 横方向のゆ がみの積 SP e を 図 5.23 に 示す． 図 5.23 よ り ，
Rres = 3.1 でパワ ース ペク ト ルの縦方向と 横方向のゆがみの積 SP e が最小と な る こ と か
ら ， R̂ = 3.1 を 推定値と する ．
鮮明化に 用いる 焦点ずれ半径を Rres = 2.0， Rres = 3.1， Rres = 4.0 に 変化さ せて 鮮
明化処理し た画像を 図 5.24(b)， (c)， (d) に 示す． Rres = 2.0 を 用いた鮮明化画像は鮮明
化が不十分であり ， Rres = 4.0 を 用いた鮮明化画像はリ ン ギン グの発生が顕著である のに
対し ， 推定値 Rres = 3.1 を 用いた 鮮明化画像は， 車両形状及びナン バープレ ート の数字
が鮮明化さ れて いる こ と がわかる ．
今回撮影に 用いた一眼レ フ デジタ ルカ メ ラ では， JPEG の量子化の影響が小さ く な る よ
う に ， JPEG の量子化テーブルに は小さ な 値が設定さ れて いた． な お， 前述の計算機実験
結果では， JPEG 推奨の量子化テーブルを 用いて いる ．
5.5.2 運動劣化の長さ と 角度の推定実験
第 4 章では運動劣化 JPEG 画像の鮮明化処理に ついて 述べた が， こ こ では， 運動劣化
JPEG 画像の運動劣化の長さ L̂ と 角度 φ̂ の推定方法に ついて 述べる ．
鮮明化処理の際に 用いる 劣化パラ メ ー タ を 変化さ せな がら 鮮明化処理を 行い， 得ら れ
た 複数の鮮明化画像から ， 観測値差分フ ィ ルタ 出力 {em,n } のパワ ース ペク ト ルの平坦さ
を 利用する こ と を 考え る と ， 変化さ せる 劣化パラ メ ータ が， 運動劣化の長さ Lres と 角度
φres の二次元と な る ために ， 計算量が膨大と な る ．
5.5 劣化パラ メ ータ の推定実験
87
そ こ で， ま ず， 大ま かに 運動劣化の長さ L̂ と 角度 φ̂ の推定を 行い， そ の後， 範囲を 限
定し た 領域での劣化パラ メ ータ を 用いて ， 鮮明化画像の観測値差分フ ィ ルタ 出力 {em,n }
のパワ ース ペク ト ルを 利用し た鮮明化画像の選択を 行う ．
ま ず ， 大ま か な 運動劣化の 長さ L̂ と 角度 φ̂ の 推定に は ， 以下で 定義す る 運動劣化
JPEG 画像に 対する 観測値差分フ ィ ルタ 出力 {em,n } の自己共分散関数に 基づく 評価規準
J(L, φ) を 用いる ．
n
o
L̂, φ̂ = arg min J(L, φ)
)2
(
X
R̂e (k, l)
Re (k, l)
−
J(L, φ) ≡
max Re (k, l) max R̂e (k, l)
(k,l)∈S
(5.41)
(5.42)
d
こ こ で， {Re (k, l)} は運動劣化 JPEG 画像 {ẏm,n } の観測値差分フ ィ ルタ 出力 {em,n } の
標本自己共分散関数， {R̂e (k, l)} は画像モデルよ り 求めた {em,n } の自己共分散関数であ
る ． つま り ，
em,n = ẏm,n − µy (m, n)
µy (m, n) =
− dk,l {(ẏm+1,n − µy (m + 1, n)) + (ẏm−1,n − µy (m − 1, n))
+(ẏm,n+1 − µy (m, n + 1)) + (ẏm,n−1 − µy (m, n − 1))}
(5.43)
1
(2W + 1)2
(5.44)
1
X
1
X
ẏm+k,n+l
k=−1 l=−1
M −1−k N−1−l
X
X
1
Re (k, l) =
(M − k)(N − l) m=0
X
2
bp,q bp+k,q+l
R̂e (k, l) = σw
em,n em+k,n+l
(5.45)
n=0
(5.46)
p,q
こ こ で， bp,q は式 (4.3) に よ っ て 定義さ れる 運動劣化を 表す点拡がり 関数である ．
運動劣化の長さ L = 10 お よ び 角度 φ = 60◦ と し た 場合の観測値差分フ ィ ルタ 出力
{em,n } のモ デル自己共分散関数 R̂e (k, l) を ， 図 5.25 に 示す． 図 5.25 よ り ， 運動劣化の
方向 (φ = 60◦ ) に 山の尾根がのびたグラ フ 形状に な っ て おり ， 運動劣化の方向に 強い相関
を 持っ て いる こ と がわかる ． ま た ， 原点から の距離が L = 10(運動劣化の長さ ) 付近に お
いて ， モデル自己共分散関数 R̂e (k, l) が 0 と な っ て いる ．
次に ， Lena 画像を 運動劣化の長さ L = 10， 角度 φ = 60◦ で劣化さ せた運動劣化 JPEG
画像に 対する ， 観測値差分フ ィ ルタ 出力 {em,n } の標本自己共分散関数 Re (k, l) を ， 図
5.26 に 示す． 図 5.26 は， 図 5.25 と 同様， 運動劣化の方向に 強い相関を 持っ て おり ， 原点
から の距離が運動劣化の長さ L = 10 付近で 0 と な っ て いる ．
上記のと お り ， 図 5.25 及び図 5.26 は， いずれも 運動劣化の方向に 対し て 強い相関を
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
88
も っ て いる こ と から ， モ デル自己共分散関数と 標本自己共分散関数と の二乗誤差を 評価
する こ と に よ り ， 運動劣化の長さ L̂ と 角度 φ̂ を 大ま かに 推定する こ と が可能であ る と 考
える ．
観測値差分フ ィ ルタ 出力 {em,n } のモ デル自己共分散関数 R̂e (k, l) と ， Lena 画像を 運
動劣化の長さ L = 10， 角度 φ = 60◦ で劣化さ せた運動劣化 JPEG 画像に 対する ， 観測値
差分フ ィ ルタ 出力 {em,n } の標本自己共分散関数 Re (k, l) と の二乗誤差を 図 5.27 に 示す .
図 5.27 よ り ， Lres = 9 ∼ 11， φres = 57 ∼ 61 の範囲では J(L, φ) が 0.02 以下と な っ て
いる こ と から ， 劣化パラ メ ー タ は， 少な く と も L̂ = 9 ∼ 11， φ̂ = 55 ∼ 65 の範囲内に
入っ て いる も のと 考え ら れる ． そ こ で， 同範囲内で劣化パラ メ ータ を 変化さ せな がら 鮮明
化処理を 行い， 得ら れた 複数の鮮明化画像に 対する 観測値差分フ ィ ルタ 出力 {em,n } のパ
ワ ース ペク ト ルのゆがみ SP e を 図 5.28 に 示す . 図 5.28 よ り ， Lres = 10， φres = 61 付近
で SP e が最小と な る こ と から ， L̂ = 10， φ̂ = 61 を 推定値と する ． 推定値 L̂ = 10， φ̂ = 61
を 用いて 鮮明化し た 画像は， 真値 L = 10， φ = 60 を 用いて 鮮明化し た 画像と 同程度に 鮮
明化さ れて いる こ と が確認でき る (図 5.29(c),(d)).
次に ， デジタ ルカ メ ラ で撮影し た実際の運動劣化 JPEG 画像 (図 5.32(a)) を 用いて ， 運
動劣化の長さ 及び角度の推定実験を 行っ た結果に ついて 述べる ．
モ デル自己共分散関数と ， 撮影画像の運動劣化 JPEG 画像の標本自己共分散関数と の
二乗誤差を 図 5.30 に 示す . 図 5.30 よ り ， Lres = 8 以上， φres = 58 ∼ 68 の範囲で は
J(L, phi) が 0.05 以下と な っ て いる こ と ら ， 劣化パラ メ ータ は， 少な く と も Lres = 8 以
上， φres = 55 ∼ 70 の範囲内に 入っ て いる も のと 考え ら れる ． そ こ で， 同範囲内で劣化パ
ラ メ ータ を 変化さ せな がら 鮮明化処理を 行い， 得ら れた複数の鮮明化画像に 対する 観測値
差分フ ィ ルタ 出力 {em,n } のパワ ース ペク ト ルのゆがみ SP e を 図 5.31 に 示す . 図 5.31 よ
り ， Lres = 10.5， φres = 60 付近で SP e が最小と な る こ と から ， Lres = 10.5， φres = 60
を 推定値と する ．
鮮明化に 用いる 運動劣化の長さ を Lres = 9.0, 10.5, 12.0 に 変化さ せ， ま た 運動劣化の
方向を φres = 50, 60, 70 に 変化さ せて ， 鮮明化処理し た 画像を 図 5.32(b) から (i) に 示
す． Lres = 9.0 を 用いた 鮮明化画像は鮮明化が不十分であ り ， Lres = 12.0， φres = 50，
φres = 70 を 用い た 鮮明化画像は リ ン ギ ン グ の 発生が 顕著で あ る の に 対し ， 推定値
Lres = 10.5 と φres = 60 を 用いた 鮮明化画像は， 車両形状及び車体左側面の文字が鮮明
化さ れて いる こ と がわかる ．
今回撮影に 用いた一眼レ フ デジタ ルカ メ ラ では， 表 3.5 示す量子化テーブルが設定さ れ
て た . な お， 前述の計算機実験結果では， 表 3.4 に 示す JPEG 推奨の量子化テーブルを 用
いて いる ．
5.5 劣化パラ メ ータ の推定実験
図 5.14
89
提案法の鮮明化処理過程
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
90
Re(k,l)
1
0.5
0.4
0.3
0.2
0.1
0.05
0.01
1
0.8
Re(k,l)
0.4
01
23
45
k
67
89 0
図 5.15
1
2
3
4
5
l
6
7
8
9
焦点ずれ劣化 JPEG 画像の観測値差分フ ィ ルタ 出力の自己共分散関数 (Lena, R = 2.5)
Re(k,l)
1
0.5
0.4
0.3
0.2
0.1
0.05
0.01
1
0.8
Re(k,l)
0.4
01
23
45
k
67
89 0
図 5.16
1
2
3
4
5
l
6
7
8
9
焦点ずれ劣化画像モデルの観測値差分フ ィ ルタ 出力の自己共分散関数 (R = 1.5)
5.5 劣化パラ メ ータ の推定実験
91
Re(k,l)
1
0.5
0.4
0.3
0.2
0.1
0.05
0.01
1
0.8
Re(k,l)
0.4
01
23
45
k
67
89 0
図 5.17
1
2
3
4
6
7
8
9
焦点ずれ劣化画像モデルの観測値差分フ ィ ルタ 出力の自己共分散関数 (R = 2.5)
Re(k,l)
1
0.5
0.4
0.3
0.2
0.1
0.05
0.01
1
0.8
Re(k,l)
0.4
01
23
45
k
67
89 0
図 5.18
5
l
1
2
3
4
5
l
6
7
8
9
焦点ずれ劣化画像モデルの観測値差分フ ィ ルタ 出力の自己共分散関数 (R = 3.5)
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
92
図 5.19
原点から の距離と 自己共分散関数の関係
1.6
ISNR[dB]
Sm*Sn
1.4
Sm*Sn,ISNR[dB]
1.2
1
0.8
0.6
0.4
0.2
0
1.5
2
2.5
3
3.5
R_res
図 5.20
焦点ずれ劣化 JPEG 画像の観測値差分フ ィ ルタ 出力のパワ ー ス ペク ト ルと
ISNR の関係 (Lena, R = 2.5)
5.5 劣化パラ メ ータ の推定実験
(a) 原画像 (Lena)
93
(b) 焦点ずれ劣化 JPEG 画像
(R=2.5)
(c) 鮮明化画像 (推定値)
(d) 鮮明化画像（ 真値）
(R̂ = 2.4,ISN R = 1.25[dB])
(R = 2.5,ISN R = 1.28[dB])
図 5.21
推定し た 劣化パラ メ ータ を 用いた 鮮明化処理結果 (Lena)
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
94
図 5.22
原点から の距離と 自己共分散関数の関係
9
Sm*Sn
8
7
Sm*Sn
6
5
4
3
2
2
2.5
3
3.5
4
R
図 5.23
実焦点ずれ劣化 JPEG 画像の観測値差分フ ィ ルタ 出力のパワ ース ペク ト ル (Bus)
5.5 劣化パラ メ ータ の推定実験
(a) 撮影画像
95
(b) 鮮明化画像
(Rres = 2.0)
(c) 鮮明化画像
(d) 鮮明化画像
(Rres = 3.1)
(Rres = 4.0)
図 5.24 実焦点ずれ劣化画像を 用いた 劣化パラ メ ータ の推定実験結果 (Bus)
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
96
Re(k,l)
1
0.5
0.4
0.3
0.2
0.1
0.05
1
Re(k,l)
0.5
0
01
k
23
45
67
89 0
7
6
5
l
4
3
2
1
8
9
図 5.25 観測値差分フ ィ ルタ 出力のモデル自己共分散関数 Re(k, l) (L = 10.0, φ = 60.0)
Re(k,l)
1
0.5
0.4
0.3
0.2
0.1
0.05
0.01
1
Re(k,l)
0.4
0
01
23
45
k
67
89 0
1
2
3
4
5
l
6
7
図 5.26 標本自己共分散関数 (運動劣化)
8
9
5.5 劣化パラ メ ータ の推定実験
97
J(L,phi)
0.04
0.03
0.025
0.024
0.023
0.022
0.021
0.02
J(L,phi)
0.05
0.04
0.03
0.02
6
7
8
L
9
10
11
12
13
14 40
図 5.27
55
60
65
phi
70
75
80
自己共分散関数を 用いた 推定結果 (運動劣化)
Sm*Sn
0.5
0.4
0.3
0.2
0.1
0.05
0.01
0.001
Sm*Sn
0.4
0.3
0.2
0.1
0
9
9.5
L_res 10
10.5
図 5.28
45
50
64 65
60 61 62 63
11 55 56 57 58 59 phi_res
パワ ース ペク ト ルのゆがみを 用いた 推定結果 (運動劣化)
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
98
(a) 原画像
(b) 運動劣化 JPEG 画像
(L = 10,φ = 60)
(c) 鮮明化画像
(d) 鮮明化画像
(Lres = 10,φres = 60, 真値)
(Lres = 10,φres = 61, 推定値)
図 5.29 鮮明化実験結果 (運動劣化)
5.5 劣化パラ メ ータ の推定実験
99
J(L,theta)
0.1
0.09
0.08
0.07
0.06
0.05
J(L,theta)
0.08
0.07
0.06
0.05
0.04
8
9
10
11
L_res
12
13
14 40
図 5.30
45
50
55
80
75
70
65
60
theta_res
自己共分散関数を 用いた 推定結果 (実運動劣化画像)
"DSC_0041_3_SmSn.dat"
1.5
1.4
1.3
1.2
1.1
1
0.9
Sm*Sn
1.3
1.2
1.1
1
0.9
8
9
10
11
L_res
12
13
14
15 56
図 5.31
57
58
59
60
61
62
63
64
theta_res
パワ ース ペク ト ルのゆがみを 用いた 推定結果 (実運動劣化画像)
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
100
(a) 撮影画像
(b) 鮮明化画像
(c) 鮮明化画像
(d) 鮮明化画像
(Lres = 9.0, φres = 50)
(Lres = 9.0, φres = 60)
(Lres = 9.0, φres = 70)
(e) 鮮明化画像
(f) 鮮明化画像
(g) 鮮明化画像
(Lres = 10.5, φres = 50)
(Lres = 10.5, φres = 60)
(Lres = 10.5, φres = 70)
(h) 鮮明化画像
(i) 鮮明化画像
(j) 鮮明化画像
(Lres = 12.0, φres = 50)
(Lres = 12.0, φres = 60)
(Lres = 12.0, φres = 70)
図 5.32
実運動劣化 JPEG 画像の推定実験結果
5.6 むすび
5.6 むす び
本章では， 劣化 JPEG 画像から 劣化パラ メ ータ を 推定する かわり に ， 鮮明化処理時に
用いる 劣化パラ メ ータ を 変化さ せて 鮮明化処理を 行っ た鮮明化画像に 対し て ， 鮮明化が妥
当に 行われたかど う かを 判断する 評価規準を 提案し た．
具体的に は， 劣化 JPEG 画像に 対し て 劣化パラ メ ータ を 変化さ せな がら 複数の鮮明化
画像を 生成し ， 得ら れた複数の鮮明化画像の中から 評価規準に 基づいて 最良の鮮明化画像
を 選択する こ と に よ り ， 間接的に 劣化パラ メ ータ の推定を 行っ た． こ れは， 鮮明化画像に
観測値差分フ ィ ルタ を 適用し ， そ の出力のパワ ース ペク ト ルの平坦さ を 求め， 評価規準が
最小と な る 鮮明化画像を 選択する 手法である ．
し かし ， 鮮明化処理を 行っ た 複数の鮮明化画像から ， 観測値差分フ ィ ルタ の出力のパ
ワ ース ペク ト ルの平坦さ を 利用する こ と を 考え る と ， 計算量が膨大と な る . そ こ で， ま ず
劣化 JPEG 画像に 対し て 観測値差分フ ィ ルタ を 適用し ， そ の出力の自己共分散関数から
大ま かに 劣化パラ メ ータ の推定を 行う こ と に よ り ， 推定範囲を 限定し ， 範囲を 限定し た領
域での劣化パラ メ ータ を 利用し て ， 鮮明化画像の観測値差分フ ィ ルタ 出力のパワ ース ペク
ト ルを 利用し た鮮明化画像の選択を 行っ た．
焦点ずれ劣化 JPEG 画像及び運動劣化 JPEG 画像に 対し て ， 本手法を 適用し た 結果，
良好な 鮮明化画像が得ら れる こ と を 確認し た．
101
102
第6章
結言
本研究では， 焦点ずれ劣化や運動劣化な ど の空間的な 劣化と ， JPEG 符号化・ 復号化に
よ る 劣化を 複合的に 受け た 劣化 JPEG 画像に 対し て ， 鮮明化及び劣化パラ メ ータ の推定
に ついて 検討を 行っ た .
第 1 章では， 一般的な 確率画像モデルに ついて 述べ， 従来の劣化画像復元法及び劣化パ
ラ メ ータ 推定法の概略を 示し た . ま た， JPEG 符号化・ 復号化に ついて 述べ， 空間的劣化
と JPEG 符号化・ 復号化に よ る 複合的な 劣化を 受け た 劣化 JPEG 画像に 対し て ， 従来の
劣化画像復元法を 適用し た 場合， ブ ロ ッ ク ノ イ ズやモ ス キ ー ト ノ イ ズを 増強さ せて し ま
い， 良好な 復元画像が得ら れな いこ と を 示し た . さ ら に ， 従来の劣化パラ メ ータ 推定法を
用いて ， 劣化 JPEG 画像の劣化パラ メ ータ 推定を 行っ た 場合， 劣化パラ メ ータ の推定精
度が低く ， 良好な 復元画像が得ら れな いこ と を 示し た .
第 2 章では， 空間的な 劣化と JPEG 符号化・ 復号化の複合的な 劣化過程を 仮定し ， 劣
化 JPEG 画像に 対する 鮮明化手法の提案を 行っ た ． 劣化 JPEG 画像の画像観測過程を ，
空間的な 劣化と ， ブロ ッ ク 離散コ サイ ン 変換領域での量子化ノ イ ズと に よ り モデル化し ，
鮮明化画像の評価規準に 共役勾配法を 適用する こ と に よ る 反復的な 鮮明化処理法に ついて
述べた . 鮮明化画像の評価規準では， 鮮明化画像の観測画像に 対する 忠実度と ， エッ ジの
位置と 方向を 考慮し た上での画像のな めら かさ を 評価し て おり ， 前者と 後者の重みを 考慮
する こ と に よ り ， 両者のバラ ン ス が制御さ れて いる . こ の評価規準を 最小化する こ と に よ
り ， 最終的な 鮮明化画像が得ら れる こ と を 示し た．
第 3 章では， カ メ ラ レ ン ズのピ ン ト 外れに よ っ て 生じ る 焦点ずれ劣化と ， JPEG 符号
化・ 復号化の複合的な 劣化を 受け た焦点ずれ劣化 JPEG 画像に 対し ， 第 2 章で提案し た鮮
明化手法を 適用し ， 提案手法の有効性を 確認し た . 計算機シミ ュ レ ーショ ン では， JPEG
の符号化・ 復号化を 考慮し な い従来のエッ ジ適応型反復法を ， 焦点ずれ劣化 JPEG 画像
に 適用し た場合， ノ イ ズ増幅誤差が大き いのに 対し ， 提案法ではノ イ ズ増幅誤差を 抑え た
鮮明化画像が得ら れる こ と を 示し た .
103
第 4 章では， カ メ ラ レ ン ズと 被写体と の相対運動に よ っ て 引き 起こ さ れる 運動劣化と ，
JPEG 符号化・ 復号化の複合的な 劣化を 受け た 運動劣化 JPEG 画像に 対し ， 第 2 章で提
案し た 鮮明化手法を 適用し ， 提案手法の有効性を 確認し た . 計算機シ ミ ュ レ ー シ ョ ン で
は， JPEG の符号化・ 復号化を 考慮し な い従来法を ， 運動劣化 JPEG 画像に 適用し た 場
合， 鮮明化は不充分である が， 提案法ではリ ン ギン グを 抑え た鮮明化画像が得ら れる こ と
を 示し た．
第 5 章では， 劣化 JPEG 画像から 劣化パラ メ ータ を 直接推定する かわり に ， 鮮明処理
化に 用いる 劣化パラ メ ータ を 変化さ せて 鮮明化処理を 行っ た画像に 対し て ， 鮮明化が妥当
に 行われた かど う かを 判断する 評価規準を 提案し た ． 具体的に は， 劣化 JPEG 画像に 対
し ， 劣化パラ メ ータ を 変化さ せな がら 複数の鮮明化画像を 作成し ， 得ら れた複数の鮮明化
画像の中から ， 評価規準に 基づいて 良好な 鮮明化画像を 選択する こ と に よ り ， 間接的に
劣化パラ メ ータ の推定を 行っ た . こ れは， 鮮明化画像に 対し て 観測値差分フ ィ ルタ を 適用
し ， そ の出力のパワ ース ペク ト ルの平坦さ を 求め， 評価規準が最小と な る 鮮明化画像を 選
択する 手法であ る . 焦点ずれ劣化 JPEG 画像及び運動劣化 JPEG 画像に 対し て ， 提案手
法を 適用し た結果， 良好な 鮮明化画像が得ら れる こ と を 確認し た .
本研究で 提案し た 劣化 JPEG 画像に 対する 鮮明化手法及び 劣化パラ メ ー タ の推定手
法は，
· 街頭に 設置さ れた防犯カ メ ラ
· 車両に 搭載さ れたド ラ イ ブレ コ ーダ
· 銀行の ATM に 設置さ れた近接カ メ ラ
等への適用が可能と 考え ら れる . 今後， 実画像を 用いたフ ィ ールド テ ス ト を 中心に ， 犯罪
捜査への活用を 視野に 入れて 研究を 進める 予定である .
104
付録 A
付録
A.1 一様焦点ずれのシ ス テム 関数
焦点ずれ劣化を 表す連続な 点拡がり 関数 b(x, y) の離散化 (式 (3.3)) の解析的な 解を ，
以下に 示す．
· パタ ーン 1： bk,l 全体が焦点ずれ領域に 含ま れて いる 場合．

(k + 12 )2 + (l + 21 )2 ≤ R2



(k + 12 )2 + (l − 21 )2 ≤ R2
(k − 12 )2 + (l + 21 )2 ≤ R2



(k − 12 )2 + (l − 21 )2 ≤ R2
(A.1)
のと き ，
bk,l =
1
πR2
(A.2)
· パタ ーン 2： bk,l のな かに 焦点ずれ半径の境界がく る 場合．
− その 1

(k +



(k +
(k −



(k −
のと き ，
1 2
)
2
1 2
)
2
1 2
)
2
1 2
2)
+ (l +
+ (l −
+ (l +
+ (l −
1 2
)
2
1 2
)
2
1 2
)
2
1 2
2)
> R2
> R2
> R2
≤ R2
(A.3)
A.1 一様焦点ずれのシス テム 関数
bk,l
105


s
2

1
1
1
1
1 
1
2
l−
−
k−
k−
=
R − k−
πR2
2
2
2
2
2
s
2
1
k
−
1
1
2
2
R2 − l −
+ l−
+ R arcsin
2
2
R
)#
2
R2 − l − 21
−R2 arcsin
R
(A.4)
− その 2

(k +



(k +
(k −



(k −
1 2
2)
1 2
2)
1 2
2)
1 2
2)
+ (l +
+ (l −
+ (l +
+ (l −
1 2
2)
1 2
2)
1 2
2)
1 2
2)
> R2
≤ R2
> R2
≤ R2
(A.5)
のと き ，
bk,l
 
s
s
2 2
1
1
1
1
1 1 
2
2
− k−
k+
R − k−
R − k−
=
πR2 2 
2
2
2
2
) #
1
1
k
+
k
−
1
2
2
+R2 arcsin
− l−
− R2 arcsin
R
R
2
(A.6)
− その 3

(k +



(k +
(k −



(k −
のと き ，
1 2
2)
1 2
2)
1 2
)
2
1 2
)
2
+ (l +
+ (l −
+ (l +
+ (l −
1 2
2)
1 2
2)
1 2
)
2
1 2
)
2
> R2
> R2
≤ R2
≤ R2
(A.7)
付録 A
106
bk,l
付録
 
s
2 s
2

1
1
1 1
1
1
2
2
l+
− l−
=
R − l−
R − l−
πR2 2 
2
2
2
2
) #
1
1
l
−
l
+
1
2
2
− l−
− R2 arcsin
+R2 arcsin
R
R
2
(A.8)
− その 4

(k +



(k +
(k −



(k −
1 2
)
2
1 2
)
2
1 2
)
2
1 2
)
2
+ (l +
+ (l −
+ (l +
+ (l −
1 2
)
2
1 2
)
2
1 2
)
2
1 2
)
2
> R2
≤ R2
≤ R2
≤ R2
(A.9)
のと き ，
bk,l

s
2
1
1
1
1
1 
1
l+
+
1− k+
k+
=
R2 − k +
πR2
2
2
2
2
2
s
2
k + 21
1
1
2
2
+ l+
R − l+
+ R arcsin
2
2
R
)#
2
R2 − l + 12
2
−R arcsin
R

(A.10)
− その 5

(k +




 (k +
(k −


(k −



1 2
2)
1 2
2)
1 2
2)
1 2
2)
2
+ (l +
+ (l −
+ (l +
+ (l −
k + (l −
1 2
2)
1 2
2)
1 2
2)
1 2
2)
1 2
2)
> R2
> R2
> R2
> R2
≤ R2
(A.11)
のと き ，
bk,l
q


s
2
1 2
2

R − l− 2
1
1
1
2
2− l−
=
+
R
arcsin
−
l
−
R

πR2 
2
2
R
(A.12)
A.1 一様焦点ずれのシス テム 関数
107
− その 6

(k +




 (k +
(k −


(k −



+ (l + 12 )2
+ (l − 12 )2
+ (l + 12 )2
+ (l − 12 )2
(k − 12 )2 + l2
1 2
2)
1 2
2)
1 2
2)
1 2
2)
> R2
> R2
> R2
> R2
≤ R2
(A.13)
のと き ，
bk,l
q

s

2
2 − k − 1 2

R
1
1
1
2
=
+ R2 arcsin
− k−
R2 − k −
2

πR 
2
2
R
(A.14)
− その 7

(k +




 (k +
(k −


(k
−



1 2
2)
1 2
2)
1 2
2)
1 2
2)
+ (l + 12 )2
+ (l − 12 )2
+ (l + 12 )2
+ (l − 12 )2
(k − 12 )2 + l2
> R2
≤ R2
> R2
≤ R2
< R2
(A.15)
のと き ，
bk,l
 
s
2 s
2

1
1
1
1
1 1
2
2
− k−
k+
R − k−
R − k−
=
πR2 2 
2
2
2
2
) #
1
1
k
+
k
−
1
2
2
+R2 arcsin
− l−
− R2 arcsin
R
R
2
q

s

2
2 − l − 1 2

R
1
1
1
2
+ R2 arcsin
− l−
R2 − l −
−
2

πR 
2
2
R
(A.16)
− その 8
付録 A
108

(k +




(k
+

(k −


(k −



1 2
2)
1 2
2)
1 2
2)
1 2
2)
+ (l + 21 )2
+ (l − 21 )2
+ (l + 21 )2
+ (l − 21 )2
(k − 12 )2 + l2
> R2
> R2
≤ R2
≤ R2
< R2
付録
(A.17)
のと き ，
bk,l
 
s
2 s
2
1
1
1 1 
1
1
R2 − l −
R2 − l −
=
− l−
l+
πR2 2 
2
2
2
2
) #
1
1
l
−
l
+
1
2
2
− l−
− R2 arcsin
+R2 arcsin
R
R
2
q

s

2
2 − k − 1 2

R
1
1
1
2
R2 − k −
−
+ R2 arcsin
− k−
2

πR 
2
2
R
(A.18)
· パタ ーン 3： bk,l 全体が焦点ずれ領域に 含ま れて いな い場合．

(k +




(k
+



(k −
(k −







+ (l + 21 )2
+ (l − 21 )2
+ (l + 21 )2
+ (l − 21 )2
k + (l − 12 )2
(k − 12 )2 + l2
1 2
)
2
1 2
)
2
1 2
)
2
1 2
)
2
2
> R2
> R2
> R2
> R2
> R2
> R2
(A.19)
のと き ，
bk,l = 0
(A.20)
109
謝辞
本研究は， 筆者が京都工芸繊維大学大学院工芸科学研究科博士後期課程設計工学専攻在
学中に ， 同研究科情報工学部門中森伸行教授の指導のも と に 行っ たも のである .
本研究を 行う に 際し ， ご指導を いただいた中森伸行教授に 深く 感謝いたし ま す．
研究全般に わたり ， 多大な ご支援・ ご指導を いただいた龍谷大学理工学部藤田和弘教授
に お礼申し 上げま す．
ま た， 研究遂行に あたり 有益な ご助言を いただいた京都工芸繊維大学名誉教授中山純一
氏， 京都府中小企業技術セ ン タ ー の桶谷新也氏， 兵庫県警察科学捜査研究所の四宮康治
氏， オム ロ ン ソ フ ト ウ ェ ア 株式会社の後藤修一氏， ICA ゼミ に ご参加の諸氏に 謝意を 表し
ま す.
研究に 取り 組む環境を 整え て く ださ っ た筆者在籍の滋賀県警察科学捜査研究所の山田直
司所長， 兼正晃次席に 深く 感謝いたし ま す . さ ら に ， 研究への取り 組みに 対する 深いご理
解と ， 多大な ご支援を いただいた筆者在籍の滋賀県警察科学捜査研究所の木田勇次氏に お
礼申し 上げま す .
最後に ， 仕事と 家事を こ な す多忙な 日々 の中で私を 支え 続け て く れた妻， 一緒に 遊びた
い気持ち を 我慢し て 応援し 続け て く れた子ど も たち に 深く 感謝し ま す .
110
参考文献
[1] 警察庁: “平成 25 年版 警察白書”(2013)
[2] A.M.Tekalp,H. Kaufman,and J.W.Woods: “Edge-Adaptive Kalman Filtering for
Image Restoration with Ringing Suppression”, IEEE Trans. Acous., Speech, Signal Process., Vol.37, No.6, pp.892-899(June,1989)
[3] 藤田和弘， 吉田靖夫， 外田修司： “確率モデルに 基づく 流れ画像の推定と 復元 ”, 電子
情報通信学会論文誌 D, Vol.J72-D, No.11, pp.1867-1874(Nov.1989)
[4] Y.Y.Nikolas， P.Galatsanos， A.K.Katsaggelos: “Projection-Based Spatially Adaptive Reconstruction of Block-Transform Compressed Images ”, IEEE Trans. on
Image Processing, Vol.4, No.7, pp.896-908 (July 1995)
[5] T.Ozcelik, J.C.Brailean, A.K.Katsaggelos: “Image and Video Compression Algorithms Based on Recovery Techniques Using Mean Field Annealing”, Proceedings
of the IEEE, Vol.83, No.2, pp.304-316 (February 1995)
[6] 藤田和弘, 貴田明宏， 稲垣昭生: “劣化画像復元法を 用いた JPEG 画像の鮮明化”, 日
本法科学技術学誌， Vol.11, No.1, pp.29-40(2006)
[7] M.Cannon:
“Blind Deconvolution of Spatially Invariant Image Blurs with
Phase ”, IEEE Trans. Acoust., Speech, Signal Processing, Vol.24, No.1, pp.5863,(February 1976)
[8] A.M.Tekalp, H.Kaufman, J.Woods: “Identification of Image and Blur Parameters
for the Restoration of Noncausal Blurs ”, IEEE Trans. Acoust., Speech, Signal
Processing, Vol.34, No.4, pp.963-972,(August 1986)
[9] 藤田和弘, 松田幸成, 吉田靖夫: “非一様平均画像モ デルを 基礎と し た 劣化画像パラ
メ ー タ の最ゆ う 推定”, 電子情報通信学会論文誌 D-2, Vol.J77-D-2, No.4, pp.781-
790(1994)
[10] A.K.Jain: “Fundamentals of Digital Image Processing”, Prentice Hall
[11] J.Biemond, R.L.Lagendijk, R.M.Mersereau: “Iterative Methods for Image Deblurring”, Proceedings of the IEEE, Vol.78, No.5, pp.856-883(1990)
111
[12] 藤田和弘, 岩田収, 山本直子, 吉田靖夫: “エ ッ ジ 適応型反復法に よ る 劣化画像の復
元”, 映像情報メ ディ ア 学会誌, Vol.51, No.6, pp.910-916(1997)
[13] ア ズウ ィ ， 橋本晉之介: “JPEG 概念から C++ での実装ま で ”, ソ フ ト バン ク ， パブ
リ ッ シン グ株式会社
[14] R.C.Gonzalez, R.E.Woods: “Digital Image Processing”, Prentice Hall
[15] P.Campisi, K.Egiazarian: “BLIND IMAGE DECONVOLUTION”, CRC Press
(2007)
[16] M.R.Banham, A.K.Katsaggelos: “Digital Image Restoration”, IEEE Signal Processing Magazine, Vol.14, No.2, pp.24-41(1997)
[17] A.Katsaggelos, N.Galatsanos: “Signal Recovery Techniques for Image and Video
Compression and Transmission”, Kluwer Academic Publishers (1998)
[18] 舟久保登: “パタ ーン 認識”, pp.128-130, 共立出版 (1991)
[19] W.H.Press, S.A.Teukolsky, W.T.Vetterling, B.P.Flannery: “ニュ ーメ リ カ ルレ シ
ピ ・ イ ン ・ シー ”, p.418, 技術評論社 (1993) [20] 門野浩二， 藤田和弘， 中森伸行: “画像確率モデルに 基づく 焦点ずれ劣化 JPEG 画像
の鮮明化”, 映像情報メ ディ ア 学会誌, Vol.64, No.11, pp.1663-1670(2010)
[21] 門野浩二， 藤田和弘， 中森伸行: “運動劣化 JPEG 画像の鮮明化お よ びス ペク ト ル
特性を 用いた パラ メ ー タ 推定”, 映像情報メ ディ ア 学会誌, Vol.65, No.11, pp.1603-
1612(2011)
[22] D.Kundur, D.Hatzinakos: “Blind Image Deconvolution”, IEEE Signal Processing
Magazine, Vol.13, No.3, pp.43-64(1996)
[23] S.V.Vaseghi: “Advanced Digital Signal Prodessing and Noise Reduction Second
Edition”, Wiley
[24] 藤田和弘: “確率画像モデルを 基礎と し た 劣化画像のパラ メ ータ 推定と 復元に 関する
研究”, 京都工芸繊維大学博士論文 (平成 5 年 7 月 20 日)
112
関連公表論文
学術論文
第 1 章 緒言
第 2 章 劣化 JPEG 画像の鮮明化
[1] 門野浩二, 藤田和弘, 中森伸行: “画像確率モデルに 基づく 焦点ずれ劣化 JPEG 画像
の鮮明化”, 映像情報メ ディ ア 学会誌, Vol.64, No.11, pp.1663-1670(2010)
第 3 章 焦点ずれ劣化 JPEG 画像の鮮明化
[1] 門野浩二, 藤田和弘, 中森伸行: “画像確率モデルに 基づく 焦点ずれ劣化 JPEG 画像
の鮮明化” 映像情報メ ディ ア 学会誌, Vol.64, No.11, pp.1663-1670(2010)
第 4 章 運動劣化 JPEG 画像の鮮明化
[1] 門野浩二, 藤田和弘, 中森伸行： “運動劣化 JPEG 画像の鮮明化およ びスペク ト ル特性
を 用いたパラ メ ータ 推定”, 映像情報メ ディ ア 学会誌, Vol.65, No.11, pp.1603-1612(2011)
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
[1] 門野浩二, 藤田和弘, 中森伸行： “運動劣化 JPEG 画像の鮮明化およ びスペク ト ル特性
を 用いたパラ メ ータ 推定”, 映像情報メ ディ ア 学会誌, Vol.65, No.11, pp.1603-1612(2011)
113
第 6 章 結言
参考論文
第 4 章 運動劣化 JPEG 画像の鮮明化
[1] Koji KADONO, Kazuhiro FUJITA, and Nobuyuki NAKAMORI: “IMAGE DEBLURRING OF MOTION-BLURRED JPEG IMAGE”, IMQA2010, The Fourth International Workshop on Image Media Quality and its Applications, E-3(2010)
口頭発表など
第 3 章 焦点ずれ劣化 JPEG 画像の鮮明化
[1] 門野浩二, 木田勇次, 藤田和弘： “画像確率モデルに 基づく 焦点ずれ劣化 JPEG 画像
の鮮明化”, 2008 年映像情報メ ディ ア 学会冬季大会， 9-11(2008)
[2] 門野浩二, 藤田和弘, 木田勇次： “焦点ずれ劣化 JPEG 画像の鮮明化”, 平成 21 年電
気関係学会関西支部連合大会, G13-32(2009)
第 5 章 劣化 JPEG 画像の劣化パラ メ ータ 推定
[1] 門野浩二, 木田 勇次, 藤田和弘： “劣化 JPEG 画像に 対する 鮮明化画像の定量的評
価”, 平成 19 年電気関係学会関西支部連合大会, G13-20(2007)
[2] 門野浩二, 藤田和弘, 中森伸行： “運動劣化 JPEG 画像のパラ メ ータ 推定”, 平成 23
年電気関係学会関西支部連合大会, 30P3-24(2011)
[3] 門野浩二, 藤田和弘, 中森伸行： “運動劣化 JPEG 画像の劣化の長さ と 方向の推定”,
平成 24 年日本法科学技術学会第 18 回学術集会, D-20(2012)
[4] 門野浩二, 藤田和弘, 中森伸行： “劣化 JPEG 画像の劣化パラ メ ータ 推定”, 第 12 回
情報科学技術フ ォ ーラ ム FIT2013, I-035(2013)

先日、RAW 現像ソフト Nikon capture NX

ウェーブレットによる音声処理

ZeNNETシステム（Z-Reins）の新機能のお知らせ

こちら - 伊東研究室

ケプストラム解析を用いた JPEG 符号化画像における視覚的妨害の推定

CGアニメーション実習

フォトコンテスト応募要項 - いおワールドかごしま水族館

千葉市健康づくり推進事業所認証マーク使用取扱基準（PDF：174KB）

ビットランドタイムス 09月14日号

オクテック注文から納品までの流れ