ウェーブレット変換を用いた学習型の超解像神戸大学工学部情報知能工学科小川祐樹 [email protected] 神戸大学自然科学系先端融合研究環滝口哲也, 有木康雄 {takigu, ariki}@kobe-u.ac.jp 研究背景  画像の画質が良いほど得られる情報量や精度が良く、その有用性は高い。しかし、画質はカメラの性能や撮影条件などに依存するため、高画質な画像を得られない場合が多い超解像技術を用いて，ハードウェア面だけでなくソフトウェア面でも画質を良くする超解像 www.***.com 研究内容 超解像とは  本研究では一枚画像を超解像する研究を行う拡大超解像 www.***.com 超解像システム超解像画像入力画像加工して加える画像データベース LL LH HL HH 1 LL LH 3x3 N … パッチに分解逆ウェーブレット変換 HL HH 1 N HL LH HH … 3x3 LL 最も一致するパッチを探して，高周波成分復元パッチ重ね合わせ www.***.com 画像データベース作成学習画像ウェーブレット変換 LL HL LH HH パッチに分解画像データベース LL LH HL HH 1 ... 3x3 N www.***.com 提案手法 学習画像として入力画像も用いる 学習画像データベースに入力画像を加工したものを加える入力画像ウェーブレット変換 LL HL …… LH HH 高周波を持つパッチのみデータベースに加える．徐々に小さく画像データベース LL LH HL HH 1 ... 3x3 N www.***.com 超解像システム超解像画像入力画像加工して加える画像データベース LL LH HL HH 1 LL LH 3x3 N … パッチに分解逆ウェーブレット変換 HL HH 1 N HL LH HH … 3x3 LL 最も一致するパッチを探して，高周波復元パッチ重ね合わせ www.***.com パッチに分解入力画像 LL LH パッチに分解 HL LH HH 1 3x3 N … LL HL HH 高周波成分が0であると考える www.***.com 超解像システム超解像画像入力画像加工して加える画像データベース LL LH HL HH 1 LL LH 3x3 N … パッチに分解逆ウェーブレット変換 HL HH 1 N HL LH HH … 3x3 LL 最も一致するパッチを探して，高周波復元パッチ重ね合わせ www.***.com パッチ選択方法 パッチの選択方法  パッチがどれだけ一致しているかを評価する式:  xi , yi   || xi  yi ||2 2 i2 xi : 入力画像のパッチ yi : データベースのパッチ σ2 : xと yの分散  最も良い評価のパッチを選択し、高周波部分(LH,HL,HH)を置き換える． www.***.com 超解像システム超解像画像入力画像加工して加える画像データベース LL LH HL HH 1 LL LH 3x3 N … パッチに分解逆ウェーブレット変換 HL HH 1 N HL LH HH … 3x3 LL 最も一致するパッチを探して，高周波復元パッチ重ね合わせ www.***.com 実験準備(1/2) 実験準備  学習画像は(768*576)の画像を10枚  画像はグレースケール  評価方法はSSIMを用いた用いた学習画像 www.***.com 実験準備(2/2)  SSIMについて  １の値に近ければ近いほど，元の画像と似ている．  PSNRと比べるとSSIMのほうが人間の印象と一致しやすい SSIMの式 x, y : 画像　μ : 平均　σ2 : 分散　σxy : 共分散 www.***.com 評価実験 実験内容  192*144の画像を半分の大きさにして作成した96*72の画像を縦横２倍に拡大し，失われた高周波成分がどれだけ復元できたか調べる．  Bicubic 法で拡大した画像と学習画像のみのデータベースを用いて拡大した手法と提案手法で拡大した画像を比較した．  入力画像を10枚用いて，SSIM値の最小値，最大値，平均の三つで比較した www.***.com 実験結果(1/3) 1 0.9836 0.9848 0.9754 SSIM 0.98 0.96 0.9412 0.9418 0.94 0.9248 0.92 Bicubic法 0.9 0.8898 0.8910 ベース手法提案手法 0.88 0.8674 0.86 0.84 0.82 0.8 min max average www.***.com 実験結果(2/3) (a):入力画像 (b):bicubic法で拡大した画像 (c):学習画像のみの画像データベースで拡大した画像 (d):提案手法で拡大した画像 www.***.com 実験結果(3/3) (b):bicubic法で拡大した画像 (c):学習画像のみの画像データベースで拡大した画像 (d):提案手法で拡大した画像 www.***.com まとめ まとめ Bicubic法と比較すると，SSIM値，画質両方で優れていることがわかる． しかし，学習画像のみのデータベースを用いた手法と比較した場合では，精度の向上があまり見受けられなかった． 今後の方針 入力画像をより有効に使用できる方法を考える． www.***.com 以下付録 www.***.com 学習画像を増やせばどうなるか 0.908 0.907 0.906 0.905 SSIM (a) 0.904 (b) 0.903 0.902 0.901 5 6 7 8 9 10 11 学習画像枚数 12 13 14 (a):学習画像のみの画像データベースで拡大した画像 (b):入力画像を学習画像に組み合わせた画像データベースを用いて拡大した画像 www.***.com PSNR値での比較(1/2) 37.945 37.940416 37.94 37.935 37.93 Bicubic法で拡大 PSNR 37.925 37.921514 提案手法で拡大 37.92 37.915 37.91 PSNR値比較 bicubic法で拡大した画像提案手法で拡大した画像 www.***.com PSNR値での比較(2/2) bicubic法で拡大した画像提案手法で拡大した画像 www.***.com 従来研究 一枚画像を超解像する上での従来手法  Example-based手法 低解像度，高解像度画像を組み合わせた画像DB用いて，低解像度画像の高周波成分を復元する手法 一枚画像の超解像ではこの手法が代表的であるので，この手法を改良する超解像画像入力画像入力画像をパッチに分解一致するパッチを探すパッチを合成画像データベース www.***.com