自己縮小画像と混合ガウス分布モデルを用いた超解像 IS2-22 小川祐樹・堀貴博・滝口哲也・有木康雄（神戸大学）研究背景提案手法モデル性が強く，表現力の強い手法を提案従来手法のように大量の学習画像を用いず，入力画像のみで処理超解像とは低解像度の劣化画像を高解像度の画像へと変換する技術 2つの提案手法 GMMから作成した変換関数を用いて超解像を行う GMM GMMとPLSを組み合わせて変換関数を作成する GMM+PLS GMM(Gaussian Mixture Model) 確率分布： P(x) 確率分布を複数の正規分布に対する重み付き和を用いて表現する M P( x)    i N ( x : i ,  i ) i 1 パラメータの推定にはEMアルゴリズム (Expectation Maximization)を用いる M  i 1 i 1 特徴ベクトル：　x 平均ベクトル：　 m GMMの例データの次元 : 2 正規分布混合数 : 4 分散共分散行列：　m 正規分布：　N ( x :  m ,  m ) 重み係数 : m 混合数 : M 提案手法の流れ  x  y  z    x1 y  1 Bicubic interpolation x2 ... ... xn   y2 ... ... yn  GMM parameters are estimated using (EM) algorithm param eters( i ,  ,  ) z i   z i    Reduction Self-reduction image I R 変換関数 xx i yx i z i   z   ,  i        xy i yy i x i y i Estimation of parameters Bicubic interpolation PLS(Partial Least Squares) Enlarged image I L Input image GMMのみで変換関数を作成すると，過学習が起こる可能性があるので，それを防ぐために用いる I High-pass filter I 'L y x Diff image IF  I  IL I LH 1～I LH 4 Image patches Super-resolution image I S  I 'L  I 'F Image patches ym  xm  e Conversion y  f (x) GMM of z  ( x, y) Conversion function y  f (x) or x GMM + PLS データをそのまま使わずに潜在変数を計算し、その潜在変数への回帰を行う回帰係数:β 残差：e M y ~ ˆ y   x     m m i , m i GMM + PLS回帰 y i 1 I 'F I 'LH 1 ～I 'LH 4 Learning of conversion function    y i , m m m 1 T  Estimation of Super-resolution y i T 評価実験 256x256画素の画像を縦横２倍に拡大し，失われた高周波成分がどれだけ復元できたか調べる 比較手法: Bicubic法, Example-based手法, スパースコーディング, 提案手法(GMMのみ), 提案手法(GMM + PLS) 評価方法:PSNR, SSIM, VSNR PSNR SSIM VSNR Bicubic 33.07 0.8015 16.20 Example-based 32.23 0.7540 15.35 Sparse-coding 34.20 0.8608 17.05 Proposed(GMM) 35.57 0.9157 17.43 Proposed(GMM+PLS) 36.74 0.9162 17.32 (1) Bicubic interpolation (2) Example-based (3) Sparse-coding (4) Proposed (GMM) まとめ・今後の課題 従来手法との比較を行った結果，2つの提案手法(GMMのみ，GMM+PLS) 共に，従来手法より評価値が優れ，より鮮明な画像を作成することができた 今後の課題 : パラメータの自動推定，更に有効な変換関数の作成方法 (5) Proposed (GMM+PLS)