符号化のための重み付きジョイントバイラテラルフィルタを用いた奥行き画像超解像名古屋工業大学大学院工学研究科＊福嶋慶繁松尾琢也石橋豊背景 -問題多視点映像からの自由視点映像合成圧縮画像合成ＺＺＺＺ背景 –DIBR(2)抑制フィルタ (3)逆ワーピング (1)ワーピング (4)ブレンド (5)インペイント奥行き画像符号化の問題 JPEG，MPEGなどの変換符号化 – モスキートノイズの影響大可逆圧縮（png, JPEG-LS, JPEG2000） – 符号化効率は低ジョイントバイラテラルフィルタによる変換符号化のノイズ除去（１）ジョイントバイラテラルフィルタ１．原画像と奥行き（対象）画像の２画像を使用入力画像拡大画像２．原画像の色の違いと距離を重みにしたフィルタフィルタリング３．原画像のエッジをキープしたノイズリダクション入力奥行き画像カーネルの重みジョイントバイラテラルフィルタによる変換符号化のノイズ除去（２）奥行き画像視点変更後奥行き画像視点変更後画像フィルタ後フィルタ前量子化したノイズが消せるのならそもそも，その情報（高周波）は必要ないのでは？目的奥行き画像のサブサンプルによる圧縮超解像による復号で効率的な圧縮を実現変換符号化・符号化間引き量子化超解像逆変換復号復号奥行き画像超解像：従来研究（１）原画像の位置・色の重み付き平均 J. Kopf et al.: “Joint bilateral upsampling”, ACM Trans. on Graphics, vol. 26, no. 3, p. 96, Jul. 2007. 奥行き画像超解像：従来研究（２）原画像上で最も色・位置の近い値の複製 M. Wildeboer et al.: “Depth up-sampling for depth coding using view information”, in Proc. 3DTV-CON, 2011. 従来手法の問題と提案手法従来手法の問題 – 従来手法（１）：線形補間をするため境界にぼけ，にじみが発生 – 従来手法（２）：最近傍法のような処理滑らかな変化を表現不能提案手法ぼけを抑制し，滑らかな変化を実現キーアイディア – 大きく離れた値を混合しない – 従来手法の（１）と（２）を適応的に提案手法１．最も近い値の選択２．その値から閾値以上離れた画素の重みを０に３．残る値から，色・位置の重み付き線形補間実験実験条件 • 使用したデータセット：Teddy – 解像度 450x375pixel • 真値の奥行き画像を縦横 1/2倍，1/４倍，1/8倍，1/16倍に縮小して超解像実験項目実験（１）：超解像の精度実験（２）：符号化効率従来超解像との比較 JPEG符号化との比較実験（１）超解像の精度従来超解像との比較超解像結果（入力）入力画像入力奥行き画像 8倍超解像超解像結果（最近傍）入力画像超解像結果（従来１）入力画像超解像結果（従来２）入力画像超解像結果（提案）入力画像実験結果（不正解率）表：真値と誤差が閾値より大きい画素の割合方法従来手法１従来手法２提案手法 7.56 7.26 6.23 閾値=0.5 [%] 4.99 5.27 3.98 閾値=1.0 [%] |真値ー超解像|＞閾値不正解率＝ ×１００全画素提案手法の精度がもっとも良い実験（２）符号化効率 JPEG符号化との比較実験結果（符号化効率） x8 合成画像のPSNR [dB] x4 奥行き画像の PSNRではない 34 JPEG+Filter [2] x16 33 JPEG 32 31 JPEG JPEG+Filter 30 Proposed x2 29 Proposed x4 x2 Proposed x8 28 27 Proposed x16 0 1 2 3 4 5 6 bit/pixel 7 8 9 実験結果（計算時間）従来：符号化＋フィルタリング 5ms＋25ms = 30ms 提案：サブサンプル＋超解像（ 8倍） 0.001ms＋1.5ms = 1.5ms ２０倍の高速化むすびと今後の課題むすび「奥行き画像の超解像による符号化を提案」 – JPEG＋ポストフィルタより，サブサンプル＋超解像 – 動的に重みを変更することで従来手法よりも精度の高い奥行き画像の超解像を実現 – 計算速度の向上 – 奥行き画像を間引いて計算可能 →奥行き推定の劇的な高速化今後の課題 – ノイズに強い超解像方式の対応 – ジョイントバイラテラルフィルタに向いた基底の検討