重み画像を用いた奥行き画像の 適応的バイラテラルフィルタリング 名古屋工業大学 大学院 工学研究科 松尾琢也 福嶋慶繁 石橋豊 2012年10月25日(木) ニューウェルシティ湯河原 PCSJ/IMPS 2012 目次 背景 従来研究 問題点と目的 提案手法 コストボリュームフィルタリング 重み付きジョイントバイラテラルフィルタ 評価方法 評価結果 結論および課題 背景 左画像 Left image 右画像 Right image 対応点探索 奥行き画像 3 背景 シンプルな奥行き推定 計算コストは低い 精度も低い Block Matching Pixel Matching, Block Matching 背景 複雑な奥行き推定 計算コストは高い 精度も高い Adapting Belief Propagation Graph Cuts, Belief Propagation （最適化） 背景 精度の高い奥行き画像が必要 コストをかけたくない 精度の低い奥行き画像を低コストに改善 フィルタを用いて奥行き画像改善 入力奥行き画像 フィルタ 出力奥行き画像 従来研究 信号 奥行き値 正解 推定結果 精度の低い奥行き画像 ノイズが多い 輪郭が凹凸 フィルタによって解決 奥行き 従来研究 バイラテラルフィルタ 位置重み 距離が近いほど大きな重み 色重み 色が近いほど大きな重み ノイズあり 平滑化が可能 色の違い(輪郭)を維持 スパイクノイズに弱い フィルタリング後 従来研究 ジョイントバイラテラルフィルタ* 入力に参照画像を追加 色重みは参照画像で決定 参照画像の輪郭を維持 ノイズ小:フラッシュあり ノイズ大:フラッシュなし フィルタリング後 参考文献 *: G. Petschnigg et al., ACM Trans. on Graphics, vol. 23, no. 3, pp. 673-678, Aug. 2004. 従来研究 ジョイントバイラテラルフィルタ* 入力に参照画像を追加 色重みは参照画像で決定 参照画像の輪郭を維持 ノイズ除去 輪郭補正 ぼけが発生 奥行き値の混合 原画像 Depth Map フィルタリング後 参考文献 *: G. Petschnigg et al., ACM Trans. on Graphics, vol. 23, no. 3, pp. 673-678, Aug. 2004. 問題点と目的 信号 奥行き値 奥行き 正解 推定結果 フィルタ後 ノイズ除去 輪郭補正 混合抑制 奥行き画像の精度向上 提案手法 コストボリュームフィルタリング ノイズ除去 混合抑制 重み付きジョイントバイラテラルフィルタ （WJBF） ノイズ除去 輪郭補正 提案手法 コストボリュームフィルタリング ノイズ除去 混合抑制 重み付きジョイントバイラテラルフィルタ （WJBF） ノイズ除去 輪郭補正 提案手法 （コストボリュームフィルタリング） コンセプト 平面部分は周囲の値と滑らかに接続 大きく値が変化する物体境界は変化を維持 推定結果 フィルタ結果 提案手法 （コストボリュームフィルタリング） 平面部分を滑らかに接続という点で， 最適化と同じ 最適化手法 （総コスト）＝（マッチングコスト）＋（滑らかさのコスト） バランス良く 奥行き画像から滑らかさのコストを作り出し， このコストだけを滑らかにすればよい コストボリュームフィルタ → この奥行き値らしさ → この奥行き値らしさ 各々をフィルタ 提案手法 入力 奥行き画像 （コストボリュームフィルタリング） 各奥行き値のコストスライスに分割 スライスのノイズ除去，輪郭補正 スライスを統合 スライス 分割 フィルタリング スライス 統合 出力 奥行き画像 提案手法 （コストボリュームフィルタリング） スライス分割 コスト ＝ スライスの示す － 奥行き値 奥行き値 0 2 1 2 0 1 2 5 奥行き値0の コストスライス 1 0 1 4 奥行き値1の コストスライス 2 1 0 3 奥行き値2の コストスライス 5 ：奥行き画像 5 … … 4 3 0 奥行き値5の コストスライス コストスライスの示す奥行き値と， 各画素の持つ奥行き値の差からコストを計算 提案手法 コストの図解 コスト コスト 打ち切り変数 （コストボリュームフィルタリング） 画素 画素 あまりにもコストが大きくなると，周囲のコストにも影響 打ち切り変数を用いたコストの打ち切り 提案手法 入力 奥行き画像 （コストボリュームフィルタリング） 各奥行き値のコストスライスに分割 スライスのノイズ除去，輪郭補正 スライスを統合 スライス 分割 フィルタリング スライス 統合 出力 奥行き画像 提案手法 （コストボリュームフィルタリング） フィルタリング 0 1 2 5 1 0 1 4 2 1 0 5 … 3 4 3 0 コストスライス 各スライスをフィルタしてノイズ除去 平滑化フィルタならOK 0 1 2 5 1 0 1 4 2 1 0 3 5 … 4 3 0 提案手法 入力 奥行き画像 （コストボリュームフィルタリング） 各奥行き値のコストスライスに分割 スライスのノイズ除去，輪郭補正 スライスを統合 スライス 分割 フィルタリング スライス 統合 出力 奥行き画像 提案手法 （コストボリュームフィルタリング） スライス統合 0 5 1 2 奥行き値0の コストスライス 1 4 0 1 奥行き値1の コストスライス 2 3 1 0 奥行き値2の コストスライス 5 … … 0 4 3 奥行き値5の コストスライス 0 ：奥行き画像 各画素でコストを参照して， 個別に奥行き値を決定することから， 各画素でコストが最小となるときの奥行き値を， 奥行き値の混合は発生しない その画素の奥行き値と決定 1 2 5 提案手法 コストボリュームフィルタリング ノイズ除去 混合抑制 重み付きジョイントバイラテラルフィルタ （WJBF） ノイズ除去 輪郭補正 提案手法 重み付きジョイントバイラテラルフィルタ （WJBF） ジョイントバイラテラルフィルタの拡張 ジョイントバイラテラルフィルタ 入力に参照画像を追加 色重みは参照画像で決定 参照画像の輪郭を維持 原画像 Depth Map フィルタリング後 提案手法 重み付きジョイントバイラテラルフィルタ （WJBF） ジョイントバイラテラルフィルタの拡張 ジョイントバイラテラルフィルタ 入力に参照画像を追加 入力 色重みは参照画像で決定 参照画像の輪郭を維持 ノイズ除去 0 輪郭補正 1 原画像 2 5 0 1 2 5 コストスライス フィルタリング後 ノイズ除去，輪郭補正が可能 提案手法 ノイズが多い 不正確な輪郭部分 （WJBF） 不必要な部分に重みが付与 ノイズ・輪郭部分の重みを抑制 提案手法 （WJBF） 重み画像 評価方法 入力奥行き画像はノイズ量・輪郭精度の異なる3種類 コストボリュームフィルタに用いるフィルタの比較 Block Matching (BM) -ノイズ：多，輪郭精度：低 Semi-Global Matching (SGM) [3] -ノイズ：少，輪郭精度：中 Adaptive Weight (AW) [4] -ノイズ：少，輪郭精度：高 Gaussian Filter (GF) Joint Bilateral Filter (JBF) [5] 提案手法 (WJBF) 入力は“teddy” : teddy (450×375) 参考文献 [3]: H. Hirschmuller, IEEE Trans. PAMI, vol. 30, no. 2, pp. 328-341, Feb. 2008. [4]: K.-J. Yoon and I.-S. Kweon, IEEE Trans. PAMI, vol. 28, no. 4, pp. 650-656, Feb. 2006. [5]: G. Petschnigg et al., ACM Trans. on Graphics, vol. 23, no. 3, pp. 673-678, Aug. 2004. 評価結果 （1/9） BM with GF with JBF with WJBF Error rate (%) 40 30 20 10 0 nonocc BM BM with GF all Error regions BM with JBF disc BM with WJBF 評価結果（2/9） BM nonocc all disc 16.17 24.25 29.89 評価結果（3/9） 入力画像 BM with GF nonocc all disc 9.06 17.15 23.80 評価結果（4/9） 入力画像 BM with JBF nonocc all disc 8.48 16.72 21.12 評価結果（5/9） 入力画像 BM with WJBF nonocc all disc 6.84 14.35 18.00 評価結果（6/9） SGM SGM with WJBF nonocc all disc nonocc all disc 7.60 14.83 20.90 6.84 14.35 18.00 評価結果（7/9） SGM with GF with JBF with WJBF 35 Error rate (%) 30 25 20 15 10 5 0 nonocc all Error regions SGM 入力の誤り率推移 disc 評価結果（8/9） AW AW with WJBF nonocc all disc nonocc all disc 7.88 13.30 18.60 7.52 12.53 18.20 評価結果（9/9） AdaptWeight with GF with JBF with WJBF 35 Error rate (%) 30 25 20 15 10 5 0 nonocc all Error regions AW 入力の誤り率推移 disc 結論 重み付きジョイントバイラテラルフィルタを 用いた，コストボリュームフィルタにより，ぼ けを抑制しつつ，ノイズ除去・輪郭補正が 可能 効果は精度が低いほど顕著 提案手法の方が，比較手法よりも効果的 課題 データセットを増やしての，効果の検証
© Copyright 2024 ExpyDoc
