画像処理・実習第五回：空間フィルタ（特徴抽出，ラプラシアン，鮮鋭化）東海大学情報理工学部情報メディア学科濱本和彦今回の内容課題解説画質の評価（PSNRについて） 3. 空間フィルタ  3.3 特徴抽出フィルタ－画像の一次微分     実習 Robertsフィルタ Prewittフィルタ Sobelフィルタ線検出出力画像の濃度値課題解説 255 128 128 2   z  2 z m     zm  z'   2 z  zm  z m   2 1  zm   255 zm   0  z   2        zm   z  z  m  2  原画像の濃度値 • 導出過程？ • プログラム？→ imggrayc2.hで確認 • 実行結果？ • ヒストグラム？課題解説 1000 800 600 400 200 0 0 100 200 なぜこのようなヒストグラムになるのか？課題解説 •暗いレベル（変換曲線の変化の割合が1以下）は，より暗くなる。隙間発生無し。出力 C B A 頻度頻度入力 2000 A B A C B C 1000 1000 0 0 2000 •明るいレベル（同上）は，より明るくなる。隙間発生無し。 100 入力 0 0 200 階調数 100 200 出力階調数 •中間レベルは引き延ばされる（隙間が発生）空間フィルタその他の平滑化フィルタエッジ保存平滑化領域１領域２領域３領域４ 9つの小領域に分割着目画素と５×５近傍領域５それぞれの領域について，画素値の平均と分散を求める領域６領域７領域８領域９最も分散が小さい領域の平均値を着目画素の画素値とする空間フィルタエッジ保存平滑化最も分散が小さい領域とは？画素値がほとんど同じ領域であり，大きく異なる画素値（つまりノイズやエッジ）が無い領域  その平均値を着目画素の画素値とすることにより，エッジを保存した平滑化が可能  ただし，処理時間が他の手法より長い演習エッジ保存平滑化  void Edge_keep_smoothing(void)を実行し，他の手法の結果と比較しなさい結果 lenan20.raw エッジ保存平滑化ガウシアンフィルタ（１回）画質の評価 PSNR MAX 2 P SNR[dB]  10 log10 MSE ^ 1 N 1 M 1 2 MSE  ( f [ i ][ j ]  f [ i ][ j ])  N  M i 0 j 0 MAX  最大濃度値(255) f [i ][ j ] : 原画像 ^ f [i ][ j ] : 評価画像 N : 行数， M : 列数　( N  M  256) 画質を評価する代表的な指標平均自乗誤差に対する濃度最大値のS/N 通常，32[dB]程度で原画像との違いは視認できないと言われる S/Nであるので，大きい値ほど高画質結果移動平均 25.61dB 演習3.1 25.49dB ガウシアン（１回） 22.98dB ガウシアン（3回） 24.38dB メディアン（１回） 29.75dB メディアン（3回） 28.77dB エッジ保存平滑化 25.55dB 人間の視覚とは必ずしも一致した評価にならないことに注意！特徴抽出フィルタ画像解析  画像の特徴を抽出し目的に応じて処理画像の特徴  濃度値，色，模様（テクスチャ）など領域（region）  特徴が似通っている部分エッジ（edge）  領域と領域の境界で，特徴が急激に変化している部分エッジ検出は重要かつ基本的な画像解析特徴抽出フィルタ濃度差のエッジ検出：画像の微分一次微分（勾配：gradient）画像の微分って？そもそも，微分って何？微分とは，変化の割合つまり，「隣の画素との間で，濃度がどれだけ変化したか？」ディジタルデータの微分は，「差分」を求めること。特徴抽出フィルタ濃度差のエッジ検出：画像の微分一次微分（勾配：gradient）微分（差分）の定義 f [ y ][x]   x f  f [ y ][x  1]  f [ y ][x] x f [ y ][x]   y f  f [ y  1][x]  f [ y ][x] y 対称性を考慮して  x f  f [ y][x  1]  f [ y][x  1]  y f  f [ y  1][x]  f [ y  1][x] 特徴抽出フィルタ濃度差のエッジ検出：画像の微分一次微分（勾配：gradient）  x f  f [ y][x  1]  f [ y][x  1]  y f  f [ y  1][x]  f [ y  1][x]  x f    y f  2 2 簡易版   x f   y f 1 tan y f x f 縦方向のエッジだけ検出横方向のエッジだけ検出エッジの方向に依存しない勾配の大きさを計算勾配の方向特徴抽出フィルタ濃度差のエッジ検出：画像の微分一次微分（勾配：gradient）演習3.3の計算を行いなさい。式(3.6)の実習をしましょう。    image_processing5.cを利用します。 imgfilter2.hに関数定義します。 void Eqn3_6x(void)   void Eqn3_6y(void)   y方向微分です。フィルタオペレータを完成させてください。 void Eqn3_6(void)   x方向の微分です。フィルタオペレータを完成させてください。式(3.7)で勾配の大きさを出力します。式を完成してください。 Lenaでエッジ検出の効果を確認してください。エッジを黒画素で表示する場合はInverse()を実行してください。特徴抽出フィルタ濃度差のエッジ検出：画像の微分一次微分（勾配：gradient） x方向微分 y方向微分縦エッジ検出横エッジ検出式(3.6)の結果勾配の大きさ特徴抽出フィルタ一次微分フィルタ：Roberts Δuf Δvf 0 0 0 0 0 1 0 0 -1 0 0 0 0 0 0 -1 1 0 斜め方向の画素の濃度差を利用 Δuf はx方向の微分， Δvf はy方向の微分として扱われる特徴抽出フィルタ一次微分フィルタ：Prewitt Δx Δy 1 1 1 0 -1 0 -1 0 -1 1 1 1 0 0 0 -1 -1 -1 8近傍を有効に利用する Robertsのように一カ所の差分を求めるよりは，比較的局所的な雑音の影響が少ない特徴抽出フィルタ一次微分フィルタ：Sobel Δx Δy 1 2 1 0 -1 0 -2 0 -1 1 2 1 0 0 0 -1 -2 -1 中央の重みを大きくする傾きを大きく計算することになり，エッジが強調される Prewittより検出感度が高いフィルタ重みは大きい程良いのか？実習 void Roberts(void)，void Prewitt(void)，void Sobel(void)を完成しなさい。ただし，これらの関数は勾配の大きさのみ出力します。 lena.rawの処理結果を比較しなさい。Inverse() を実行してエッジが濃く表示されるようにすると分かり易いです。ノイズがある場合(lenan20.raw)の処理結果を比較しなさい。ノイズがある場合について，平滑化フィルタ処理後にエッジ検出するとどうなりますか？結果 lena.rawの処理結果 Roberts Prewitt 低 Sobel 高検出感度の違い結果 lenan20.rawの処理結果 Roberts Prewitt 低 Sobel 高ノイズに対する感度も高くなってしまう差分＝変化の割合≠濃度の大きさこういう理由ノイズ（振幅は小さいが傾き急峻）元の画像変化の割合元の画像正の大きい傾きノイズの方が目立つ！！微分された画像負の大きい傾き微分された画像結果平滑化処理（移動平均）後のエッジ検出 Roberts Prewitt Sobel 平滑化してノイズレベルをならしてからエッジ検出演習3.4 表3.5の代わりに，square10.rawを利用します。 PrewittフィルタとSobelフィルタをかけて，その結果を比較しなさい。演習3.4結果 square10.raw Prewitt Sobel 最大濃度 120 最大濃度 160 特徴抽出フィルタ一次微分フィルタ：線検出フィルタ縦線検出 -1 1 -1 -1 1 -1 -1 1 -1 横線検出 -1 -1 -1 1 1 1 -1 -1 -1 線幅１の縦線，または横線の検出が可能検出したい形状に合わせて1,-1を配置することにより任意の形状の検出が可能 -1をすべて-1/2で置き換えると，エッジ検出も可能線検出，演習3.5, 演習3.6 表3.4の線検出オペレータで，線幅1の線が検出可能である理由を考えましょう。 -1を-1/2にすることでエッジが検出できる理由を考えましょう。関数Longitudinal_line(), Lateral_line()を完成させ， grid.rawまたはsquare.rawを入力画像としたときの出力画像を示し，線幅１の線のみが検出できることを確認してください。関数Oblique_line()を完成させ，線幅１の斜線が検出できることを確認してください。関数Longitudinal_edge(), Lateral_edge()を完成させ，同様な実験を行い，エッジが検出できること，線幅１の線の検出は出来ないことを確認してください。線検出フィルタ線幅１の線が検出できる理由幅１の線の時のみ，フィルタ出力が正になればよい。 -1 1 -1 -1 1 -1 -1 1 -1 フィルタ出力は３フィルタ出力は０幅１の領域のみ正の係数とし（+1とする），他を負の係数とする。幅２の線の場合に出力を０以下にするためには，幅１の領域の係数を相殺する係数を設定する。 -1より小さい係数を設定すれば良い。幅３の場合は，明らかにフィルタ出力は負となる。線検出フィルタエッジが検出できる理由エッジを検出するためには，幅２の線の場合に出力を正にする必要がある。 -1/2 1 -1/2 -1/2 1 -1/2 -1/2 1 -1/2 フィルタ出力は０以下フィルタ出力は正相殺されるように設定した負の係数を大きくし，出力が正になるようにする。しかし，幅３の場合には出力は０以下でなければならない。幅３の場合にはフィルタ出力が０以下になるようにフィルタ係数を設定する。 -1より大きく，-1/2以下の間で設定すれば良い。例えばこんな結果になります grid.raw Longitudinal_line( ) square.raw 中間テストについて 5/28，3限目は自習，4限目にテストを行います。場所： 6B-101 座席はこちらで指定します時間：60分（15:10-16:10）範囲はp.1-p.36（ただしプログラムリストは省く）プログラムを書かせる問題は無し教科書にない内容についても出題しない内容と配点    教科書の類似問題（教科書本文の穴埋めと演習問題から出題）５０点分（穴埋めは選択肢無し，太字のキーワードを中心に）教科書を理解していれば解ける問題３０点分深く考えさせる問題２０点分