平 成 2 6 年 度 修 士 論 文 要 旨
電子通信工学領域 6625018 国井 達彦
視覚的顕著性に基づく画像再配色による自然な注視誘導の実現
序論
1
最後に，各成分の正規化した Conspicuity map を
線形結合し，Saliency map SM を生成する．
人の注視を誘導することによって情報認識の支援が
行われている．その際，記号などで明示するのではな
く，自然と視線が向くような誘導方法が望まれている．
Hagiwara らは視覚的顕著性に基づく色修正による注
視誘導を提案している [1]．しかし，色味の劣化やノ
イズの発生，処理コストが大きいなどの課題がある．
本稿では，違和感を与えることなく注視を誘導する
ため，視覚的顕著性に基づく高速な画像再配色手法
を提案する．高速かつ自然な色修正を達成するため
1
(N (CML∗ ) + N (CMa∗ ) + N (CMb∗ )) (3)
3
SM =
ここで，N (·) は Itti らの提案している正規化処理を
表す [2]．線形結合の際に正規化処理を行う理由は，各
特徴のダイナミックレンジをあわせるためである．
2.2
視覚的顕著性に基づく色修正
提案する画像再配色手法の流れを以下に示す．
Step 1. 注視を誘導したい領域 D を指定
L∗ a∗ b∗ 表色系に基づく視覚的顕著性マップを新たに
提案し，それに基づき画素の修正量を決定することに
より注視を誘導可能な再配色を実現する．提案手法の
Step 3. 基本修正量 Q を計算
有効性を示すため，再配色した画像の注視誘導効果と
Step 4. 強度係数 P を計算
自然性，処理コストの 3 つの指標について評価を行う．
Step 5. 基本修正量 Q と強度係数 P により色修正
Step 6. 指定領域 D 内の顕著度 SMD が画像中で最
提案手法
2
2.1
Step 2. 顕著性マップ SM を計算
大となったら終了．そうでなければ Step 2 に戻る．
L∗ a∗ b∗ 表色系に基づく顕著性マップ
顕著性マップは，人の注視の引き付けやすさを示す
続いて，Step 3 以降の各処理について順に詳細を述
べる．なお，以降，k = {L∗ , a∗ , b∗ } とする．
まず，画素 (i, j) の基本修正量 Qk (i, j) は，
指標であり，代表的なものとして Itti らのモデルがあ
Qk (i, j) = Sgnk (i, j) · φk
る [2]．しかし，このモデルを用いた再配色は処理コ
ストが高くなる．そこで，高速な再配色を実現するた
め，L∗ a∗ b∗ 表色系に基づく顕著性マップを提案する．
はじめに，入力画像を RGB 表色系から L∗ a∗ b∗ 表色
系に変換し，ベース画像 k (k = L∗ , a∗ , b∗ ) を作成し，
それぞれのガウシアンピラミッドを作成する．次に，
式 1 に従って center-surround difference 処理を行い
Feature map F Mk を生成する．この処理は，画素の
細かいスケール（center）と粗いスケール（surround）
間の差分計算であり，周囲と差異がある画素が顕著な
領域として現れる．
F Mk (c, s) = |k(c) ⊖ k(s)|
(1)
(4)
で与えられる．Sgnk (i, j) は，注目画素 (i, j) とその
周囲の大小比較により各成分を強調するか抑制するか
を決定する符号関数であり，次のように定義する．
{
1
k(i, j) > k(i, j)
(5)
Sgnk (i, j) =
−1 otherwise
ここで， k(i, j) は画素 (i, j) を中心とする 256 × 256
画素の範囲の平均値である．また，φk は影響度であ
り，次のように定義される．
φk =
N (CMk )
N (CML∗ ) + N (CMa∗ ) + N (CMb∗ )
(6)
ここで，演算子 ⊖ は異なるスケール間の差分を表す．
この影響度にしたがって画素値を変化させることで効
なお，center は c = {2, 3, 4} であり，surround は s =
率よく顕著度を変化させることが可能である．
c + δ, δ = {3, 4} である．
次に，Feature map を結合して Conspicuity map
CMk を生成する．従来モデル [2] では正規化後に結合
していたが，本手法では高速化のため正規化を省く．
CMk =
4
c+4
⊕
⊕
F Mk (c, s)
(2)
c=2 s=c+3
ここで，演算子
⊕
は異なるスケール間の加算を表す．
次に，基本修正量の重みである強度係数 P を次の
ように定義する．
{
P (i, j) =
SMD
(i, j) ∈ D
−SM (i, j) otherwise
(7)
ここで，SMD は領域 D 内の顕著度の平均値である．
強度係数は，指定領域 D 内では特徴を強調するため
に正の値，それ以外の領域では特徴を抑制するために
負の値とする．また，領域 D 内の強度係数の差異は
違和感の原因となるため，領域 D 内の強度係数を均
一化した．
色修正は強度係数 P と基本修正量 Qk を用いて次
のように定義される．
k t+1 (i, j) = k t (i, j) + W · P t (i, j) · Qtk (i, j)
(8)
(a) 原画像
ここで，W は 1 回の繰り返しにかかる重みである．最
(b) 再配色後の画像
図 1: 視線解析の例 1
後に，領域 D 内の顕著度の平均値 SMD がそれ以外の
領域の顕著度の最大値を上回るまで Step 3 から Step
6 までの処理を繰り返し，領域 D に注視を誘導可能
な画像を作成する．
評価実験
3
3.1
提案する視覚的顕著性マップの評価
(a) 原画像
提案する顕著性マップの評価を NSS（Normalized
(b) 再配色後の画像
図 2: 視線解析の例 2
Scanpath Saliency）により行う．NSS は顕著性マッ
プと注視点スキャンパスの相関に基づく評価尺度であ
ている．誘導対象領域への，ファーストサッカードに
る．正常な色覚を有する 19 名の視線データに対して
注目すると，原画像では 6.0%であったのに対し，従
NSS 値を求めた結果，従来手法が 0.43，提案手法が
0.47 となり，提案する顕著性マップの有効性が確認で
このことから，提案手法は，従来手法 [1] と比較して，
きた．
注視誘導効果が向上していることを確認した．
3.2
3.2.1
注視誘導のための色修正法の評価実験
実験方法
提案手法の有効性を検証するため，再配色した画像
の注視誘導効果と自然性，処理コストの 3 つの指標に
ついて評価を行う．被験者は，正常な色覚を有する 20
名，実験画像（640 × 480[pix]）は 30 種類である．
まず，注視誘導効果を非接触視線解析装置 QG-
PLUS を用いた被験者実験により確認する．被験者
の頭部は顎台で固定し，前方 65cm の位置に 19 イン
チ液晶ディスプレイ（1280×960[pix.]）を設置する．そ
れぞれの画像は 3 秒間ずつランダムに提示し，画像提
示の前に固視点を 1 秒間提示した．
次に，原画像に対する再配色後の画像の違和感の評
来手法 [1] では 25.8%，提案手法では 41.0%となった．
次に，主観評価として，DSIS 法の評価値は，従来
手法が 2.64，提案手法が 3.31 となり，PC 法の評価値
は 0.48 となった．提案手法は，どちらの評価法でも
従来手法 [1] より高い評価となり，違和感がより少な
い再配色が可能であることを確認した．
最後に，全体の処理時間は，従来手法 [1] が 9.28 秒，
提案手法が 0.28 秒となり，約 1/33 の時間短縮を達成
した．なお，顕著性マップの計算時間は，従来手法 [1]
が 24.56 ミリ秒，提案手法が 9.54 ミリ秒であった．
4
結論
本研究では，違和感を与えることなく注視を誘導す
るため，視覚的顕著性に基づく高速な画像再配色手法
を提案した．評価実験により，注視誘導効果と自然性，
価を DSIS 法に基づき行い，提案手法と従来手法で再
処理コストの指標全ての向上を達成し，本手法の有効
配色した画像同士の比較を PC 法に基づき行った．
性を確認した．
最後に，処理時間の計測を行う．使用する計算機は
Intel Core i7-3770 3.4GHz CPU，8GB RAM. である．
3.2.2
実験結果
視線計測の結果として，図 1,2 に原画像と再配色後
の画像に対するスキャンパスを示す．スキャンパスは
計測した視線の動きを表し，注視とサッカードによっ
て構成される．図中の円は注視点であり，線分はサッ
カードである．再配色後の画像において，図 1 では誘
導対象であるスイカに 2 番目の注視が，図 2 では誘導
対象であるバケツにファーストサッカードが誘導され
参考文献
[1] A. Hagiwara, A. Sugimoto, and K. Kawamoto,
Saliency-based image editing for guiding visual
attention, Proc. of PETMEI, pp. 43-48, 2011
[2] L.Itti, C.Koch, and E.Niebur: A model of
saliency based visual attention for rapid scene
analysis, IEEE Trans. on PAMI, Vol.20, No.11
pp.1254-1259, 1998
© Copyright 2024 ExpyDoc
