Document

画像処理論
第11回
佐藤洋一
生産技術研究所
情報理工学系研究科電子情報学専攻／情報学環
http://www.hci.iis.u-tokyo.ac.jp/~ysato/
前回講義の内容
 テクスチャ

テクスチャとは？

テクスチャの表現方法

テクスチャモデル獲得のための線形フィルタ

テクスチャの合成

テクスチャによる形状推定
テクスチャの表現


基本的考え方

基本となる要素がある程度規則的に分布

このような要素をテクストン(texton)と呼ぶ
テクスチャ表現のアプローチ

基本要素テクストンを定義

テクストンの分布を求める
テクストンによる表現

入力画像に各フィルタを適用した結果の例
Gabor filters
テクストンの分布

テクスチャを表現するために、テクストンの分布をどう記述？


テクストンの選択と同様に、アプリケーションに依存
例）近傍領域における各フィルタの出力の平均と分散
I ( x, y ) ∗ ( F1 ,  , Fn ) → f1 ( x, y ), , f n ( x, y )
( µ 0 , µ1 ,  , µ n ) ( µ 0 , σ 0 , , µ n , σ n )
テクスチャ表現のための特徴ベクトル

異なるフィルタ出力間の相関の考慮も有効
など
ガウシアンピラミッド

ガウシアンフィルタによる平滑化+サブサンプリング
ラプラシアンピラミッド

ガウシアンピラミッドのレベル間の差による表現

最上位のガウシアン画像（最も解像度の低い画像）

各レベル間のガウシアン画像の差（ラプラシアン画像）
テクスチャ合成の基本的な考え方

サンプル画像からテクスチャに関するモデル（e.g., テクス
チャに関する統計量、テクストンの分布など）を獲得し、その
モデルにもとづきテクスチャ画像を合成する

仮定

テクスチャのモデルは画像中の位置に依存しない

テクスチャのモデルはその近傍によってのみ決定される
ノンパラメトリックなテクスチャ合成

新たに求めたい画素の周辺領域が類似した領域群をサンプ
ル画像中で求め、その領域群からランダムに選んだ領域の
中心の画素値を用いる

合成画像における周辺領域で画素値がないものは除外
近似領域の検索
中心画素値の選択
合成画像
サンプル画像
合成されたテクスチャの例
サンプル画像
合成画像
本日の講義の内容

カラー画像処理

光と色

光源の色

物体表面の色

人間による色の知覚

線形色空間

非線形色空間

色恒常性と明るさ恒常性
カラー画像処理
色とは？物理現象
ニュートン
色とは？人間の心理
ゲーテ
光の波長と色

可視光領域
明るさと色の知覚

光源特性、反射特性、センサ特性に依存
入射光の強さ

放射束

単位時間あたりに放出、伝播、到達する放射エネルギー
Φ　単位はW（ワット）もしくはJ ⋅ s −1

放射照度(irradiance)

単位面積・単位時間に照射される放射エネルギー
dΦ
E=
[W ⋅ m − 2 ]
dS
放射光の強さ（点光源）

放射強度(radiant intensity)

点状の放射原から単位立体角・単位時間に放出される放射エネ
ルギー
dΦ
I=
[W ⋅ sr −1 ]
dω
放射光の強さ（面光源）

放射輝度(radiance)

観測方向から面状の放射源を見たときの、単位面積あたりの放
射強度
dI
dΦ
=
[W ⋅ sr −1 ⋅ m − 2 ]
L=
dS cos θ dω ⋅ dS ⋅ cos θ
波長λの考慮

分光放射束

分光放射照度

分光放射強度

分光放射輝度
Φ (λ )
dΦ ( λ )
E (λ ) =
dS
dΦ (λ )
I (λ ) =
dω
dΦ ( λ )
L (λ ) =
dω ⋅ dS ⋅ cos θ
人工光源の分光放射輝度

白熱電球


フィラメントの発熱による発光
蛍光灯

放電により生じる紫外線が蛍光物質にあたって発光
黒体からの熱放射による電磁波

黒体(black body、あらゆる放射
を完全に吸収し、その温度で最大
の放射強度をもつ理想物体)の分
光放射輝度
1
1
L (λ , T ) ∝ 5
λ exp(hc / kλT ) − 1
h  プランク定数
k  ボルツマン定数
c 光の速度
屋外自然光の分光放射輝度

さまざまな要因で変化

緯度

季節、時間

天候

天頂角
光の色温度

xy色度図で一致する黒体放射光温度

例）6000Kの光、モニタの色調節時のパラメタ
光の反射と分光反射率
L (λ )
入射光の放射輝度
反射光の放射輝度
r (λ )
λ
分光反射率
λ
ρ (λ )
λ
27
分光反射率
センサ出力
σ k (λ )
L (λ )
ρ (λ )
pk = ∫ σ k (λ ) ρ (λ ) L(λ )dλ

例）カラーカメラのRGB出力
pk
・・・ k 番目のセンサ出力
σ k (λ ) ・・・ k 番目のセンサの分光感度
ρ (λ ) ・・・物体表面の分光反射率
L(λ ) ・・・入射光の分光輝度
反射の角度依存性

理想完全拡散面（ランバート面）の例

反射成分は拡散反射成分のみ

強度は入射方向のみに依存し、反射方向に依存しない
反射の角度依存性

ハイライト状の反射を含む例

拡散反射成分に加え、正反射方向に鏡面反射成分を持つ
反射の角度依存性の扱い

方向ωiからの光が方向ωoにどれだけ反射されるか


入射光照度と反射光輝度の比で表現
双方向反射率分布関数

BRDF, Bidirectional Reflectance Distribution Function
dLr (ωo )
dLr (ωo )
f r (ωi , ωo ) =
=
dEi (ωi ) Li (ωi ) cos(θ i )dωi
視覚センサとしての目：色受容器


2種類の視細胞が存在

錐体(cone)：低感度、中心禍に局在、色の知覚に関係

桿体(かんたい、rod)：高感度、視野10°の範囲に存在
異なる感度特性を持つ3種類の錐体により色を知覚
中心窩
Newton「眼を徹底解剖」, 2012年2月
35
日経サイエンス2006年10月号
3次元線形色空間による色表現

色を正確かつ簡便に表現するための方法が必要


人が知覚できる色の表現には3自由度で十分


分光放射輝度は厳密だが自由度が高すぎる
人間が3種類の色受容器を持つことに対応
カラーマッチングの線形性に基づき、３つの基本色(P1,P2,P3)
の線形和（線形色空間）として表現
T ⇔ w1 P1 + w2 P2 + w3 P3
( w1 , w2 , w3 ) により色を表現
カラーマッチング実験

テスト光と同じ色となるように基本色光の重みを調整
P1
T ⇔ w1 P1 + w2 P2 + w3 P3
P2
P3
カラーマッチング実験と等色関数

等色関数

波長を変えながら単波長光のカラーマッチング実験を行ったと
き、混合重みを表す関数
CIE RGB表色系の等色関数 f (λ )
P1
P2
P3
T (λ ) ⇔ f1 (λ ) P1 + f 2 (λ ) P2 + f 3 (λ ) P3
700nm（赤）, 546.1nm（緑）, 435.8nm（青）の3原色
に対する等色関数
RGB表色系とXYZ表色系


CIE（国際照明委員会） RGB表色系

R（700nm）、G（546.1nm）、B（435.8nm）を基本色とする表色系

等色関数が負の値を持つ
CIE XYZ表色系

等色関数が必ず正になるように定義した表色系

分光輝度分布に負の値を含む仮想光を基本色とする
RGB表色系
XYZ表色系
RGBとXYZ等色関数間の関係

等色関数が非負となるように変換
x(λ)＝2.7690r(λ)＋1.7517g(λ)＋1.1301b(λ)
y(λ)＝1.0000r(λ)＋4.5907g(λ)＋0.0601b(λ)
z(λ)＝0.0000r(λ)＋0.0565g(λ)＋5.5928b(λ)
RGB表色系
XYZ表色系
XYZ表色系による色

分光分布 s(λ) を持つ光の3刺激値（X,Y,Z)は下式で計算

単波長に対するスコアの重ね合わせ
780
X = k ∫ x (λ ) s (λ )dλ
380
780
Y = k ∫ y (λ ) s (λ )dλ
380
780
Z = k ∫ z (λ ) s (λ )dλ
380
xy表色系

XYZ表色系における明るさを正規化した表色系
X
Y
( x, y ) = (
,
)
X +Y + Z X +Y + Z
均等色空間

色の“違い”がxy表色系では均一に表現されない


人間が識別可能な最小の色の差が均一でない
均等色空間：色の距離（近さ）が均一になるように設計した色
空間

CIE u’v’表色系やCIE LAB表色系など
CIE u’v’表色系

次式による変換により定義される
4X
9Y
(u ' , v' ) = (
,
)
X + 15Y + 3Z X + 15Y + 3Z
人間による視知覚の明るさ恒常性

照明強度の変化に影響を受けずに物体表面の明るさを知覚
できる特性
明るさ恒常性の工学的実現

基本的な仮定

シーンにおける照明は緩やかに変化
 キャストシャドウの境界などは考慮しない

完全拡散反射面のみ
 光沢面におけるハイライトなどは考慮しない

表面反射率のみが急激に変化
 厳密には表面反射率ではなく“シーン”の反射率
Hornの手法の基本的考え方
C ( x) 画素xにおける明るさ
C ( x) = k c I ( x) ρ ( x)
k c  カメラによるゲイン
I ( x) 画素xにおける照明の強さ
ρ ( x) 画素xにおける反射率
log C ( x) = log k c + log I ( x) + log ρ ( x)
d log C ( x) d log I ( x) d log ρ ( x)
=
+
dx
dx
dx
閾値
積分
log C ( x)′ ≈ log ρ ( x)
人間による視覚の色恒常性

照明色が変化した場合にも、物体表面の色の見え方が大き
く変化しないという視覚特性

本来ならば、異なる分光放射輝度の照明下では反射光も異なる
はずなのに、分光反射率に関する情報を得ている
Landの2色法の実験

照明が変化すると…
Landの2色法の実験

実際には赤みがかかった色しか存在しないのに、青や緑が
知覚される
Rチャンネルのみ
Gチャンネルの値の白黒画像
色恒常性の工学的実現

光源色の推定に基づく手法

画像から光源色を直接推定する方法。例えば、ハイライトの色
は光源色と一致することなどを利用
B
カラー画素値をRGB空間へ投影
G
R

分光関数の線形近似に基づく手法

「分光放射輝度も分光反射率も現実に存在するものは
ある程度の範囲に限定される」という事実を利用
物体からの反射光

分光放射輝度・分光反射率・センサ分光感度の関係
p k = ∫ σ k (λ ) ρ (λ ) E (λ )dλ
p k  k番目のセンサ出力
σ k (λ )  k番目のセンサの分光感度
ρ (λ ) 物体表面の分光反射率
E (λ ) 光源の分光放射輝度
物体からの反射光
σ k (λ )
L (λ )
ρ (λ )
pk = ∫ σ k (λ ) ρ (λ ) L(λ )dλ
pk
・・・ k 番目のセンサ出力
σ k (λ ) ・・・ k 番目のセンサの分光感度
ρ (λ ) ・・・物体表面の分光反射率
L(λ ) ・・・入射光の分光輝度
分光反射率の線形基底表現

一般的な分光反射率は少数（～８）の線形基底で表現可能
主成分分析
さまざまな物体の分光反射率
分光反射率の線形基底
8
ρ (λ ) = ∑ rnφn (λ )
n =1
58
分光関数の線形近似

センサの各チャンネルの出力
pk = ∫ σ k (λ ) ρ (λ ) L(λ )dλ　(k = 1,  , K )

分光放射輝度と分光反射率を線形近似
M
N
m =1
n =1
L(λ ) = ∑ emψ m (λ )　ρ (λ ) = ∑ rnφn (λ )

分光放射輝度：M=3～4

分光反射率：N=3～8
分光関数の線形近似とセンサ出力

分光関数の線形モデル近似により
N
M
n =1
m =1
pk = ∫ σ k (λ ){∑ rnφn (λ )}{∑ emψ m (λ )}dλ
=
M ,N
∑e
m =1, n =1


r {∫ σ k (λ )φn (λ )ψ m (λ )dλ} ≡
m n
M ,N
m =1, n =1
gmnkはσ、φ、ψが既知なので計算可
P画素, Kバンドのセンサの場合、

∑e
観測数：PK、未知数：PN+M
M
K≥N+
ならば直接e, rを計算可能
P
r g mnk
m n
灰色仮説の利用

全ての物体の分光反射率の平均はグレーと仮定

画像全体におけるセンサ出力の平均 p k
pk =


M ,N
∑e
m =1, n =1
r g mnk
m n
rn は灰色の反射率として既知
K ≥ M ならばemを未知数とする線形方程式を解ける
K ≥ N ならば、推定されたemを用いて各画素ごとにrn を解ける
→分光反射率を推定（色恒常性の実現）
本日の講義内容のまとめ


カラー画像処理

光と色

光源の色

物体表面の色

人間による色の知覚

線形色空間

非線形色空間

色恒常性と明るさ恒常性
参考資料

Chapter 6, Computer Vision: A Modern Approach, D. A.
Forsyth and J. Ponce, Prentice Hall
レポート

課題




研究論文のうち1件を選びその内容をまとめること。その際に、手法の
問題点を指摘し、自分なりの解決のアイデアを提案できると更に良い。
A4 2～3枚程度、フォーマット自由
提出方法

メール添付で[email protected]に送付

ファイル名はreport-12-012345.pdf （12-012345は学生番号）

ファイルサイズは5Mバイト以下

メールのSubjectは画像処理論レポート

未提出の場合は「未受験」の扱い
提出期限（厳守）

2015年2月13日（金）11:59pm
レポート用論文リスト




K. He, J. Sun, and X. Tang, “Guided Image Filtering”, ECCV 2010
Q. Shan et al., “High-quality Motion Deblurring from a Single Image”,
SIGGRAPH 2005
J. Sun et al, “Image Completion with Structure Propagation”,
SIGGRAPH 2005
Y. Ke and R. Sukthankar, “PCA-SIFT: A More Distinctive
Representation for Local Image Descriptors”, CVPR 2004

Download Report