Document

SIGGRAPH 2001
Image Analogies
1New
宮崎大輔
York University
Aaron Hertzmann1,2
Charles E. Jacobs2
Nuria Oliver2
Brian Curless3
David H. Salesin2,3
2Microsoft Research
3University of Washington
Image Analogies
AがA’になるのと同じようにBからB’を作りたい
入力：A,A’,B
出力：B’
アルゴリズム
定義
p:A,A’におけるピクセル（の位置）
q:B,B’におけるピクセル（の位置）
A(p),A’(p),B(q),B’(q):特徴ベクトル（R,G,BやY(輝度)など何を使っても良い）
s(q)=p:pとqの対応を表す関数
l:マルチスケールのレベル
L:マルチスケールの最大レベル
アルゴリズム
マルチスケールデータを作成
特徴ベクトルを作成
データ構造などを初期化
低解像度から高解像度までループ
qでループ
“最適”なpを探索
A’の特徴ベクトルをB’にコピー
pとqの対応を保存する
最大解像度でのB’を返す
BestMatch関数
κ:コヒーレンスパラメタ
大きければコヒーレンス性が高い(=画像が局所的に自然，画像が大局的にちぐはぐ)
小さければコヒーレンス性が低い(=画像が局所的にちぐはぐ，画像が大局的に自然)
Fl(p):レベルlのpの周囲5x5の特徴ベクトル25個と
レベルl-1のpの周囲3x3の特徴ベクトル9個をつなげた
ものすごく要素の多いベクトル
BestApproximateMatch
関数
• ANN(approximate-nearest-neighbor
search)をそのまま使う
BestCoherenceMatch関数
s(r*)+(q-r*)を返す関数
N:qの近傍(レベルlの5x5とレベルl-1での3x3)
低解像度ですでに求めたpの近傍で特徴ベクトルが最も近い物を返す
マッチング
細かい処理について
• 細かい処理をたくさんしているが詳細は省略．
例えば
– AとBの明るさをあわせるために，輝度のヒストグラム
が同じ形になるように変形する
– 特徴ベクトル同士の２乗ノルムを計算するときに，そ
れぞれの要素でスケール（単位）が異なると最も大き
い値にひっぱられてしまい，正しい差を計算できない
ので，補正する
– R,G,B全てをA’からB’に転送するのではなく，輝度Y
だけをA’からB’に転送する場合もある
結果画像
Toy filters
Identity filter
κを0にする事で実現
:
A
::
A’
:
B
B’
Toy filters
Identity filter
κを大きくする事でコラージュっぽい画像ができる
Toy filters
Blur
filter
A
A’
:
::
:
B
B’
A
Toy filters
Emboss filter
A’
:
::
:
B
B’
Texture synthesis
Input
Ashikhmin
Wei-Levoy
Ours
Texture synthesis
Input
Ashikhmin
Wei-Levoy
Ours
Super-resolution
::
:
A
A’
:
B
B’
Super-resolution
:
A
:
::
A’
B
B’
Texture transfer
Texture transfer
A
Artistic filters
Pastel
:
B
A’
::
B’
:
A
Artistic filters
Pastel
:
A’
::
:
B
B’
A
Artistic filters
Watercolor
:
B
A’
::
B’
:
A
Artistic filters
Watercolor
:
A’
::
B’
B
:
A
Artistic filters
Watercolor
:
B
A’
::
B’
:
A
Artistic filters
Watercolor
:
B
A’
::
B’
:
A
Artistic filters
Watercolor
:
B
A’
::
B’
:
A
Artistic filters
Watercolor
:
B
A’
::
B’
:
A
Artistic filters
Lucian Freud
:
B
A’
::
B’
:
A
Artistic filters
Lucian Freud
:
B
A’
::
B’
:
Artistic filters
Lucian Freud
:
B
::
:
A
A’
B’
κの値を変化
A
Artistic filters
Vincent Van Gogh
:
B
A’
::
B’
:
A
Artistic filters
Vincent Van Gogh
:
B
A’
::
B’
:
A
Artistic filters
Vincent Van Gogh
:
A’
::
B’
B
:
A
Artistic filters
Vincent Van Gogh
:
B
A’
::
B’
:
A
Artistic filters
Vincent Van Gogh
:
B
A’
::
B’
:
A
Artistic filters
Edouard Manet
:
B
A’
::
B’
:
Artistic filters
Engraving (Squire)
:
A
::
:
A’
B
B’
Artistic filters
Engraving (Squire)
A
A’
:
B
::
B’
:
Artistic filters
Engraving (Nast small)
:
A
:
::
A’
B
B’
Artistic filters
Engraving (Nast large)
:
A
::
:
A’
B
B’
Artistic filters
Sketch(Native American)
:
A
::
A’
:
B
B’
Artistic filters
Sketch(Native American)
B
:
::
:
A
A’
B’
Artistic filters
Engraving (Fountain)
::
:
A
A’
:
B
B’
Artistic filters
Engraving (Fountain)
B
:
::
:
A
A’
B’
Artistic filters
Engraving (Waterfall)
:
A
::
A’
:
B
B’
Artistic filters
Engraving (Waterfall)
A
A’
:
B
::
B’
:
Artistic filters
Engraving (Moon)
A
:
:
::
A’
B
B’
Artistic filters
Engraving (Brick)
A
::
:
:
A’
B
B’
Artistic filters
Stipple (Cupid)
:
A
::
A’
:
B
B’
Artistic filters
Stipple (Cupid)
B
::
:
:
A
A’
B’
Artistic filters
Stipple (Chair)
:
A
::
A’
:
B
B’
Artistic filters
Stipple (Chair)
B
:
::
:
A
A’
B’
Texture-By-Numbers
Oxbow
A
:
B
A’
::
B’
:
Texture-By-Numbers
Changing Melody
A
A’
:
B
::
B’
:
A
Texture-By-Numbers
Potomac
:
B
A’
::
B’
:
Texture-By-Numbers
Arch
:
A
:
::
A’
B
B’
Texture-By-Numbers
A
New Orleans A’
:
::
:
B’
B
Texture-By-Numbers
Waterfall
::
:
A
A’
:
B
B’
Texture-By-Numbers
Waterfall
:
A
:
::
A’
B
B’
Texture-By-Numbers
Island
A’
A
:
::
B
:
B’
Texture-By-Numbers
A
Field
:
A’
::
B’
B
:
A
Image Colorization
:
B
A’
::
B’
:
Texture-By-Numbers
Flight simulator terrain
A’
A
:
::
:
B’
B
(c) Daisuke Miyazaki
2002
All rights reserved.
http://www.cvl.iis.u-tokyo.ac.jp/

Download Report