Institute
工nstitute
of
of
Eleotronios
Electronics,，Information,
工 nformation
and Co
Communication
unioation
Engineers
Engineers
，and
社 団 法 人 電 子 情報 通信 学会
f言 学 技 幸艮
THE　INSTITUTE　OF　ELECTRONICS ，
IE工CE　Technical　Report
PRMU2011−80 ，
IBIS］［L2011 −39 （2011−09 ）
INFORMATION　AND COMMしNICATION　ENGINEERS
顔 の 非 剛体 変形 に 頑健 な 複数 フ レ ー ム 超 解像 の 検討
吉 田 智成†
高橋　友和††
出 口 大輔†
井手　一
郎†
洋†
村瀬
〒 464−8601 愛 知 県 名 古 屋 市 千種 区 不 老 町
††岐 阜 聖 徳 学 園 大 学 経 済 情 報 学 部 〒 500−8288 岐 阜 県 岐阜 市 中鶉 1 丁 目 38 番 地
e．
m ．
is．
nagoya −u ．
ac ．
E −mail †
yoshidat ◎ mura9 ．
jp，
−
ddeguchi ide murase ｝
◎ is，
nagoya
u，
ac ．
s止
lotoku ．
ac ，
jp ††ttakahashi ◎ gifu．
jp
†｛
†名 占屋 大 学 大 学 院 情 報 科 学 研 究 科
・
：
，
，
，
あ らま し　監 視 カ メ ラ 映 像 か らの 顔 画 像認 識 に お
い て
，顔領 域 が 低解 像 度 で あ る
認識 精 度 の 低 下 を 招 く． こ
こ とは
の
問題 に 対 して ，動 画 像 を 用 い た 超 解 像 技 術 を 利 用 す る こ と で 認 識 精 度 が 向 上 で き る と考 え ら れ る ．し か し，従 来 の 超 解
像 は ，平 面 物 体 を 撮 影 し た 動 画 像 を 対 象 と し て
に
場 合 が 多 く，顔 画 像 の よ う に 向 き や 表情 の 変 化 に よ
い る
非剛 体変 形 す る 動 画像 を 扱 う こ とが 困難 で あ る ．そ
て
っ
2 次元 的
こ で 本 報 告で は ，局 所 領 域毎 に 位 置 合 わ せ を す る こ と で ，顔 向
き や 表 情 の 変 化 に 頑 健 な超 解 像 を 行 う 手 法 を 提 案 す る ．具 体 的 に は
ーム 間 の 位 置 合 わ せ に 非 剛 体 レ ジ ス ト レ ー
フ レ
，
シ ョ ン を 用 い る こ と で 顔 画 像 の 非 剛 体 変形 に 柔 軟 に 対 応 す る ．実 際 に 撮影 し た
た 実 験 の 結 果 ，超 解像 の
動画 像 を 用 い
ら れ ，提 案 手 法 の 有 効 性 が 確 認 で き た ．
ー
ー
キ
ワ
ド　複 数 フ レーム 超 解 イ
象 非 剛 体 変 形 ，顔 画 像 認 識
性能 向 上 が 見
Astudy of robust multi − frame　super resolution
of face
for　non −rigid deformation
Tomonari YOSHIDA
Tomokazll　TAKAHASHI
†　，
，Daisuke　DEGUCHI
††　MURASE
Ichiro
IDEt and Hiroshi
†　，
，
†
Nagoya University
，
†Graduate　School　of Information　Science
−
．
Fhro cho Chigusa ku Nagoya Aichi 464−8601　Ja．
pan
，
，
，
，
††Faculty　of Economics and hnformation　Gifu　Shotokll　Gakuen University
Nakauzura l−38 ，Gifu，Gifu．500−8288 Japan
−u ．
m ．
is．
nagoya
ac ．
E −mail †
yoshidat＠ murase ．
jp，
−
．
ac ．
ide，
murase ｝
◎is．
nagoya
u ，
ac jp ††
ttakahashi◎gifu．
shotoku ．
jp
†｛ddeguchi，
，
：
，
Abstract In　a faCe　reCOgnitiOII
degrades the recognit
h
Wi
む SUrVeillanCe videO
．
To ovcrconle
呈on accuracy
to　ilnprove
the　accuracy
used
SyStem
．
However ，
most
this　problem
−resollltioll
super
CameraS
mult
，
the deCreaSe
in　reSOIutiOn
，
一
−resolution
franle
super
重
techniques　assume
faCe　inlagCS
Of techniques　could
be
that　a　planar　object is　captured
Therefore
it
is
di伍 cult to apply
tllem to face　images that　illclllde
non −rigid deformatiolls　caused
in　input images，
，
−frame　super −resolution method
by changes of face　poses and expressions
．
In　this
report
we propose a multi
that
．To achleve this ，alignment
of each
localregion between video
can
dealwlth changes of faceposes and expressions
−
Thus the　proposed me もhod can easily deal
with
frames　is　performed by using a freeform　defor ation metllod ．
，
皿
tlle
non
−rig 正d　de ‘ormation
the perforlnance
，
しal　resuLts
，
．
method
Key
玉mproved
face　images．
Experilnen
demonstrate
that the proposed method
resolution
for
actual
videos
．
Froln　this　we confirmed
the　effcctiveness of the　proposed
of
of super
mlllti −frame　supcr
words
．
resolution
free−form　deformations　face　recognition
，
，
This
article
is a technical report
without
peer
review
and
，
一181 −
itspolished and
／or
extendedversion
may
be published
．
elsewhere
NII-Electronic
纓 蟷 9黜
鑑
Library
Service
v
課
野暑
。
．
。 ．
、。
、
Institute
工nstitute
of
of
Eleotronios
Electronics,，Information,
工 nformation
and Co
Communication
unioation
Engineers
Engineers
，and
…一 一
夛
1． ま え が き
…
…… ’
コ
撲 鐵 欝檬
近年 ，防犯 対 策 と して
，銀 行や 地 下鉄 ，街頭 な どの 多 くの 場
，監 視 カ メ ラ 映 像 か ら 人 物 を
る 技 術 に 対 す る 需 要 が 高ま
て い る ．監 視 カ メ ラ 映像 か
所 に監 視 カ メ ラが 設置 され て お り
特 定す
っ
らの 高 精 度 な 人 物 特 定 技 術 に よ り，例 え ば 街 中の 監 視 カ メ ラ 映
像 を 用 い た 指 名 手配 犯 の 捜 索 ，犯 罪 現場 の 監視 カ メ ラ 映 像 を 用
い
た 犯 人 の 特 定 が 可 能 と な る と考 え られ る ，実 際 に
で起 き た
爆破 テ
ロ
，ロ
ン ドン
事 件 の 犯 人 検 挙 に も，監 視 カ メ ラ 映 像 が 大 き
く貢献 した と さ れ て い る 国 ．
監視 カ メ ラ 映 像 か ら 人 物
である と
考え られ
る
墨
を 特 定 す る に は ，顔 画 像 認 識 が 有 効
．こ れ は 映像 か
’
ら得 ら れ る 情 報 の 中 で ，顔
．
が 個 人 の 特 徴 を 最 も よ く表 し て い る と 考 え ら れ る か ら で あ る
レ
ジ
ス
ト レ ーシ
ョ
ン
画像
愚
．監 視 カ メ ラ の 設 置 位 置 や 台 数 に は 制 限 が あ り，1 台 の
カ メ ラ は 広 範 囲 を 撮 影 す る た め ，図 1 に 示 す よ うに ，実 際 に 監
しか し
ewwa
：
＝
：
＝
視 カ メ ラ か ら得 られ る 映 像 中の 人 物 の 顔 画 像領 域 は 低 解 像 度 で
あ る場 合 が 多 い ．一般 に
の 認識性能は低 下 す る
，顔 領域 が 低解 像 度 に な る ほ ど顔 画 像
．こ の 問 題 を 解 決 す る た め に ．映像 中の
超解像画 像　複 数枚 の 低解 像 度画 像 か ら 1 枚 の 高 解像 度 画 像 を 生成 す る 超 解
図
2
’
提 案手 法 に よ る 超 解 像 処 理 の 流 れ
像 技術 ［
2 ｝を 利 用 す る こ とが 考 え ら れ る ．超 解像 技 術 と は ．複
数枚 の 低解像度画 像を サ ブ ビ クセ
精度で 位 置 合 わ せ す る こ
ル
た 時 系列 画 像 や 水 面 を 通 し て 撮 影 した 時 系 列 画 像 を 対 象 と し た
と で 画 素 値 を 補 完 し た 後 ，ぼ け や ノ イ ズ を 除 去す る こ と で 高 解
実験 に お い て
像 度画 像 を生 成 す る 技 術 で あ る ．しか しな が ら ，こ れ ま で 提 案
成 功 して
さ れ て き た 超 解 像技 術 の 多 くは ，平 面物 体 を 撮 影 し た 画像 を 対
き や 表情 の
象 と して
よっ て
い
，顔 画 像 の
る場合が多 く
2 次 元 的 に非剛体 変 形す
よ うに 向 きや 表情 の 変化 に
る画 像 を 扱 う こ とが 困 難 で あ る ．
い
，大気 や 水面 の 揺 ら ぎ を 高精 度 に 除 去 す る こ と に
5］
．本 研 究 で 対 象 とす る 顔 画 像 に お い て も ，向
［
変化 に よ り非 剛体 な 変 化 が 生 じ る ，よ て 本 稿 で は ，
る
っ
，顔
こ の よ う な 変 化 を 非 剛 体 変 形 モ デ ル で 表 現 す る こ とに よ り
画像 に 対 す る 超 解 像処 理 を 高 精 度 に 行 う手 法 を提 案 す る ．
2 次元 的 な 非 剛体 変形 を 考 慮 し た 超 解像 手 法 と して は ，特 徴
点 ベ ース で 位 置合 わ せ を 行 うも の ［
3 4 ］と ，領域 ベ ース で 位 置
以 降 ，2 節 で は 提 案手 法
合 わ せ を 行 う もの ［
5 ］が あ る ．Frederick ら は 顔 画 像 間 の 位 置
を 加 え る ．最後 に
，
合 わせ に
AAM
（
Active　Appearance
Mode1 ） を 利用 す る
こ と
．ま
，高 解 像 度 な 顔 画 像 を 生 成 す る 手 法 を 提 案 し て い る ［
3］
た ，Pouria ら は顔 の 3 次元 モ デ ル を 用 い た 超 解 像処 理 を 行 うこ
と で ，後 の 認 識 処理 に 有効 な 画 像 を 生成 す る 手 法 を 提 案 して い
る ［
4］
，し か しな が ら ，こ れ ら の 手 法 で は 画 像 が 低解 像 度 に な
る ほ ど，顔 の 特 徴点 を 正 確 に 抽 出 す る こ と が 難 し く な り，超 解
で
像 処 理 に 必 要 な 画像 間 の 位 置 合わ せ 精 度 が 低下 す る と 考 え ら れ
一．
・
方 で ，田 中 ら は 領 域 ベ ース の 位 置 合 わ せ を 用 い た 超 解像
一
丁 法を提案 し て い る ［
5］
．こ の 手 法 で は ，B −Spline関 数 を 利 用
る．
し た 非 剛体 変 形 を用 い て
，空 間 的 に 滑
らか で 不 規則 な 変形
（
揺
ら ぎ ） を 高精 度 に 推 定 し ，超 解像 を 行 う．ま た ，遠 方 を 撮 影 し
の
有効性を
につ い て述べ る
．3 節 で
5 節で
は
提 案手 法
，4 節 で 考 察
確認 す る た め の 評 価実験に つ い て述 べ
ま とめ る ．
2 ． 提 案手法 非剛体変形 を 用 い た 超解像
．提 案 手 法 は 従 来
あ る ，以 降 ，従 来 の 超
提 案手 法 に お け る 処理 の 流 れ を 図 2
に示す
の超
で
解像 処 理 の 枠組 み を 拡 張 し た も の
，そ の 後 ，従 来 の 超解 像 処 理 と提 案 手 法
の 差 異 を 述 べ る ．超 解 像 処 理 は 大 き く 分 け て フ レ ーム 間 の 位 置
合 わ せ 処 理 と 再 構 成 処 理 の 2 つ の 処 理 か ら構 成 さ れ る ．ま ず ，
フ レ ーム 間 の 位 置 合 わ せ 処 理 で は ，入 力動画 像 中 の あ る フ レ ー
ム を 基準 と し て ，基 準 フ レーム と各 フ レーム との 位 置 合 わ せ を
サ ブ ピ ク セ ル 精 度 で 行 う．そ の 後 ，全 て の フ レ ーム の 位 置合 わ
せ の 結 果 と し て 得 られ る 画 像 の 平 均 画 像 （
以 降 ，レ ジ ス トレ ー
シ ョ ン 画 像 と呼 ぶ ） を 作 成 す る ．レ ジ ス ト レ ーシ
ン 画像 は ，
解 像 処理
に つ い て述べ
ョ
複 数 の 低 解 像 度 画 像 か ら高 解 像 度 画 像 の 各 画素 値 を 補 完 し た 画
像 で あ る ．続 い て
，再構 成 処 理 で は ，レ ジ ス
ーシ ョ
トレ
ン画 像
か ら ぼ け や ノ イ ズ を 除 去 しな が ら 最 終 的 な 高 解 像度 画 像 の 推 定
を 行 う．以 上 が 従 来 の 超 解 像 処 理 で あ る．
以 下 ，従 来 の 超 解 像処 理 と提 案 手法 の 差 異 に
従来の
つ
い て
述べ る ．
位 置 合 わ せ 処 理 で は ，平 面 物 体 を 撮 影 し た 画 像 を 対 象
と し て い る た め ，平 面 射影 変 換 を 用 い て 位 置合 わ せ を行 う．こ
図 1
監 視 カ メ ラ か ら得 ら れ る 画 像 の 例
れ に 対 し て ，提 案 T 一
法 で は ，ま ず 前 処 理 と し て 平 面 射 影 変 換
．182 一
一
NNII-Electronic
工 工 Eleotronio
Library Service
Library
Institute
工nstitute
of
of
Eleotronios
Electronics,，Information,
工 nformation
and Co
Communication
unioation
Engineers
Engineers
，and
に よ る 位 置 合 わ せ を 行 い ，そ の 後 ，非 剛体 レ ジ ス ト レ ーシ
（FFD
−Form Deformations） に よ
Fllee
；
位 置 含 わ せ を 行 う ．非 剛体 レ ジ ス ト レ ーシ
平 面 射影 変換
ョ
ン
り局 所 領域 毎 に 詳 細 な
ンの
ョ
，画 像 問 に 2 次 元
に 非 剛体 レ ジ ス ト レ ーシ ョ ン の
（1 ）
ーム の
問の
フ
レー
（2 ）
簒
（
参 照 画 像 ） を 入 力 と し ，参照 画 像 を 平 面 射 影
変換 し た 画 像 と基準 画 像 との 差 が 小 さ くな る よ うに
換の
毒
行列 を 求め る 千法 と して ICIA （lnverse　Compositional　lmage
Alignment ） ［
6 ］を 用 い
．
る
鯉
（3 ） 格 子 点 を用 い て 入 力 画 像 変 形
，射 影 変
ータ を 反 復 更 新 す る ．本 手 法 で は ，平 面 射 影 変 換
パ ラメ
格子 点 の配 揖
格子 点 を 更 新
平 面 射 影変 換 行 列 を推 定 す
る ．具 体 的 に は ，位 置合 わ せ の 基準 とな る 画 像 と，位 置 合 わ せ
を 行い た い 画 像
蜘 盈
変形 1由1像 と基 準 画 像 の 比 較
（
3）
よ り画 像
一
（3 ）畢
2 顔 の 非 剛 体 変 形 に 頑 健 な 位 置 合わ せ
2 ．
顔 向 き や 表情 の 変化 に
準画像
反復 処理
位置 合わ せ を 行 う ため に基 準
と して の
基
・・
墨
1 平 面 射影 変 換 の 推 定
2．
像 鑾
力画像 に格 子 点配 置
人
述 す る．
ム とそ れ 以 外 の 各 フ レ
入 力 画
畢
み で は 対 応 が困 難 と な る た め で あ る ．以 降 ，各 処 理 に つ い て 詳
ま ず ，前 処 理
璽 璽
。
に よ り位 置 合 わ せ を 行 う理 由 は
的 な 回転 や 平行 移 動が あ る 場合
r
噸礁概
（1 ）
前処理 と して
変　形 画　像　基 準 画像
内 に 非 剛 体 な 変 化 が 存 在す る
場 合 に は ，平 面 射 影 変 換 の み に よ る 詳 細 な 位胃 合 わ せ は 困 難 と
3 非 剛 体 レ
図
ーシ
ジ ス トレ
ン の
ョ
流れ
な る ．こ の 位置 合 わ せ 精度 の 低下 は ，後 の 処 理 に 悪 影 響 を 及 ぼ
す ，そ こ で
，非 剛 体
行 う．非 剛 体
ーシ
トレ ーシ
レ ジ ス トレ
ン を 用 い た 詳 細 な位 置 合
ョ
，医療画 像 な ど の 3
次元画像間の 位置合わせ に 利用 され て お り ［
7］
，画 像 上 に 配 置
し た 制御 点 を 移動 さ せ る こ と で 画 像 の 柔 軟 な 変 形 を 行 い ，画 像
間の 位置 合 わ せ を 行 う手法 で あ る ．
ン の 処 理 の 流れ を 示 す ．非 剛
図 3 に 非 剛 体 レ ジ ス ト レ ーシ
体 レ ジ ス ト レーシ ョ ン は 以 下 の 手 順 で 行 わ れ る ．
Step 1 入 力画 像 1 と基 準 画像 丁 を用 意 し ，入 力画 像 上 に 格
M 個配 置 す る ．t 行 m 列 目 の 制 御 点 の
子状 に 制御 点 を L
＝1 ・・M ） と す る ．
m
。
／
t （t ＝1 …
座 標 を Pi，
L，
Step 2 各 Pt ，
・に 関 し て ，以 下 の 式 を 計 算 し て 制 御 点 の 位 置
Tn
を
す
る
．
Dl ．
は 制 御 点 Pl，
m
，の 近傍 に あ る 画 素 の 位 置 の
更新
集合 で あ る ．
わせ を
レジス
ンは
ョ
＝ Ly
v
，u ＝ Lx／L 」− 1 ，
／M 」− 11ガ
’
−
v
y ！
M
Lx
／Ll ，
Ly／M 」で あ る ．
Step 3 変 形画 像 1 ’と 基準 画 像 T の 距 med を
こ
×
r
，
ド
，
，
n
▽c
Pl ，
・ ；Pl… ＋
Vc −
μ
1）
（
▽ II
II
。
）一・ 圃
ゐ景晦
・
2）
（
こで
’
ψ
，
．
3
3
一
，
9 ） ΣΣ 恥
i＝
0 ．
O
1＝
3）
（
レ）
）
Y
B 、＠ ）
）
翫
’
’
Bo （
の ＝（1 一が ／6
Bl （
3t3 − 6〜 十 4 ）
の ＝（
／6
＝（− 3t3 ＋ 3t2 ＋ 3 妊 1）／6
抑
＋丿
4）
（
’m
素 Σ＝ Σ＝ li（ ，y ）− T （ ，Y ）1
ア
1y
＝
6）
（
β 、（
t）
7）
（
B3 （
オト 御 6
8）
（
9）
（
x
t，
限 に達 す る
に な る か ，反 復 回 数 の
Step　2 〜Step　3 を 繰 り 返 す．
まで
以 上 の 処 理 を ，あ る フ レ ーム を 基 準 画 像 と し て ，そ れ 以外 の 全
て の フ レ ーム と の 間 で 行 う．位 置 合 わ せ 後 の 全 て の フ レ ーム の
平 均画 像 を レ ジ ス ト レ ーシ
ョ ン
画 像 とす る ．
2 ．
3　再 構 成 処 理
レ ジ ス ト レ ーシ ョ ン 画 像 か ら光 学 ぼ け を 除去 す る ．再構 成 処
理 に は MAP
2］を 用 い る ．
MAP
（Maximum A Posteri ri ）法 ［
法 は 入 力画 像 を 条 件 と し た と き の 事 後 確 率 を 最 大 に す る高 解像
度 画 像 を 求 め る 手法 で あ り，事 後確 率 か ら導 か れ る 評 価 関 数 を
・
こ
と で 高解 像度 画像 を 求 め る
xt Yt
一Σ Σ
111 ＝
1
x ＝
こ こで
．
法 の 評価 関 数 は 以 下 の 式 で 表 され る ．
MAP
・
x
・
− R
は レ ジ ス トレ ーシ
，H
’
TH
［（ ，）
×
2
］
・ ，
（
・）
ョ ン
＋
画像
R
・・ （
H
）
10）
（
に対 応 す る高 解像 度
Y pixels） で あ り，
b（
x
x ，
y ）は 位置 （
y ）に お け る
（
PQint　Spread　Fullction
カ
） ーネ ル で あ
’
，
光 学 ぼ け を 表 す PSF
る ．こ こ で は ，PSF
5）
（
L −
／
1
Step　4 d が し き い 値 以 下
X
画像 （
x
計算 す る ．
’
d 一
’
1 （
x ，
Y ）；1 （ω ＠
最小化す る
x ，
xiY
，It（
，T （
Y）
）は そ れ ぞ れ 1 ，T の ＠，
y）に お
け る画 素 値 で あ る ．ま た ，J は 制 御 点 を移動 して 入力画 像 1
を変 形 し た 後 の 画 像 で あ り，以 下 の 式 に よ り求 め る ．
こ
＝
＝＝
ョ
こ で
る ．ま た ，λ は 第
式
（10） の 第
を位置に依 らず 1
つ の
ガ ウ ス 分布 で 仮定 す
2 項 によ る影響 を制 御 す るパ
ユ 項 は 一般 的 に 誤 差 項
ータ で
ラ メ
ある．
，高
と呼ば れ る も の で あ り
解 像度 曲i像 の 推 定 誤 差 を 表 す 項 で あ る ．ま た ，第 2 項 は 事前 確
H ）は ，
BTV
率 を 基 に し た 拘束 項 で あ り，D （
Variation） 法 ［
8］の
（Bilateral Total
正 則 化 項 で あ る ．こ の 項 は エ
ッ
ジの 滑 らか
183 一
一
NNII-Electronic
工 工 Eleotronio
Library Service
Library
Institute
工nstitute
of
of
Eleotronios
Electronics,，Information,
工 nformation
and Co
Communication
unioation
Engineers
Engineers
，and
鱚 藍 璽璽 籔 壷璽 鍾 纏
トー一一一Pt
一20
−−
一15
°
iV−一一一一一｝一一一一・・…＋
一10
°
一5
°
0
°
一 一
．
下
10
20Q
°
ーム の 例
レ
フ
耀
15
°
°
°
図 4 撮 影 し た 動 画 像 の
5e
一一
一
唖 一
＋
← 一
5
lOO9080706050
ICIA
蠅
ICIA FFD
皿
＋
lCIA
ICIA FFD
＋
N
皿
40
蕚
靄
｝
閣
．
3G
耄
」
⊆
玄
髢　20Pt
8［
40
勗
．
8u
ト
−．
一
1
ト
イ
302010
10
oI120
0
20 24 28　32 36　40 44　48
24　28　32　36 40 44 48
ResoLution　offacc
5 実 験 結果
図
r¢
；
］
呂io冂 on a sid 巳 ［
pixels
Resolution　offace
解 像度 毎 の PSNR
6 実験 結 果
図
［
P｛xe
on a side
region
］s亅
解像度毎の 認識率
；
さ の 拘 束 を 表 して い る ．」 を 最 小 化 す る こ と で 光 学 ぼ け を 除 去
音 を 加 え た も の を 使 用 し た ．高 解 像 度 の 動 画 像 か ら 生成
する．
解 像 度 の 動 画像 の フ レ
9］を 用 い
こ の 最 小 化 に は ，共 役 勾 配 法 ［
勾 配 は 以 下 の 式で 計算 さ れ る ．
る ．こ の 場 合 ，」 の
以 下 に 示 す 2 つ
顔 領域 の
x
諾一
／
γ
Σ
Σ ・＠，小
＝ ＝1
・
鋤
− R（
刺
1y
∂D
十 λ
11 ）
（
フ レ
提 案手 法
ーム
と して
H
を 更新 す
る
．以
行
し
っ
PSNR
験
次 元 的 な 非 剛体 変 形 を含 む映 像 を 用
した 画像 の
い
た 評 価実 験 を
PSNR
で 利 用 す る動 画 像 は
，元 の
画 像 か らの 劣 化 度合を 表す 画 質指標 と し て 広 く
と ，顔 画 像認 識 に よ る 認 識 率 を 用 い た ．
PSNR
の 真 値 に は ．低解 像 度 に 加工 す る 前の 高解 像度 画像 を 利
10］を 利 用
［
既 存 の 顔 デ ータ ベ ース
io） と
Peak Signal−to−Noise Rat ，
（
し た ．こ
こ
で
．固 有 空 間 の 学 習 デ ータ
は ，動 画 像 を 撮 影 し た も の と は
ータ 29
解像 毎 の PSNR
中 の 300 枚 を 用 い た ，
を図
5
に
に
ディ ジ タル
カ メラを 固
定
全
，手 動 で 焦 点 を 合 わ せ な が ら 撮 影 し た ．顔 向 き を 水 平 角 度
−
20 ］の 範 囲 で 変化 さ せ な が ら 29 名 分 30 本 の 動 画 像 を
［20 ，
得 た ．各 々約 30 フ レーム ，顔 領域 の 一辺 の 解 像 度 は 約 64pixels
ー
で あ
た ．撮 影 し た 動 画 像 中の フ レ ム の 例 を 図 4 に 示 す ．
入 力動 画 像 と し て ，撮 影 し た高 解 像度 の 動画 像 を い く つ か の
異 な る解 像 度 に 加 工 し た も の を 使 用 し た ，具体 的 に は ，顔 領 域
・
の
辺 の 解 像 度 が 約 20 ，24 ，28 ，32，36，40．44 ，48 pixels
と な る よ う に ダ ウ ン サ ン プ リ ン グ し ，平 均 0 分 散 1 の Gauss 雑
×
っ
ての
解像度に
対 して ，提
高い こ とが分かる
．提 案 手
大 き か っ た 解像 度 は
較手 法 が
30 ．
01dB
あ っ た ．ま た ，図
6
案 千法 の
っ
7
に示す
PSNR
．図
5
か ら
，
が 比 較手 法 よ り も
PSNR
法 と比 較 手 法 の
44　pixelsで
で あ
そ れ ぞ れ 示 す ，ま
，認識 率 を 図 6 に
た ，実 験 で 得 ら れ た 超 解 像 画 像 の 例 を 図
，三 脚
枚と
〔｝
11 ）
3 ．
2 実 験 結 果
し
°
＋FFD
異 な る デ ィ ジ タ ル ス チ ル カ メ ラ で 撮影 し た 正 解 デ
1　実 験 方 法
3 ．
°
ICIA
（従来 の 超 解 像 ）
，認識 用 の 顔 デ ータ ベ ース に
と
認 識率 を 算 出 し た ，
実験
と な る よ うに 超 解 像 を 行
皇
xels
用 し ，認 識 手法 に は ．顔 画 像 認識 に お い て 広 く用 い ら れ て い る
た ．実験 で は ．低 解像 度 の 動 画 像 か ら 高解 像度 画 像 を 生 成
，生 成
の み
：
用 い られ て い る
を得 る ．
提 案 手 法 の 有効 性 を調 査 す る た め に ，顔 の 向 き や 表 情 の 変化
2
低
を 人 手 で 選 択 し て 使 用 した ．生 成 した 画 像 の 評 価 基 準
固有 空 間 法
に よ る
した
示す．
に
ー
な お ，本 実験 で は 超 解像 処 理 の 基 準 フ レ ム は 顔 向 き が 正 面 の
（H ）
上 の 処 理 に よ り ，超 解 像 画 像
3． 実
・
∂H
」 が 最 小 と な る ま で 繰 り返 し 高解 像 度画 像 H
8
位 置合 わ せ 手法 に よ り，各 入 力 動 画 像 中 の
ICIA
：
●
TH
例を 図
解 像 度 が 約 64p
比 較 手法
1
の
の
，高 解 像 度 画 像 を 生 成 し た ．
い
一辺 の
ーム
の
あ り ，そ の と き の
た の に 対 し ，提 案 手 法 は
差 が最 も
PSNR
は比
36．
64dB
で
か ら，全 て の 解像 度 に 対 し て ，提案 手 法 の
認識 率 が 比 較手 法 よ り も 高 い
こ とが 分 か る
．こ れ
らの こ とか ら．
提案 手 法 の 有 効性 が確 認 で き た．
（
注
］） ：
〔
財
：
） ソ フ ト ピ ア ジ ャ パ ン （http 〃 www
．
suftopia
．
or ．
jp／）
184 一
一
NNII-Electronic
工 工 Eleotronio
Library Service
Library
Institute
工nstitute
of
of
Eleotronios
Electronics,，Information,
工 nformation
and Co
Communication
unioation
Engineers
Engineers
，and
（
a ）低 解 像 度 画 像 （入 力 ）
（
b） 比 較 ！法 に よ る 超 解像 画 像 （c ）提 案 手 法に よ る 超 解 像画i像
図
4． 考
識率が
一辺 の 解 像 度
（顔 領 域 の
して
7．
3 ％ 向上
か っ た ．こ
提 案手 法 で
と 認 識 率の 向上
→
（
d ） 元 の 高 解 像度 幽像
64pixels）
は
，PSNR
認 識 率 と も に 高 い 結 果 とな
っ
が 平均
4．
37dB
PSNR
．認
フ レ
由1
と き の 入 力の 低解 像 度 「
像を 図
ーム か
っ
ら 高 精 度 な 認 識 に 必 要 な 情 報 が ト分 に 得 られ な か っ
1
た ．こ れ は ，提 案手 法 が 非剛 体 変
変 化 が発 生 して い て も 観測 さ れ る各 画 素値 の 変 化 は 小 さ くな る ．
そ の ため
と が 要 因 だ と 考 え られ る ．実 際 に ，図 7
，サ ブ ピ ク セ ル 精 度 の 位 置 合 わ せ
え ら れ る ．こ の 問題 の 解 決法 の
ぼ け が 少な く．高周 波 成分 を よ り再 現 で き て
の 情 報を利 用す る
る
こ
とがわ か る．
図 6 か ら ，顔 領 域 の
こ
が
20pixels の
場合には．
つ
と し て ，入 力以外 の 顔 画像
とが 考 え ら れ る ．こ れ に 関 して ，人 量 の 顔
画 像 か ら な る デ ータ ベ ース か
2 解 像 度毎 の 認識 率 の 差 異
4．
一・
辺 の解像度
を 行っ た と して も高
解 像 度 画 像 の 画 素 値 を ト分 に 補 完 す る こ とが で き な か っ た と考
b ）お よび （
c ） か ら ，比 較 手 法 よ りも 提 案 手法 の 結 果 の 方 が
（
い
8 に 示 す ．認 識 率
た 原 因 と し て ，入力 動画 像 中 の 各
た こ と が 考 え ら れ る ．解像 度 が 低 下 す る と，顔 の 向 き や 衰 青の
と
形 を 用 い た 結 果 ，顔 向 き や 表 情 の 変 化 に 頑 健 な 画像 間 の 位 置
こ
の
の 向 ヒが あ ま り見 ら れ な か
し，比較 手法 よ り も 提案 手法 の 方 が
合 わ せ が 実現 で き た
32pixels
：
比 較 手法 に 対 す る 提 案 手 法 の 認 識 率 の 大 き な 向 ヒは 見 ら れ な
察
1 提 案 手 法 に よ る PSNR
4 ．
比 較手 法 に 対
7 超 解 像処 理 結 果 例
ら顔 画 像 が 共 通 し て 持つ 特 徴 を 学
習 し ，そ れ を 再 構 成 処 理 に 利 用 す る 学 習 型 超 解 像 手 法 が 提 案 さ
185 一
一
NNII-Electronic
工 工 Eleotronio
Library Service
Library
Institute
工nstitute
of
of
Eleotronios
Electronics,，Information,
工 nformation
and Co
Communication
unioation
Engineers
Engineers
，and
ac
．
jp／） を 使 用
した ，
文 ‘L
ドン で の テ ロ 対策 ”
ロ ン
鷹
．R ．Schulz
and
：
：
，
乱
，
］
図 8 顔領 域 の
一辺 の
20x20pixels）
（
の
こ とで
超解 像 の 性 能 が
向上 で き る と考 え られ る ．
位 置合 わせ 処理 に お け る問 題
位置 合 わせ 処 理 を行 う際
urlifying
れ な い 場 合 が あ っ た ．こ れ は ，急 激 な 表 情 変化 に よ っ て
ョ ン
有 の 知 識 を 利 用 す る こ と が 考 え られ る ．
つ
顔特 有 の 情 報 に 基 づ い
て 非 剛体 レ ジ ス トレ
野
ン
：
ansactions
jbug
using
．0 ．
free
Application to　breast　MR images ’
MedicalImaging，
18 ，
8，
712 −721
pp ．
：
Qn
：
，
：
，
，
／
”
凱
，
（
ョ
form deformations
の 形状 や 動
ーシ
：
と して ，顔特
ーツ
に お け る制御 点 の 変 位
顔の パ
IEEE
Vi−
Leach and D ．
J．
Hawkes “
Nonrigidregistration
が 正 し く計算 さ れ な い た め ，結 果 と し て 位 置合 わ せ 精 度 が 低 下
す る こ と が想 定 さ れ る ．こ の 問 題 の 解 決 法 の
・
，
方
うな 状 況 が 発 生 し た こ と が 原 因 で あ る と 考 え ら れ る ，こ の よ う
な 状 況 で は ．非 剛 体 レ ジ ス
1999 ）
（
画像 で は 存 在 し ない 画 素値 が も う一方 の 画像 で は 存 在す る よ
ト レ ーシ
．
8］
Farsiu ，
M ，
D ，
Robinson ，
M ．
Elad and P ．
Milanfar “
Fast
［
S ．
・
r
〔
t
multiframe
lper
resolut
ion
．
and
，IEEE Transac −
13 ，
10 ，
13271344
2004 ）
．
tions on Image Processing ，
pp ．
（
9 ］ 坂 和 iF敏 “
数 理 計 画 法 の 基 礎 ’森 北 出 版 （
／999 ）
．
［
”
”，
10 ］
［
M ．Turk and A 、Pentland　Eigenfacesfor recognition
−
of
Neuroscience
3
．
1991
．
Journal
Gognitive
71
86
，，
pp
（
）
11 ］ B ．
K ．
Gunturk A ．
U．
Batur Y ．
Altulibasak M ．
H ．
Hayes III
［
”
M ．
resollLtion
for
Merg．
ereau
Eigenfaee ．
based super ．
and R ．
”
一
face
recognition
Proceedings
of
IEEE
International
Con
，
2，
2002 ）
．
c oTI Irnagc Pr ｝
cessing ，
Vol．
845 −848 （
pp 、
ぞeren ：
12 ］
A ．
N ．
Rajagopalan and R ．
Ghellappa
［
A ．Chakrabarti，
‘
‘
of face images using
kernel PCA −based
Super −reso 】utioI
”
五 ansactions
on
Multimedia ，9 ，
4｝
888−
prior
pp ．
892
2007
．
（
）
“
13 ］ II．Iluanga ，II．Ilea，X ．F nb and J ．Zhang Super−
［
基 準 画像 と参 照画 像 の 間 で 瞬 きな
ど の 急 激 な 表 情 変化 が 発生 し た 場 合 ，正 確 な 位 置 合わ せ が 行 わ
き な どの
乱
framework ”
International JourlLal
ofComputer
，
ion ，
56 ，
3，
221 −255 （
2004 ）
．
9．
PP ．
7］ D ．
Rueckert ，
L ．
1．
Sonoda，
G ．
Haye81 D ．
L ．
G ．
H 皿 ，
M
［
れ ら の 手 法 の よ う に ，入 力 動 画 像 以
外 の 顔 画 像 か ら 得 られ る 情 報 を 利 用 す る
の
：
画像の 認識 ・
理解シ ン ポジ ウ
揺 ら ぎ 除去 と 高 解像 度 画 像 生成 ，
pp ．
235 −240 〔
2007 ）
．
ム （MIRU2007 ＞論 文集 ，
“
6］
Baker 乱 nd 豆．
Matthews ：
Lucas−Kanade 20 years　on ： A
［
S ．
低 解 像度 画 像 の 例
3
4 ．
”
解像 度 が 20pixels
11 ］［
ユ2
13 ］
．こ
［
］［
れ て い る
’
“
R ．
L ．
Stevenson
Ex 七raction of high−
”
frames from video
sequences
，
IEEE
監 ansactions
reselution
5，
1996 ＞
．
6，
pp ．
996−1011 （
on Image Processing ，
“
3］ F ．
W 、
Wheeler X ．
Liu and
P ．
H ，
Th
Multi −frame super −
［
recogni 七ioバ ，
Proceedings of IEEE Inter−
resolutiQn for　face
national
Biometrics
：Theory ，Applications ，
Conference
on
1 −−6 （
2007 ）
．
nd Systems pp 、
t［
4］ P ．
Mortazaviar ，
J ．
Kittler and
W ．
Chris 七mas
3D −assisted
［
”
−
facial
texture
super
resolution
British
M
chine
Vision
｝
2009 ）
．
Conference （
“
5］ 古 村 真 ，
清 水 雅夫 ，
田中 正行 ，
奥 富 正敏 ： 非剛 体 変形 を 利用 した
［
2］ R
［
顔 領域
献
Japan　Railwa ン Engineers
，
Association
pp ．
31459 −31461 （
2006 ），
，49 ，2 ，
1］ 橋 本隆 男 ：
［
〔
：
に
［
制 約 を 加 え る こ と で ，急 激 な 表情 変 化 に も 対応 可 能 な 位置 合 わ
11EEE
せ 処理 が 実現 で き る と 考 え られ る ．
resQlution
anal
レ ーム 超 解
ー
像 手 法 を 提 案 した ．提 案手 法 は ，フ レ ム 間 の 位 置 合 わ せ に 非
ン を 用 い る こ と で 顔 画像 の 非剛 体変 形 に
剛体 レ ジ ス トレ ーシ
本 報 告 で は ，顔 向 き や 表 情 の 変 化 に 頑 健 な 複 数 フ
of
乱
human face　image　using
of ，
，Journal
γsis ，
2543
2010
．
（
）
5． む す び
；
canonical
Patt・
ern
Recognition
correlation
，43 ，pp ．2532 −
ョ
柔軟に 対応する もの
実験で
は
である
，顔 画像 の
．
非 剛体 変形 を 含む 低 解像 度 の 動 画像 を 用
．平 面 物 体 を 対 象 と し た 従 来
の 超 解像 処 理 で 生 成 し た 画 像 の PSNR
が 30 ．
01dB で あ た の
に 対 し，提 案手 法 で は 36 ．
64dB で あ た ，ま た ，従 来 の 超解 像
処 理 で 生 成 し た 画 像 の 認識 率 が 82，
9 ％ で あ た の に 対 し ，提 案
6 ％ で あ た ．こ れ ら の こ とか ら，提 案 手 法 の 有 効
手 法 で は 91 ．
性が確認で き た．
今後 の 課 題 と して ，超 解 像 の 更 な る 性 能 向 上 を 口 的 と し た ，
学 習型 超 解像 手 法 の 利 用 や ，パ ーツ の 形 状 や 動 き な ど 顔特 有 の
情 報 の 利 用等 が 挙 げ られ る ．
い
て
提 案 手 法の 有 効 性 を 調 査 し た
っ
っ
っ
っ
謝 辞 日 頃 よ り熱 心 に 御 討論 頂 く名 占屋 大学 村 瀬 研 究室 諸 氏
に 深 く感 謝 す る ．本 研 究 の 一部 は ，文部 科 学省 科 学技 術振 興 調
整費 ，科 学 技 術 研 究 費 補 助 金 に よ る ．ま た ，
本研 究 で は画 像処 理
に
MIST
ライブラ リ
http
（
：
〃 mist
．
murase
．
m ．
is ．
nagoya
−u ．
186 一
一
NNII-Electronic
工 工 Eleotronio
Library Service
Library

映像か らの歩行者検出

高速レール試験機の開発 西田 新一, 杉野 和男, 浦島 親

鉄道車両用動揺防止制御システムの開発 藤野 謙司 105

Cook−Log Video Summarization by Removing

Super reducción de 34 números al 03 Comparativa de

FACE展2015の「オーディエンス賞」

FASTECH360による技術開発 堀川 重成 115 (1120)

［招待講演］メタ戦略一 問題解決の ための 実践的解法

H26新規入会

FACE ブ ロ ー ド リ ー フ 社 長

View!