ǂǔřǍÇý÷ĭýåFĞäĭýƒ ǐĴƠFFFźĕFřƋ +953 /6/- 5/39 +

đèFŸ”—Å¢™³–
ǂǔřǍÇý÷ĭýåFĞäĭýƒ
ǐĴƠFFFźĕFřƋ
+953/6/-5/39+-4:
T8V.URL
ttthttp://www.aoki-medialab.org/science_caffe_aoki.pdf
Ƴ˚½Å°¢ƯűƄ
Aoki Media Lab.,Keio University
TÉĭâ~ı‹ŽvÉàŠh}ĬĺU
ŅŹƍ)83?90(95B9
Aoki Media Lab.,Keio University
TĬâ}āNjHŇ~HĬâ}žÅ²¾O¥
µÄœÀ¼ıƒý{œťU
%;90!928#-+;=2B'=+809;.)83?
Aoki Media Lab.,Keio University
人間の知能そのものをもつ機械を作ろうとする立場
人間が知能を使ってすることを機械にさせようとする立場
u:"@Iv
u7="@I (Artificial General Intelligence)v
u%yAIv
u&yAIv
Aoki Media Lab.,Keio University
ĂįĐē ÑŴP\Q
Google “Alpha Go”
Aoki Media Lab.,Keio University
ĂįĐē ÑŴP]Q
Google Self-Driving Car Project
Aoki Media Lab.,Keio University
ÉĭĬĺūžůŭ
"@I
Aoki Media Lab.,Keio University
»½¼—¢‰Š
3:9')"""
žÅ²¾O¥şƣ
P97:>=/;*3<398Q
Łƴīƈ
P 7+1/&/-9183=398)8./;<=+8.381Q
~joÉĭĬĺūžņƂk‹ČŔLjŵ
VįƝċőĺĈljr‘{ôōsvgM
Aoki Media Lab.,Keio University
人工知能研究の例
"! Alan Turing : “Computing Machinery and Intelligence”, 1950. "-*,.(5&%4768/2+10
#$
#$
Aoki Media Lab.,Keio University
RŁƴJƪƴīƈJ÷ĩSÈšâ}Ŧsr
Jļǃ÷ĩFFYF©š¢«ÓólÉĭâ}ªO¥
FFFFFFFFFF
ƜŢFWFƜŢÿtNJũJĆƊ{ĵĤM
Cat!!
Aoki Media Lab.,Keio University
RŁƴJƪƴīƈJ÷ĩSÈšâ}Ŧsr
Jļǃ÷ĩFFYF©š¢«ÓólÉĭâ}ªO¥
FFFFFFFFFF
ƜŢFWFƜŢĆƊ{ĵĤM
Aoki Media Lab.,Keio University
RŁƴJƪƴīƈJ÷ĩSÈšâ}Ŧsr
https://www.ted.com/talks/fei_fei_li_how_we_re_teaching_computers_to_understand_pictures?language=ja
Aoki Media Lab.,Keio University
RŁƴJƪƴīƈJ÷ĩSÈšâ}Ŧsr
Semantic
Gap !!
ŁƧĘx
ƞĪĖ
ŇƷǎÌ
PƞHŶHþmQ
Aoki Media Lab.,Keio University
Łƴãķ
PŴiġóůŭQ
ĝĿÂOÂ
ŁƴÜìYƢīƈ„zÍDžsyõČsvĔėØūž
#)ĴƠFÐÌŒƉěÙ
^
S-
Ƣåŀ’¬·§›}ĠÌ
ƢùóząûŊĨ
ŕĉâ}īƈVÇŕâ}īƈ
14Aoki
Media Lab.,Keio University
EĬƈEÂOÂ{svŁƴīƈF
É
ÉlÝŠ|Šh~īƈsygkLF
ÕlkŒ~svµÄœÀ»Åœ
dQU›©¢‘’
%ŷƯâĪĖœťŨĊÑÎ~Ľ
FRňĈǒÉö—O¡–Å«v‡ƢĪĖŏ÷ ¢©¼òØS
JŝÇJŘÇJÖă÷ƒÇ~ŠńÛòØ
JŌÇýīƈÕðęÒG³Ãš ´Â}īƈ¤³«•–’
ÝŠ¯Á—O ¿Å~ÝsHÂOÂÓóĮƁsxntq{lư
ŦFYFÉĭĬĺ~jo³ÃO¼ćē
入力
画像
特徴抽出
人が手動で設計
ルールベース
識別
結果
出力
人が手動で設計
認識に有効な「特徴量」と「識別器」の設計に課題
15Aoki
Media Lab.,Keio University
ロバスト性を得るために → テンプレートのコード化
不変性
統計モデル
条件不良での信頼性
高速計算アルゴリズム
Aoki Media Lab.,Keio University
コード依存型ロバストマッチング手法
明度変化パターンとその配列をコード化して照合に利用
画像
明度
配置
[1] 増分符号相関(ISC : Increment sign Correlation)
[2] 方向符号照合(OCM : Orientation Code Matching)
Aoki Media Lab.,Keio University
増分符号相関(ISC: Increment Sign Correlation)
Aoki Media Lab.,Keio University
ISCによる画像照合結果
相関値分布
相関値分布
ISC : D?`
CC : 4O?`
SSD : 5#2
Aoki Media Lab.,Keio University
方向符号照合(OCM: Oriented Code Matching)
勾配計算に基づく方向符号
方向符号パターンの実例
Aoki Media Lab.,Keio University
OCMによるTracking
SSD
OCM
ウッラー ファルハン, 金子俊一, 五十嵐悟: "方向符号照合法に基づくロバスト物体追跡", IEICE
technical report. Image engineering, Vol.101, No.201(20010712) pp.133-138, IE2001-62.
Aoki Media Lab.,Keio University
•! 特徴量と機械学習の協調的進化
•! 特徴抽出,識別器の様々な工夫,改善
•! Big Data活用
大量の学習用データをベースに,
ロバストな特徴量設計+識別器(機械学習)
→高精度な物体検出が可能に!!
Aoki Media Lab.,Keio University
大量の画像データを用いた学習ベースの認識手法
ニューラルネットワークなどの機械学習により認識課題を解く
2並列のニューラルネットを用いた手法
顔画像データセット CMU-MIT Dataset を広く公開
Aoki Media Lab.,Keio University
•! 特徴量と機械学習の協調的進化
•! 特徴抽出,識別器の様々な工夫,改善
•! Big Data活用
大量に用意!
特徴量と学習サンプルに基づき,
識別境界を自動決定!
ƇIJŲKÊăÇýĻųƱǓĴƠ
大量の学習用データと適切な特徴量設計+識別器(機械学習)
頑健な物体検出が可能に!!
Aoki Media Lab.,Keio University
•! 深い階層構造を持つ畳み込みニューラルネットワークの活用
•! 特徴そのもの(フィルタ)を学習により自動獲得
•! 幾何学的変化に対する不変性獲得
特徴抽出過程と識別を自動化!
Aoki Media Lab.,Keio University
ƇIJŲKÊăÇýĻųƱǓĴƠ
•! Neocognitron [Fukushima, 1980]
•! 脳の情報処理の仕組みに基づくパターン認識手法
•! LeNet-1, LeNet-5 [LeCin, 1989, 1990]
•! Back propagationによる学習
Prof.Fukushima
ÇơşƣçƜƿƥnj~ƕLJsvƫ98?96>=398ƫ
V
ƭƽƥnj~ƕLJsvƫP%996381ƫQ
Aoki Media Lab.,Keio University
ĸƲ~Ɨƫâ~Ŝłsv
ĜƫĶüèŪŚĊM
(pooling)
98?96>=398ƫżN}³“Â¥Ǒ…Ģ…Ɵľ
V
%996381ƫKŇƷŸÅµÁŜ
Aoki Media Lab.,Keio University
ĀŋĈWǏňr
ƑĿìWDŽňr
Fʼnë
Aoki Media Lab.,Keio University
Aoki Media Lab.,Keio University
J]ijĦH^ijĦzƢğłÒußH$$~ŠŒŇƷǎÌ
FFXijĦ¶›«ÂI_[^[ÉÔHĄƾŁƴĒøQ
JÉàƈĿĺì~ŗŒ}nįgƢƼÒĈĺĮŸ
Y. Taingman, M. Yang, M. A. Ranzato and L. Wolf. "DeepFace: Closing the Gap to Human-Level Performance in Face Verification.” CVPR2014.
Aoki Media Lab.,Keio University
・1000種類の物体のカテゴリを認識
・Large Scale Visual Recognition Challenge 2012で,他手法を圧倒
・同2013ではDeep Learningベースの手法が多数
・畳み込みニューラルネットワーク+ 高精度化のテクニック
http://www.image-net.org
¡¸œšž¢
LSVRC2012†WEB¬¸˜‰Š$=
http://image-net.org/challenges/LSVRC/2012/ilsvrc2012.pdf
http://image-net.org/challenges/LSVRC/2012/supervision.pdf
Aoki Media Lab.,Keio University
lj
Aoki Media Lab.,Keio University
・畳み込みニューラルネットワーク
を利用して,各ピクセルのシーンラ
ベルを付与
・画素情報をそのまま入力して,特
徴を自動的に学習
C.Farabet, C.Couprie, L.Najman, Y.LeCun,
“Learning Hierarchical Features for Scene Labeling.”, PAMI2012. ll
ll
Aoki Media Lab.,Keio University
“Learning Hierarchical Features for Scene Labeling.”, PAMI2012.
https://www.youtube.com/watch?v=aqt2PPZqldk
õĔė OÅīƈJ÷ĩƒM
Aoki Media Lab.,Keio University
•! Zeilerら:CNNの可視化技術であるDeconvnetを構築.
•! 内部のフィルタの可視化によるCNN性能改善
Matt Zeiler, “Visualizing and Understanding Deep Neural Networks”, ECCV2014
https://www.youtube.com/watch?v=ghEmQSxT6tw
Aoki Media Lab.,Keio University
特定カテゴリ出力を最大化する画像の生成例
Crane(Ÿ³)
Aoki Media Lab.,Keio University
Starfish(¦¢¡)
Fast R-CNN*のWeb API化
Selective Search**…
‰‹9
Nc†*
•!
•!
Convolutional Neural Network†
´±…Nc®ž¨¶–~
‚c|„…•²™e
20Ce†9
2‹{„zI
fM3¹J[Y¹h¹­¸¢¹­¢³¹¥™¹Y¹<¹0¹ ¸ª³¹;¹g¹“
¸¢¥¹¹19¹G¹›©Ž¹bY¹ ´§¯¤œ
!"#$%%"&'(%)'*+,"-./%0"#12334,"/(5'6"7(87('90"/(5'6:;<=>?=@=@A,"BC=;<D"
!!"E?"F'GH'9I%,"J?"6/9"K8"L/9K8,"M?"&868(%,"/9K"N?"LO8PHK8(%?"L8H8*Q68"%8/(*)"R$("$SG8*0"(8*$I9'Q$9?"TE2U,"BC=;AD"
Aoki Media Lab.,Keio University
·ImageNet Dataset (200C)ƒPF~€9
2†
Aoki Media Lab.,Keio University
物体カテゴリ認識,顔認識
人間に匹敵する認識性能を達成
まだまだ沢山! 画像認識タスク
セグメンテーション(背景と物体の境界の特定)
人の姿勢推定
動画像認識
シーン認識,行動認識 等
感情,意図の推定,理解
Aoki Media Lab.,Keio University
IS3-20
98?96>=398+6$/>;+6$/=@9;5øgv
ƖŐŁƴk‹ĚŪJŎġǎÌ
ǕĻǀŰZHéîƹřHźĕřƋ
ǂǔřǍÇýZ+-/,995HÊåÇý
ƖŐŁƴÊk‹RŎġSRĚŪS
ÚƦñ}'/7+8=3-'/17/8=+=398õČM
RƛŞSÿČtŇƷŠŒˆĚŪJŎġÿČtŇƷŠŒŖnƶħzmŠh
æv~Ä¢êϐĭţYF2+88/6
@3</ 823,3=/.'90=7+AIJĥM
zdž~õøöM
Ûŧē~joƔċÕðP#832$$%9<=
:;9-/<<3818/=QÇƅ~ËèƦñõČM
Bounding-box Curriculum Learning (BCL)
Recurrent Pose Estimation(RPE)
ÔkŒ‰tgÑŴk‹ƭƽ}ÑŴ
„zH<=+1/ÔoyƩŬ~ýƤ
č‡
ĹƘâ~ƃŃƆáYƌݐs}l
‹ƦñďË
Aoki Media Lab.,Keio University
歪みによる様々な見えの変動に対し,
CNNにより頑健に姿勢推定
CNNによる姿勢特徴量を用いた
行動認識
JÞƎƬ~$$ƏŤtwozŠgkLFơãĪĖŏ÷ņŽˆĀï
JeffzǎÌsvƃŃŇƷِøgyÞƎƬÏþīƈ
mk
FYF±ª˜ƪƴ~ÝtÞƎƬīƈŧē~Ýsy€H„wØſƨËM
Aoki Media Lab.,Keio University
//:"/+;8381~ŠŒHį¢«}ƃ
ŃƆáõČ
êƺğłĪĖk‹HģƀãÏþīƈ~
ƚsvŇƷŮƙ‚ƈĿŻŚĊPƩğ
ŇƷŮV38+;3C/.
(;//Q
[K¯§›»ÀOúś
\KʼnÕz®Å¬ÂƸı
]KƵÕz®Å¬ÂƸı
^KƓƮJƐƮ
_KƊoËpîp
`K¢º·Ƹı
aK¢º·íĐ
bK¬Áśƻ†
cKžÅ«ÄO°­Â
dK£Å¥OžÅ¤OÂ
\[KžÅ¤O¸§›¢
\\K¬’¹§«
\]KœÄO´¸§›¢
\^K¦§ ¾¸O¬
Aoki Media Lab.,Keio University
画像中のどの領域が認識に貢献したかを
ヒートマップで表示!
Aoki Media Lab.,Keio University
¢¹O¨ƪƴĩǁKF×i}g¸OÂğłƆá
wnprr«´¸x
­¸³ZX,!E/
nprr”°ž~€'†­¸³+H\)z
W€ZX,!I
wosq«´¸x
­¸³ZX,!E/
ac­¸³+Hz
W€³¸¢,!I
Aoki Media Lab.,Keio University
画像認識におけるAI技術の紹介
ルールベースのアプローチ
従来型の機械学習アプローチ
Deep Learningによるアプローチ
青木研の研究事例
Deep Learningの利点・欠点
利点:高い認識,汎化性能,ロバスト性 ツールの登場で,扱いやすく
欠点:正解ラベル付きBigData必須,構造・パラメータの最適化,失敗した際の説明性
人並みに認識できる課題,それなりに出来る課題,難しい課題 は分かってきた
画像認識のこれから
個別課題対する認識能力は大幅に向上
認識結果を総合的に判断してのシーン全体の理解はまだ発展途上
静的 → 動的な物体認識・シーン理解が重要
他チャネルのセンシング情報との統合,状況理解 → 行動生成
Aoki Media Lab.,Keio University
実世界の認識課題
認識カテゴリに未知なものが含まれる
単なるカテゴリ認識でなく, 意味 の問題への取り組みが必要
Ferrari, V. and Zisserman, A. : Learning Visual Attributes, NIPS
Aoki Media Lab.,Keio University
見え だけでなく,物体が人に提供する 機能 を認識
“Scene Semantics from Long-Term Observation of People”
Vincent Delaitre, ECCV2012
Aoki Media Lab.,Keio University
Aoki Media Lab.,Keio University
“A Codebook-Free and Annotation-Free Approach for Fine-Grained Image Categorization”
Li Fei-Fei, CVPR2012
Aoki Media Lab.,Keio University
µ¸£•²‘£i@MIRU2016
MIRU2016…>_}Œ€KR”¸µ¸£ƒµ¸£•²‘£(~‚ˆ‡~€º
Aoki Media Lab.,Keio University