数理言語

Training of Classifiers
Using Virtual Samples Only
A. Kuhl, L. Krüger, C. Wöhler, U. Kreßel (2004)
Proc. of ICPR ’04
二宮崇
中川研東大
機械学習勉強会 2008年11月13日
1
papers
A. Kuhl, L. Krüger, C. Wöhler, U. Kreßel
(2004) Training of Classifiers Using Virtual
Samples Only, in Proc. of ICPR ’04
 村瀬洋 (2004) 画像認識における生成型学習,
電子情報通信学会信学技報 (Tech repo.
of IEICE)

2
CG技術
3
画像認識のためのサンプル生成

CG技術で大量の正解データを生成
カメラの向き/位置を変える
 オブジェクトの向き/色/形状を変える
 光の当て方を変える

4
Training of Classifiers Using Virtual Samples
Only (Kuhl+2004)

ギアボックスのフランジのタイプを同定

穴の数と位置がわかると同定できるので画像
中の穴を検出する
本物の写真
CG
5
Training of Classifiers Using Virtual Samples
Only (Kuhl+2004)

全体の流れ
穴
学習
CADソフトか
ら作られた大
量のCG
候補
生成器
識別器
テスト
本物の写真
ごみ
6
候補生成と識別器

候補生成




入力: フランジの画像
出力: 16x16のビットマップによる穴の候補
binary components algorithm (Murtagh+1978)
識別器


SVM +polinomial kernel
polinomial classifier+PCA
候補
生成器
識別器
7
実験


レンダリングソフト

レイトレーシングソフト POVRay (http://www.povray.org)

8824の仮想サンプル (CG画像)
データセット






全体の光量
フランジの回転
表面(画像?)の色の濃さ (surface gray level)
位置
ブラー効果
887の実サンプル
実画像の穴
実画像のごみ(=穴以外)
8
Surface Gray Level
9
Blurring
10
実験結果

SVMのエラーレート





SVM (linear, 位置と光量の変化なし): 約5%
SVM (linear, 全ての変化あり): 3.5%
SVM (4次の多項式カーネル, 全ての変化あり): 1.6%
SVM (2次の多項式カーネル, 全ての変化あり):
classification rateが98.2%
linear classifier+PCA



256素性(no PCA): あまりいい結果でなかった
50素性(by PCA): classification rateが約95%
20素性(by PCA): classification rateが97.5%
11
ROC曲線
正解
P N P P N P P N N P
識別器の出力
P P P P N N P N P P
識別器の出力
正解
P (穴)
N (ごみ)
P (穴)
5 (5/6) TP
1 (1/6) FN
N (ごみ)
2 (2/4) FP
2 (2/4) TN
100%
穴を穴と判
定した率
TP
FP
100%
ごみを穴と判定した率
12
SVMでのROCカーブ
13
Linear Polynomial ClassifierでのROCカーブ
14
研究の文脈

正規化
入力
サンプル
A

照合
正規化
サンプル生成
サンプル
A
A
入力
照合
15
研究の文脈

村瀬による分類 (村瀬2004「画像認識における生成型学習」)

正規化法


入力画像を前処理によって正規化して、標準パターンやモデルと照合する
生成型学習





微少な変動を学習パターンに加える
生成関数を用いた生成 (ぼけを加えるなど)
補間 (サンプル間の補間を生成)
アフィン変換と補間 (はさみなどを動かした時の補間)
標準パターンの動的な生成
16
アフィン変換と補間

Learning by a Generation Approach to
Appearance-based Object Recognition: H.
Murase and S. K. Nayar, in Proc. of ICPR’96
17
そのほかの論文

キーワード




virtual samples
virtual examples
noise injection
論文






A. Abu-Mostafa. Hints. Neural Computation, 7:639-671, 1995
G. An. The effects of adding noise during backpropagation training on a
generalization performance. Neural Computation, 7:613-674, 1996
S. Cho and K. Cha. Evolution of neural network training set through
addition of virtual samples. International Conference on Evolutionary
Computation, 1996
D. M. Gavrila and J. Giebel. Virtual sample generation for template-based
shape matching. Proc. of IEEE Conference on Computer Vision and
Pattern Recognition, 1:676-681, 2001
D. Pomerleau. Neural network perception for mobile robot guidance.
Kluwer Academic Publishing, 1993
M. Skurichina, S. Raudys, R. P. W. Duin, K-nearest neighbours directed
noise injection in multi-layer perceptron training
18

Download Report