Analyse von Bildresiduen mit Machine-Learning im

Analyse von Bildresiduen
mit Machine-Learning
im Kontext von
Kamera-Kalibrierungen
Waldemar Mordwinzew
Prof. Dr.-Ing. Frank Boochs
Prof. Dr.-Ing. Dietrich Paulus
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule Oldenburg – 2016-02-03
Motivation
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule Oldenburg – 2016-02-03
2
Motivation - Sensorkalibrierung
[mm]
• Beispieldatensatz: Distanzmessgerät
[m]
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
3
Motivation - Sensorkalibrierung
[mm]
• Beispieldatensatz: Erstschätzung der Kalibrierparameter
[m]
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
4
Motivation - Sensorkalibrierung
[mm]
• Beispieldatensatz: Visualisierung der Residuen
[m]
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
5
Motivation - Sensorkalibrierung
[mm]
• Beispieldatensatz: Wahl eines komplexeren Modells
[m]
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
6
Motivation - Sensorkalibrierung
• Kalibriervolumen nach DIN 2634
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
7
Motivation - Sensorkalibrierung
• Interpretation der Residuen
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
8
Motivation - Sensorkalibrierung
• Interpretation der Residuen
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
9
Motivation - Sensorkalibrierung
• Interpretation der Residuen
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
10
Motivation - Sensorkalibrierung
• Interpretation der Residuen
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
11
Machine Learning
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
12
Analyse mit Machine Learning
• Voraussetzungen
•
•
•
Es muss tatsächlich ein Muster vorliegen
Mathematische Beschreibung unbekannt
Es liegen genügend Daten vor
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
13
Analyse mit Machine Learning
• Klassenzugehörigkeit
•
Bei zwei Klassen : JA/NEIN ( bzw. 0/1 , -1/1 , … )
𝑥1
0
UND: 𝐗 T =
1
1
𝑘=
0 0
𝑥2
0
1
, f 𝐗T = 0
0
1
1
,f 𝑘 = ?
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
14
Analyse mit Machine Learning
• Klassenzugehörigkeit
•
Bei zwei Klassen : JA/NEIN ( bzw. 0/1 , -1/1 , … )
𝑥1
0
UND: 𝐗 T =
1
1
𝑘=
0 0
𝑥2
0
1
, f 𝐗T = 0
0
1
1
,f 𝑘 = ?
𝑀 = training 𝐗 T , f 𝐗 T
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
15
Analyse mit Machine Learning
• Klassenzugehörigkeit
•
Bei zwei Klassen : JA/NEIN ( bzw. 0/1 , -1/1 , … )
𝑥1
0
UND: 𝐗 T =
1
1
𝑘=
0 0
𝑥2
0
1
, f 𝐗T = 0
0
1
1
,f 𝑘 = ?
𝑀 = training 𝐗 T , f 𝐗 T
validierung M → 𝐹𝑒ℎ𝑙𝑒𝑟𝑟𝑎𝑡𝑒
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
16
Analyse mit Machine Learning
• Klassenzugehörigkeit
•
Bei zwei Klassen : JA/NEIN ( bzw. 0/1 , -1/1 , … )
𝑥1
0
UND: 𝐗 T =
1
1
𝑘=
0 0
𝑥2
0
1
, f 𝐗T = 0
0
1
1
,f 𝑘 = ?
𝑀 = training 𝐗 T , f 𝐗 T
validierung M → 𝐹𝑒ℎ𝑙𝑒𝑟𝑟𝑎𝑡𝑒
klassifizierung( M, 𝑘 ) → 0
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
17
Analyse mit Machine Learning
• Klassenzugehörigkeit
•
Bei zwei Klassen : JA/NEIN ( bzw. 0/1 , -1/1 , … )
𝑥1
0
UND: 𝐗 T =
1
1
𝑘=
0 0
𝑥2
0
1
, f 𝐗T = 0
0
1
1
x2
0
1
,f 𝑘 = ?
𝑀 = training 𝐗 T , f 𝐗 T
validierung M → 𝐹𝑒ℎ𝑙𝑒𝑟𝑟𝑎𝑡𝑒
klassifizierung( M, 𝑘 ) → 0
M
?
0
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
x1
18
Analyse mit Machine Learning
• Klassenzugehörigkeit
•
Training bei mehreren Klassen : K0 vs. K1, K1 vs. K2, K0 vs. K2
x2 M0,1
M1,2
M0,2
x1
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
19
Analyse mit Machine Learning
[mm]
• Entscheidungen von Klassenzugehörigkeit
[m]
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
20
Analyse mit Machine Learning
• Entscheidungen von Klassenzugehörigkeit
Aufteilung der Residuen in verschiedene Klassen
1
2
[mm]
•
3
4
5
6
[m]
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
21
Analyse mit Machine Learning
• Vorgehensweise der Auswertung
•
Aufteilung des Datensatzes
•
•
Trainingsphase
•
•
•
•
80% Training / 20% Testdatensatz als zufällig gewählte Stichprobe
Modellbildung mit Multiclass ECOC SVM / RBF-Kernel
Kontrolle mit Feedforward NN / Bayes Regularisierung
Validierung mit 10fold Cross-Validation
Testphase
•
•
•
VC-Dimension
Confusion Matrix
In-Sample vs. Out-Sample Error
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
22
Analyse mit Machine Learning
• Bewertung der Resultate
•
Wahrheitsmatrix
K1
K2
K3
K4
K5
K6
F%
K1
4
2
0
0
0
0
33,3
K2
0
8
1
0
0
0
11,1
K3
0
2
33
1
0
0
8,3
K4
0
0
0
34
0
0
0,0
K5
0
0
0
1
10
0
9,1
K6
0
0
0
0
2
2
50,0
9,0
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
23
Analyse mit Machine Learning
• Auswertung Residuen nach Kamerakalibrierung
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
24
Analyse mit Machine Learning
• Auswertung
K1
K2
K3
K4
K5
K6
K7
K8
K9
K10
K1
41
16
16
4
3
1
2
0
0
2
K2
4
29
78
21
7
0
0
0
0
0
K3
3
19
232 201
21
5
1
1
0
0
K4
0
3
100 597 296
35
1
0
0
0
K5
1
4
33
239 843 346
19
3
1
0
K6
0
0
3
22
321 924 246
17
2
2
K7
1
0
0
4
27
291 603
97
3
0
K8
1
0
0
2
3
21
202 208
11
2
K9
0
0
0
1
3
7
22
59
41
4
K10
1
0
0
0
4
1
11
13
37
51
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
25
Analyse mit Machine Learning
• Auswertung
• Lernprozess
Zufall:
~17%
Lernrate: ~ 55%
K1
K2
K3
K4
K5
K6
K7
K8
K9
K10
K1
41
16
16
4
3
1
2
0
0
2
K2
4
29
78
21
7
0
0
0
0
0
K3
3
19
232 201
21
5
1
1
0
0
K4
0
3
100 597 296
35
1
0
0
0
K5
1
4
33
239 843 346
19
3
1
0
K6
0
0
3
22
321 924 246
17
2
2
K7
1
0
0
4
27
291 603
97
3
0
K8
1
0
0
2
3
21
202 208
11
2
K9
0
0
0
1
3
7
22
59
41
4
K10
1
0
0
0
4
1
11
13
37
51
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
26
Analyse mit Machine Learning
• Auswertung
• Lernprozess
Zufall:
~17%
Lernrate: ~ 55%
• Objektraum
RMSXYZ : ~ 170µm  75µm
• Strecken
RMS: ~ 70µm  ~ 36µm
K1
K2
K3
K4
K5
K6
K7
K8
K9
K10
K1
41
16
16
4
3
1
2
0
0
2
K2
4
29
78
21
7
0
0
0
0
0
K3
3
19
232 201
21
5
1
1
0
0
K4
0
3
100 597 296
35
1
0
0
0
K5
1
4
33
239 843 346
19
3
1
0
K6
0
0
3
22
321 924 246
17
2
2
K7
1
0
0
4
27
291 603
97
3
0
K8
1
0
0
2
3
21
202 208
11
2
K9
0
0
0
1
3
7
22
59
41
4
K10
1
0
0
0
4
1
11
13
37
51
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
27
Fazit
• Die vorgestellte Vorgehensweise eignet sich zum unabhängigen Nachweis von
„Rest-Systematiken“ in Bild-Residuen
• Einschränkungen
• Aufteilung in Klassen
• Datenbedarf ( VC-Ungleichung )
• Blackbox Prinzip
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
28
Fazit
• Die vorgestellte Vorgehensweise eignet sich zum unabhängigen Nachweis von
„Rest-Systematiken“ in Bild-Residuen
• Vorteile
•
•
•
•
•
Gesicherter mathematischer Fundament
Unabhängigkeit vom Nutzer
Auf andere Aufgaben übertragbar
Einfache Algorithmen / Leicht zu implementieren
Verfügbarkeit professioneller Open-Source Bibliotheken ( libSVM , Torch , … )
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
29
Vielen Dank
für Ihre Aufmerksamkeit
[email protected]
Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen | Oldenburger 3D Tage 2016 | Jade Hochschule – 2016-02-03
30

Download Report