F - LIRIS

Traitement d'image
Acquisition
F. Denis, F. Dupont
[email protected]
1
L'image

Reproduction ou représentation d’une chose

Classification
 représentation (le plus souvent 2D) d’une scène ou d’un objet situé
dans un espace à 3 dimensions (+ la dimension temporelle).
•
images « physiques », avec une réalité matérielle : images de
magazine, d’écran… visibles ou non visibles suivant les longueurs
d’onde considérées, images stockées en mémoire d’ordinateur, non
visibles directement (fichiers images)
 images "optiques"
 Images physiques non visibles
•
images « mathématiques » , de nature immatérielle et non visibles par
nature : fonctions de 2 variables, matrices, images calculées par
ordinateur (images vectorielles ou géométriques - synthèse d’images).
A tout phénomène physique, biologique ou économique, mais de nature
bidimensionnelle, on peut associer une image par extension (« images
latentes »).
2
Cadre du cours
 Images numériques 2D
sous la forme d’un tableau (appelé bitmap) de n x m pixels
(picture element) . Ces images sont encore appelées raster ou
raw par opposition aux images vectorielles ou géométriques.
• problèmes liés à la numérisation et la restitution (Acquisition des
images
(éclairage,
dispositifs
échantillonnage, quantification)
• Espaces de représentation des
transformée de Fourier
d'acquisition
images
(NG,
capteurs);
couleur),
3
Types d'images
 Images par réflexion
• Optiques
 photographie & vidéo
applications :
– vision par ordinateur
– vidéosurveillance
– vidéo & multimédia
– imagerie aérienne
– art et documents
…
 interférométrie
 microscopie optique
MANIER
Michel
© CNRS
Photothèque
© copyright
1999
L'Europe
vue du ciel
Sarl
4
Types d'images
MEdium Resolution Imaging Spectrometer (MERIS)
Copyright © 2000 - 2003 European Space Agency
• Radar (ondes radio)
• Acoustiques
 Sonar
Radar à ouverture synthétique
 échographie
• Télédétection (lumière visible,
infrarouge)
METEOSAT
Image composite
Copyright © 2000 - 2003 European Space Agency
5
Types d'images
 Images d'émission
• Infrarouge (l >3µm)
• Astronomie (étoiles)
• Imagerie par rayons Gamma
• Tomographie par émission de
Didier COT © CNRS-Photothèque
Télescope spatial HUBBLE
positons (PET)
• Microscopie par fluorescence (ultraviolet)
• Microscopie électronique
Téléscope spatial HUBBLE
Copyright © 2000 - 2003 European Space Agency
WESTALL Frances © CNRS-Photothèque
© CNRS Photothèque - GUIDI - RONTANI Chantal
6
Types d'images
 images par transmission
• radiographie, angiographie
• tomographie X
• tomographie sismique
• IRM
•…
7
Domaines d’applications
 Spatial, météorologique
 Médical, biologique
 Contrôle industriel (construction




automobile,
électronique,
agroalimentaire,…)
Agriculture
Militaire
Aide à la conduite automobile
Robotique ...
 Des types d’images et de préoccupations très variés
8
Les étapes du traitement d’une image
 3 étapes fondamentales
• Acquisition : scène physique  représentation numérique
• Traitement : Extraction de
l’information pertinente par segmentation 
description structurelle de l’image
• Interprétation : description structurelle  description sémantique
Et aussi
• Mémorisation : image volatile  image permanente
• Visualisation ou restitution  image analogique le plus souvent
9
Traitement d'image
Perception visuelle
Notions sur la couleur
F. Denis, F. Dupont
10
La lumière
 Onde électromagnétique caractérisée par :
• sa longueur d'onde, l, trajet parcouru par l'onde pendant une période
• ou sa fréquence, u
l
c

c : célérité des ondes électromagnétiques,
c = 300 000 km.s-1, ( vitesse de la lumière dans le vide )
 Lumière visible
Bande de fréquences étroite : 400 nm < l < 700 nm
Spectre des ondes électromagnétiques
11
L’œil
 Récepteur des signaux lumineux
rétine
cristallin
image rétinale
iris
Axe optique
objet
fovéa
cornée
macula
nerf optique
pupille
papille
optique
12
Image ophtalmoscopique de l’oeil
L’œil
 La rétine
• Surface : 12.5 cm2
• Ordonnée en couches
ganglionnaires
amacrines
bipolaires
horizontales
cônes+bâtonnets
source http://www9.biostr.washington.edu/da.html
Cellules de moins en moins
nombreuses à chaque niveau
 l’information est canalisée
Cellules de la rétine
C: cônes
B: bâtonnets
H: cellules horizontales
A: cellules amacrines
Bip: cellules bipolaires
Ga: cellules ganglionnaires
13
L’œil
Les cellules photoréceptrices
•Les cônes
 6,5 millions environ
 Sensibles à la couleur et aux détails
 Réaction rapide (20 ms)
 Peu sensibles
– ne fonctionnent qu’à la lumière du jour
(au-delà de 10-3 nits)
 vision photopique ou diurne
 Adaptation au noir : 10 minutes
•Les bâtonnets
 130 millions
 Sensibles aux formes
 Réaction lente (100 ms)
 Très sensibles
– fonctionnent avec de très
luminances (de 10-6 à 1 nit),
– saturés en lumière du jour
 vision scotopique ou nocturne
 Adaptation au noir : 30-35 minutes
faibles
A : cône
B : mosaïque des cellules photo réceptrices
source http://www9.biostr.washington.edu/da.html
14
L’œil
Les cellules photo réceptrices
• Distribution
Axe optique
variable avec l’angle
périmétrique a
fovéa
a
Tache aveugle
180000
fovéa
CÔNES
160000
BATONNETS
2
140000
Nombre par mm

120000
100000
80000
60000
40000
20000
0
-70 -60 -50
côté temporal
-40
-30
-20
-10
0
10
20
angle périmétrique
30
40
50
60
70 80
côté nasal
15
Perception de la luminance
 Unités photométriques
• Flux lumineux F
Puissance totale reçue ou émise par une surface S
Exprimé en lumen (lm)
• Eclairement E
 Flux lumineux reçu par unité de surface
 Exprimé en lux (lx).

F  E.dS
1 lux = 1 lumen /m2
S
• Emittance M
 Flux lumineux émis par unité de surface et exprimé en lux (lx).
16

Perception de la luminance
Unités photométriques
•
Intensité lumineuse I (d’une source):
W
Flux lumineux émis par unité d’angle solide
dans une direction donnée
 Exprimée en candela (cd)
1 candela = 1 lumen par steradian
W ( steradian) 
S
R2

•
S : surface
découpée
O
R
Luminance L

Extension à des sources non ponctuelles
de la notion d’intensité lumineuse
 Intensité lumineuse par unité de surface
perpendiculaire à la direction d’émission
 Exprimée en nit
1 nit = 1 candela / m2
•
Remarque

F, E, M, I, L : valeurs intégrées sur tout le spectre visible
 Fl, El, Ml, Il, Ll : valeurs pour une longueur d’onde
donnée l, exprimées par unité de longueur d’onde
 densités spectrales.
Exemple


F  Fl dl
0
17
Perception de la luminance

Adaptation générale de l’œil
•
Adaptation par variation de sensibilité des cônes
 fonctionnement dans une large gamme d’éclairement
0,0003 lux
<E<
100 000 lux
ciel nocturne
plein soleil
•
Adaptation locale
 Adaptation aux luminances environnantes  inhibition latérale
exemples
18
Perception de la luminance
exemples
19
Perception de la luminance
 luminance apparente (luminosité B) : la luminance perçue est fonction de
l’adaptation locale et générale
Discontinuité de la perception
 expérience de Weber-Fechner
NNN
=150
=151
=152
=153
=154
=155
=156
=157
=158
=159
=246
=247
=248
=249
=250
=251
=252
=253
=12
=16
=20
=24
=28
=32
=0
=4
=8
G=254
G=36
NG
G=255
NG=0
NG=150
NG=246
L
 cw
L
c1
0,01 < Cw < 0,02
selon les observateurs,
pour des luminances
allant de 1 à 1000 nits
L
 B
L
B  c 1. log(L )  c 2
loi approximativement logarithmique
 une soixantaine de niveaux de
luminance distincts
20
Perception de la luminance
21
Réponse en fréquence spatiale
 réponse de type passe-bas (inhibition latérale)
22
Réponse en fréquence spatiale
Phénomène de Mach
 renforcement des contrastes au
voisinage des discontinuités dû
à l’inhibition latérale
23
Réponse en fréquence spatiale
Réponse de l’œil en
fréquence spatiale
Phénomène de Mach
Transformée
de Fourier
Transformée de
Fourier inverse
24
Perception des couleurs
 Grâce
aux pigments contenus dans les
cônes
 Trois types de cônes
Spectre visible
• Cyanolabes, notés b (blue) ou S (Small)
 sensibles dans le bleu
•
•
 maximum à l = 440 nm
 Pigment : iodopsine S
Chlorolabes, notés g (green) ou M (Medium)
 sensibles dans le vert
 maximum à l = 545 nm
 pigment : iodopsine M
Erythrolabes, notés r (red) ou L(Large)
 sensibles dans le jaune-vert
 maximum à l = 580 nm
 pigment : iodopsine L
 comparaisons chromatiques entre les divers types de cônes
25
Perception des couleurs
 Mélange  opposition


achromatique
Opposition vert-rouge
Opposition bleu-jaune
 Contraste de saturation
 Contraste de teinte
 Contraste simultané
26
Perception des couleurs
• Luminosité
ou brillance
intensité correspondant à
perception de la luminance
ou
la
luminance
 Attributs perceptuels
• La teinte ou tonalité chromatique
la
couleur
luminance
correspondant
à
proprement dite.
teinte
• La
saturation représentant
pureté de la couleur
la
saturation
27
Perception des couleurs
• sensibilité
aux changements de teinte
(à brillance et saturation constantes)
2 nm dans le vert-jaune
10 nm aux extrémités du spectre
Sensibilité moindre pour des couleurs
moins saturées.
teinte
aux changements de
(à teinte et brillance
saturation
constantes)
plus importante aux extrémités du
spectre visible : 23 niveaux distincts
16 niveaux au centre
teinte
• sensibilité
luminance
 Attributs perceptuels
 des centaines de milliers de couleurs
saturation
28
Reproduction des couleurs
 Mélanges de couleurs
• mélange additif
29
Reproduction des couleurs
• mélange additif
Tubes FST-Invar
(masque)
Tubes Trinitron
(grille à fentes
verticales)
Tubes Cromaclear
(grille à alvéoles)
30
Reproduction des couleurs
• mélange additif
Disque de Newton
31
Reproduction des couleurs
• mélange soustractif
32
Reproduction des couleurs
Sensibilité spectrale des cônes :
l(l), m(l), s(l)
Distribution spectrale
C(l)
S(l) = R(l).C(l)
source
Réponses des cônes
Réflectance R(l)
l max
 l(l).S(l).dl
l(S) 
l min
l max
objet
m(S) 
 m(l).S(l).dl
l min
l max
Si S1 et S2 sont deux distributions d’énergie qui produisent
les mêmes réponses l, m et s, alors les deux couleurs
seront perçues comme identiques (couleurs métamères)
s(S) 
 s(l).S(l).dl
l min
33
Reproduction des couleurs
 Problème
•
• 3 sources linéairement indépendantes
de distributions spectrales r(l), g (l),b (l)
Mélange dans des proportions RS, GS, BS
RS .r(l)  GS .g(l)  BS .b(l)  S(l)
Valeurs de R, G, B pour obtenir une couleur S(l) donnée ?
Réponse des cônes aux trois sources

m(r )  m(l ).r(l ).dl,

m(g)  m(l ).g(l ).dl,
l(r )  l(l ).r(l ).dl,
l
l(g)  l(l ).g(l ).dl,
l

l(b)  l(l ).b(l ).dl,
l

l

l

s(r )  s(l ).r(l ).dl
l

s(g)  s(l ).g(l ).dl
l

m(b)  m(l ).b(l ).dl,
l

s(b)  s(l ).b(l ).dl
l
34
Reproduction des couleurs
Réponse des cônes au mélange
l(S)  R S.l(r )  GS .l(g)  B S .l(b)
m(S)  R S .m(r )  GS .m(g)  B S .m(b)
s(S)  R S .s(r )  GS .s(g)  BS .s(b)
Réponse des cônes à la couleur S
l max
R S .l(r )  GS .l(g)  B S .l(b) 
 l(l).S(l).dl
l min
l max
R S .m(r )  GS .m(g)  B S .m(b) 
l max
 l(l).S(l).dl
l(S) 
l min
l max
m(S) 

m(l ).S(l ).dl
l min
l max
s(S) 
 s(l).S(l).dl
 m(l).S(l).dl
l min
l max
R S .s(r )  GS .s(g)  B S .s(b) 
 s(l).S(l).dl
l min
système linéaire de trois équations
à trois inconnues (RS, GS, BS).
l min
35
Reproduction des couleurs
 Système RGB (CIE 1931)
CIE: Commission Internationale de l’Eclairage
Primaires additives : sources monochromatiques
• r : rouge , l = 700 nm
• g : vert, l = 546,1 nm
• b : bleu, l = 535,8 nm
 r(l).dl   g(l).dl   b(l).dl
l
l
l
calibrées avec une source de référence équi-énergétique (illuminant E)
RE .r(l)  GE .g(l)  BE .b(l)  E(l)  1


RS
R


RE

GS

G 
GE

BS

B


BE

RE =1
GE =4.5907
BE =0.0601
tristimulus pour la couleur S
36
Reproduction des couleurs
 Expériences d’égalisation
Tracé des fonctions colorimétriques
pour chacune des longueurs d’ondes
380 nm < l < 700 nm
37
Représentation des couleurs
 Diagrammes chromatiques (RGB CIE 1931)
Représentation des couleurs dans un espace 3D
Normalisation par la luminance
R
RGB
G
g
RGB
B
b
RGB
r
r+g+b=1
 deux variables indépendantes
 projection sur r+g+b=1 (triangle
de Maxwell)
 deux valeurs de chrominance
pour décrire la couleur
indépendamment de la luminance
38
Représentation des couleurs
 Diagrammes chromatiques (XYZ CIE 1931)
 Pour palier les inconvénients du système RGB
 Trois primaires virtuelles obtenues par changement de repère à partir
du système RGB
 X 2.7690 1.7518 1.1300 R 
 
Y   1
4
.
5907
0
.
0601
 G
Z  
0.0565 5.5943 B 
   0
 Nouvelles fonctions
colorimétriques
39
Représentation des couleurs
 Diagrammes chromatiques (XYZ CIE 1931)
Représentation des couleurs
 normalisation
X
XYZ
Y
y
XYZ
Z
z
XYZ
x
 x+y+z=1
 projection sur x+y+z=1, puis
sur x0y
40
Représentation des couleurs
 Diagrammes chromatiques: espace xyY
Spectrum locus : ensemble
des couleurs naturelles pures
observables
Ligne des pourpres
41
Représentation des couleurs
 Diagrammes chromatiques : espace xyY
AC
 saturation de A
BC
Couleur dominante de A
Blanc
Couleur complémentaire de D
Couleurs non
spectrales
42
Représentation des couleurs
 espace xyY : non-uniformité de la perception
 Seuils différentiels
de Macadam
43
Représentation des couleurs
 Uniformisation : Atlas de Munsell
44
Représentation des couleurs
 Le système CMY (ou CMJ)
 Equivalent du RGB pour des primaires soustractives
C 0 1 1 R 
M  1 0 1 G
 
Y  
  1 1 0 B 
 Systèmes d'impression
Souvent, une quatrième primaire K (noir) est utilisée (CMYK)
45
Représentation des couleurs
 Les systèmes dédiés à la télévision
une composante de luminance Y
 deux composantes de chrominance C1,C2
 compatibilité TV N&B et couleur
C1  a1(R  Y )  b1(B  Y )
C2  a 2 (R  Y )  b 2 (B  Y )
a1,a2,b1,b2 coefficients spécifiques au standard considéré
YIQ : norme NTSC
YUV : norme PAL
YDbDr : norme SECAM
YCbCr : norme ITU.BT-601 (télévision numérique)
Exemple :
Y  0.299R1/ 2.2  0.587 V 1/ 2.2  0.114B1/ 2.2
I  0,74 (R1/ 2.2  Y )  0.27 (B1/ 2.2  Y )
Q  0.48 (R1/ 2.2  Y )  0.41(B1/ 2.2  Y )
0.114  R1/ 2.2 
 Y  0.299 0.587
 I   0.596  0.273  0.322 G1/ 2.2 


Q 
1/ 2.2 



  0.212  0.522 0.315  B

46
Représentation des couleurs
 Les systèmes AC1C2
 Basé sur les sensibilités spectrales des cônes
A  220.612log(L)  0.369log(M)  0.019log(S)
C1  64 log(L)  log(M)
C2  10 log(L)  log(S)
A : luminance
C1 : opposition vert-rouge
C2 : opposition jaune-bleu
et
 L   0.15514 0.54312  0.03286  X
M   0.15514 0.45684 0.03286   Y 
 
S  
0
0
0.00801  Z 
  
47
Représentation des couleurs
 Les systèmes L*a*b* (CIE 1976)
 Tenant compte de la réponse logarithmique de l’œil
 Perceptuellement uniforme
1


 Y 3

  16 si
116
*

L*  
 Y0 

Y
si
903 .3 *
Y

0
  X   Y 
  f 

a*  500 .f 
  X0   Y0 
  X   Z 
  f 

b*  200 .f 
X
Z
  0   0 
avec
Y
 0.008856
Y0
Y
 0.008856
Y0
L* : opposition noir-blanc
(luminance)
a* : opposition vert-rouge
(chrominance)
b* : opposition jaune-bleu
(chrominance)
x1 / 3
si x  0.008856

f(x)  
16
si x  0.008856
7.787x 

116
X0 , Y0 , Z0 : coordonnées XYZ du blanc de référence
48
Représentation des couleurs
 Les systèmes L*u*v* (CIE 1976)
 Similaire à L*a*b*
1


 Y 3

  16 si
116
*

L*  
 Y0 

Y
si
903 .3 *
Y

0
Y
 0.008856
Y0
Y
 0.008856
Y0
u*  13.L * u'u'0 
v*  13.L * v'v'0 
avec
4X
9Y
, v' 
X  15Y  3Z
X  15Y  3Z
4X0
9Y0
u0 ' 
, v0 ' 
X0  15Y0  3Z0
X0  15Y0  3Z0
u' 
L* : opposition noir-blanc
(luminance)
u* : opposition vert-rouge
(chrominance)
v* : opposition jaune-bleu
(chrominance)
X0 , Y0 , Z0 : coordonnées XYZ du blanc de référence
49
Représentation des couleurs
 Les systèmes L*C*h
 Passage de L*a*b* ou L*u*v* à des coordonnées cylindriques
C *ab 
a *2 b *2

b *
si
arctan a * 




b *
h *ab  arctan
  180 
a
*




b *
  360 
arctan
 a *

a*  0 et b*  0
si
a*  0
si
a*  0 et b*  0
L*  0,100 : luminance
h  0, 2 : te inte
C*  0,hmax  : chroma
C *uv  u *2 v *2

 v *
si
arctan u * 




 v *
h *uv  arctan
  180 
u
*




 v *
  360 
arctan
u*

u*  0 et v*  0
si
u*  0
si
u*  0 et v*  0
50
Représentation des couleurs
 Le système HSV
 Système de cône hexagonal
V = max(R,G,B)
S
V - min(R,G,B)
V

GB

 V - min(R,G,B)
B R

H  2 
V - min(R,G,B)

RG

4


V - min(R,G,B)

si
V R
si
VG
si
V B
51
Traitement d'image
Vision industrielle :
Acquisition des images
F. Denis, F. Dupont
52
Introduction
 Etapes dans une application de vision industrielle
• Acquisition
 Eclairages, optiques, caméras et cartes d’acquisition
 Bien réalisée, permet de simplifier les étapes de traitement et
d’analyse
• Traitement
 ensemble de techniques destinées à améliorer la qualité de l’image
 Restauration  correction des déformations géométriques, des
variations d’éclairage,…
 Amélioration  réduction de bruit et rehaussement des
caractéristiques contenant les informations souhaitées.
• Analyse
 Extraction de l’information : segmentation, …
• Interprétation
 décision
53
Introduction
Système de vision
Système générique
• source lumineuse
• capteur (le plus souvent une caméra CCD)
• interface (carte d'acuisition)  conversion de l’information analogique en information
•
numérique
système de traitement (ordinateur et logiciels)
54
 Système spécifique
• Dispositif spécifique de traitement (carte DSP,…)
• Capteur spécial (capteur linéaire, infrarouge,…)
à choisir selon :
• les caractéristiques de la pièce à étudier,
• le type de tâche à effectuer,
• les contraintes spécifiques :
 cadence de production,
 consommation,
 encombrement,
 perturbations...
55
 Intérêts de la vision industrielle
• Contrôle précis
 Mesures géométriques
 Comptage, …
• Mesure répétitive et objective
• Rapidité
• Absence de fatigue
• Adaptation aux environnements difficiles
• Permet des manipulations robotisée (objets fragiles, petits, …)
 Inconvénients
• Évolution et flexibilité limitée
• Moins de souplesse et d’adaptabilité que l’œil humain
• Sensibilité aux changements des conditions d’environnement
56
 Domaines d’application
• Lecture optique
 tri postal, chèques, formulaires
 lecture de documents
 archivage,…
• Détection de défauts dans des produits plans
 tôle, verre, papier, textiles, acier, bois, céramique
 taches, rayures,nœuds,…
57
 Domaines d’application
• Manipulation et contrôle d’objets
manufacturés
 roulements à billes, filetages, perçage, …
mesures des dimensions et de l’état de
surface
• Inspection de produits alimentaires
 fruits, biscuits, viande, …
 qualité produit, cuisson, …
58
 Domaines d’application
• Conditionnement  contrôle de l’emballage
 fermeture correcte,
 dates et codes barres,
 qualité d’impression des étiquettes,
 marquages sur blisters,
 bouchons,
 remplissage, …
• Contrôle de montage de composants électroniques
 composants, circuits, soudures,…
• Monitoring de l’usure des machines
• Biologie  comptage de cellules
• Guidage de robots
• Recyclage des déchets…
59
 Domaines d’application
• Trafic routier
 Détection d’incident
 Détection et classification de véhicules
 Mesures de vitesse
 Reconnaissance de plaques minéralogiques
 Contrôle de camions et containers
…
 Systèmes de guidage pour automobile
 Surveillance de la vigilance,…
60
 Domaines d’application
• Biométrie
=
?
 contrôle d’accès
 détection de personnes suspectes dans des foules
 détection de colis suspects dans les lieux publics
 comptage de personnes
61
 Tâches à effectuer
• Reconnaissance, localisation, tri  recherche de la position d’un
objet dans le champ de vision, puis identification, classification
 Prise de pièce
 Calibrage : fruits, graines,…
 Comptage
• Inspection
 Contrôle dimensionnel  mesures en des positions précises d’une
pièce
 Contrôle de conformité  vérification de la présence d’un élément à
un endroit donné (trou, joint, étiquette,…)
 contrôle d’aspect  recherche de défauts variés n’importe où sur la
pièce
 Qualification des états de surface
• Guidage (engins, outils,…)
62
Exemple : Analyse de défauts sur des bouteilles
Cassure
Cheveux d ’anges
Inclusions
63
Exemple : contrôle de qualité des semences
64
Éclairage
 crucial pour la qualité de l'image
Exemples
65
Éclairage
66
Éclairage
 Critères
• luminance stable au cours du temps
• chrominance stable au cours du temps
• homogène sur tout le champ de vision
 Types de sources
• éclairage incandescent
 le plus économique.
 Inconvénients : chaleur dégagée et vieillissement. Température de
couleur variable avec la tension d'alimentation.
67
Éclairage
• éclairage fluorescent
 facile à mettre en œuvre
 souvent utilisé pour les éclairages diffus.
 génère peu de rayonnement infrarouge, donc peu de chaleur
 disponible pour plusieurs températures de couleur (blanc, lumière du
jour,…).
 champ large et homogène.
68
Éclairage
• éclairage halogène
 intensité lumineuse quasiment constante.
 généralement utilisées comme comme sources lumineuses pour des
fibres optiques.
• lampes à arc (Xénon, Mercure)
 disponibles dans plusieurs couleurs.
 éclairages proches de la lumière naturelle
• lampes à décharge (vapeur de mercure, sodium…)
 fournissent
des lumières composées
monochromatiques.
 densités de radiation très élevées
 luminance constante dans le temps
de quelques
radiations
69
Éclairage
• diodes électroluminescentes :
 réagissent presque sans inertie pour contrôler
l’intensité lumineuse sur une large gamme
d’éclairement  éclairages stroboscopiques.
 monochromatiques ( intérêt en cas d'aberrations
chromatiques).
 bon marché,
 fiables
 de faible encombrement  souvent arrangées en
matrices ou en anneaux ou associées à des fibres
optiques.
70
Éclairage
• éclairage laser :
 lumière monochromatique cohérente obtenue le plus souvent à l'aide
d'un laser hélium-néon de faible puissance.
 éclairage ponctuel  association avec un système de balayage
(prisme tournant, membrane vibrante,…)
 surtout utilisé en contrôle dimensionnel.
 souvent remplacés par des modules utilisant des diodes laser (diode
laser associée à un système optique et un système électronique), de
petite taille et qui peuvent être utilisés dans de petits espaces.
71
Éclairage
• fibre optique :
 éclairages très localisés
 ajustement précis de la distribution angulaire de l’intensité lumineuse
 éclairage de zones d’accès difficile.
 inconvénient : perte d’environ 40% de l’intensité par des effets de
diffusion et de réflexion.
72
Éclairage
• éclairage stroboscopique :
 scènes à mouvements rapides
 énergie lumineuse importante pendant un temps très bref (5 à 500
µs) avec un large spectre.
• éclairage par flash
 semblable à l'éclairage stroboscopique avec des puissances plus
élevées
 permettent d'obtenir une profondeur de champ importante
 inconvénient : temps nécessaire pour les recharger
73
Éclairage
Choix du mode d'éclairage
Selon
 le champ de vision;
 le niveau de réflectivité de l’objet;
 la géométrie de la surface en arrière plan
Solutions
•éclairage direct
 analyse de la surface de la pièce (couleur
texture, présence d'étiquette…)
74
Éclairage
•éclairage par l’arrière (ombres chinoises)
 meilleurs contrastes pour les produits
translucides
 mesures sur la silhouette de la pièce
75
Éclairage
• incidence normale (champ clair) :
 éclairage indirect réalisé à l’aide d’un miroir
semi-transparent.
 image formée par la fraction de la lumière
réfléchie directement vers la caméra.
 les surfaces perpendiculaires à l’axe optique
sont claires, les autres sombres
76
Éclairage
• incidence
oblique ou rasante (champ
sombre)
 image formée par la lumière diffusée
vers la caméra
 les objets apparaissent clairs sur un
fond sombre.
 inconvénient : présence de reflets et
d’ombres.
 visualisation de rayures ou observation
d'objets translucides  contraste
important pour les structures internes
et les reliefs de surface.
77
Éclairage
• utilisables en association avec d’autres systèmes
 sources étendues,
 surfaces diffusantes,
 anneaux lumineux montés directement sur l’optique,
 sources axiales diffuses,
 lumières structurées associées à des mires...
 filtres (IR, ....)
78
Éclairage
 Exemples
(http://www.graftek.com)
éclairage direct
éclairage par l’arrière
79
Éclairage
 Exemples
(http://www.graftek.com)
éclairage non polarisé
éclairage polarisé
80
Éclairage
 Exemples
(www.edmundoptics.com)
éclairage diffus
éclairage oblique
éclairage rasant
éclairage
axial diffus
éclairage structuré
rasant
éclairage axial
annulaire
éclairage
polarisé
81
Éclairage
 Exemples
(www.edmundoptics.com)
1 – champ sombre
2 – champ sombre + filtre bleu
3 – champ sombre + éclairage par l'arrière
4 - champ sombre + éclairage par l'arrière avec filtre jaune
82
Éclairage
 Exemples
(www.edmundoptics.com)
sans polariseur
avec polariseur sur la source et/ou la caméra
83
Optique
 Objectif
• système de lentille
• un ou plusieurs diaphragmes  contrôle de la quantité de lumière
et de la profondeur de champ
critères de choix
• distance focale (liée au grossissement)
• angle de champ
• ouverture, qui caractérise la luminosité de l'objectif
• qualité (aberrations géométriques et chromatiques)
84
Optique
 Distance focale et distance de mise au point
• approximation des lentilles minces
g
f
G
F
F
F : point focal
f : distance focale
B
f
b
loi de Descartes
1 1 1
 
g b f
et
B b
 m
G g
B : hauteur de l’image
G : hauteur de l’objet
m : grandissement
85
 mise au point
86
Optique
 Mise au point
 modification de la distance lentille-capteur
distance optique/capteur
maximale (limite mécanique)
b = bmax et g=DMO donc
distance minimale
de l'objet (DMO).
DMO 
f.bmax
bmax  f
modifiable par l’utilisation d’une bague allonge  augmentation de la
distance optique/capteur
 Distance focale
f 
b
1m
87
Optique
 Angle de champ
 angle entre les rayons les plus inclinés arrivant sur le capteur
Bmax
a
 tan( )
2f
2
Bmax : diagonale du capteur pour un capteur 2D ou longueur du capteur
pour une caméra linéaire
capteur
Objet à
l’infini
a
F
Bmax
88
Optique
 Profondeur de champ et ouverture
g1
g0
g
b
ouverture (2R) : caractérisée par k 
profondeur de champ
2r
F
F
b1
2R
b0
f
2R
4 f 2 r k g (g  f )
g0  g1 
f 4  4 r2 k2(g  f )2
 d'autant plus grande que l'ouverture (R) est petite (k grand)
89
Optique
 Types d'objectifs
vidéo  capteurs de petite taille  angles de champ faibles
90
Optique
• objectifs macro
 pour des objets très proches de la caméra et des grandissements
entre 0.1 et 10
 applications de métrologie
91
Optique
• Objectifs télécentriques
 Correction des distorsions de perspective (objets épais)
 second diaphragme de très petit diamètre dans le plan focal, du coté
opposé au capteur
 sélectionne les rayons parallèles à l’axe optique,
 grandissement constant en fonction de la distance dans un intervalle
donné.
92
93
Optique
• montures C et CS
 distance pas de vis de l’objectif /plan focal
– monture CS :12.5 mm
– monture C : 17.5 mm
94
95
Capteurs
 récepteur des signaux lumineux provenant de la scène à analyser
 surface sensible recueillant les informations lumineuses
Critères de choix
contraintes de l'application
 rapidité
 qualité image
 résolution
 capteur 1D ou 2D...
 gamme spectrale
 dynamique
les plus fréquents en vision industrielle : les capteurs à état solide
 circuits à transfert de charges CCD,
 circuits à injection de charges CID,
 barrettes de photodiodes…
96
Capteurs
Cellules photosensibles
 conversion de l'énergie lumineuse en charges électriques
•photodiodes :
capteur = réseau de photodiodes couplées chacune à une capacité
(intégration des charges crées au niveau de la jonction) et circuit de
multiplexage.
•cellules MOS (Metal-Oxyde Semiconductor) :
capteur = réseau de condensateurs en technologie MOS.
Charges évacuées au travers des différentes cellules de proche en
proche.
97
Capteurs
Transfert de charges
 évacuation des charges produites par la conversion d’énergie électrique
•registre a décalage numérique
horloge
impulsion
de départ
sortie vidéo
capteurs
•registre à décalage analogique
sortie vidéo
horloge
commande
de transfert
capteurs
98
Capteurs
 Capteurs linéaires
 analyse de scènes en mouvement contrôlé
(objets en défilement)
 mesure d’une dimension particulière ou d’un
niveau
 nombre d’éléments photosensibles variable depuis 256 jusqu’à plus
de 12 000
 capteurs n’étant pas au standard vidéo  nécessitent des dispositifs
spécifiques de synchronisation et d’acquisition
99
Capteurs
• SSPD (Self Scanned Photodiode Device)
 combinaison d’une photodiode et d’un registre à décalage numérique
• CCD(Charge Coupled Device)
 combinaison d’un élément MOS et d’un registre à décalage
analogique
100
Capteurs
Capteurs matriciels
 de 500x500 à 4096x4096 photo éléments
• CID(Charge Injection Device: Circuit à Injection de Charges)
 transistor MOS + registre à décalage numérique.
 transfert de charges direct, chaque pixel étant adressé par sa ligne et sa
colonne
101
Capteurs
• CCD(Charge Coupled Device)
 éléments MOS + registres à décalage
analogique
sortie
vidéo
registre de sortie
 trois types de transfert de charge
1. transfert parallèle-série (capteur pleine
trame)
 pour des temps de pose importants
zone image
Transport des charges avec un capteur
à transfert parallèle-série :
1 après le temps d’intégration, l’obturateur
est fermé et les charges sont transférées
dans le registre horizontal
2 les charges sont évacuées en série
FTF4052M DALSA
4008(H) x 5344(V), 21418752 pixels
102
Capteurs
sortie
vidéo
registre de sortie
2. transfert interligne
- utilisé dans les caméras standard
- réduction de la surface active du capteur
(effets de Moiré)
- amélioration par des microlentilles
zone image
zone de stockage
Transport des charges avec un capteur à
transfert interligne
1) les charges sont transférées dans
les colonnes de stockage
2) les charges sont transférées vers le
registre de sortie
3) les charges sont évacuées en série
103
Capteurs
sortie
vidéo
registre de sortie
3. transfert de trame
- dynamiques élevées
- effets de traînage vertical
- capteurs plus gros, plus chers
zone de
stockage
zone image
FTT1010M DALSA
1024(H) x 1024(V), 1048576 pixels
Transport des charges avec un capteur à transfert de
trame
1) les charges sont transférées dans la surface de
stockage
2) les charges sont transférées vers le registre de
sortie
3) les charges sont évacuées en série
104
Capteurs
•CMOS(Complementary Metal Oxide Semiconductor)
 même principe physique que les capteurs CCD
 technologie CMOS standard moins coûteuse que les CCD
 association avec l'élément photosensible de composants actifs pour
l'amplification et l'adressage.
 adressage individuel ou par blocs des cellules
 faible consommation.
 possibilité d'intégrer des traitements au niveau du capteur (réduction
de bruit par exemple)
 inconvénient : bruit de motif fixe
105
Capteurs
Formats de capteurs CCD
 originaires des formats des caméras à tube dont les diamètres typiques étaient
1", 2/3"et 1/2"
m
11
m
mm
5
7
5,8
1
1/4’’
1/3’’
1/2’’
2/3’’
1’’
106
9,525 mm
m
8m
6,6 mm
m
6m
4,8 mm
m
4m
3,6 mm
2/3''
 tailles des pixels : de 4
µm x 4 µm à 16 µm x
16 µm
 nombre
de
pixels:
500x500 à 5000x5000
 rapport hauteur:largeur:
presque toujours 4:3
2,4 mm
 1/6", 1/4'', 1/3", 1/2" et
12,7 mm
8,8 mm
6,4 mm
4,8 mm
3,2 mm
Capteurs
 Caractéristiques des capteurs à état solide
• Réponse
Intensité du signal électrique en fonction de l’intensité lumineuse
reçue.
dépendant de :
 la sensibilité liée à la surface photosensible (taille, type)
 la conversion charge-tension dépendant de la valeur de la capacité de
conversion et du gain d’amplification
• Résolution spatiale
 aptitude du capteur à détecter des petits détails.
liée à :
 la taille du capteur
 l'optique
limitée par :
 l’effet d’intégration spatiale avec moyennage sur la surface des cellules
 la diaphotie, phénomène qui résulte de la création de paires électron-trou
dans les couches profondes de la cellule
107
Capteurs
• Sensibilité spectrale
 intensité du signal de sortie en fonction de la longueur d’onde de la
lumière incidente.
fonction du type de photo élément et du substrat utilisé.
400 nm < l < 1100 nm
Pour rester dans le domaine visible  filtres infrarouges
108
Capteurs
• Facteur de remplissage
 rapport entre la surface utile du capteur et sa surface totale
• Sensibilité spectrale
 intensité du signal de sortie en fonction de la longueur d’onde de la
lumière incidente.
fonction du type de photo élément et du substrat utilisé.
400 nm < l < 1100 nm
Pour rester dans le domaine visible  filtres infrarouges
• Non-uniformité du capteur
 disparités entre les différentes cellules sensibles
109
Capteurs
• Linéarité
 réponses pratiquement linéaires, sauf au voisinage de la saturation
ainsi qu’aux faibles éclairements
• Bruit
 fluctuation de la tension délivrée par un photo élément donné dans le
noir.
Dû à l'agitation thermique (les charges excédentaires peuvent être
mesurées grâce à des photo-éléments de référence recouverts d’un
écran opaque et le signal de sortie peut être corrigé)
• Éblouissement
Au delà d'un seuil de saturation, une cellule trop illuminée envoie ses
charges excédentaires vers les cellules voisines
Peut être supprimé par un dispositif spécifique (évacuation des charges
en excès par une diode située à côté du photo élément ou dans le
substrat)  réduction de la sensibilité du capteur d'environ 30% (perte
d’une partie de la surface active)
110
Capteurs
•
•
•
Rémanence ( photodiodes)
 l’information persiste pendant 2 ou trois cycles de lecture
Traînage vertical (smearing)
traînées verticales apparaissant au moment du transfert de charges
Taux de transfert
111
Capteurs
 Signal vidéo
fréquence des images : est lié à la fréquence du secteur
 Europe : 50 Hz  50 trames par seconde
 USA : 60 Hz  60 trames par seconde
1 trame = ½ image

balayage entrelacé
1ère trame: lignes impaires
2ème trame: lignes paires
112
Capteurs
• signal vidéo composite
 signal de luminance + signaux de synchronisation
 Norme européenne CCIR (Comité Consultatif International des
radiocom-munications)
image de 625 lignes
aspect : 4/3
fréquence de trames : 50 Hz
fréquence des lignes : 25*625 = 15625 Hz
durée d'une ligne : 1/15625 = 64 µs
–
–
–
–
–
top de synchronisation
palier de suppression
signal vidéo utile 52 µs
palier de garde.
entre les trames, signaux de synchronisation de trame (positionnement du
spot au début de la première ligne à afficher)
113
Capteurs
 standard RS170
standard américain défini par
Association)
image de 525 lignes
aspect : 4/3
fréquence des trames : 60 Hz
fréquence des lignes : 15750 Hz
l’EIA
(Electronics
Industries
 standard RS343
standard américain qui englobe la haute définition
nombre de lignes : 675,729,875,945 ou 1023
aspect de l'image variable
fréquence des trames : 60 Hz.
114
Capteurs couleur
 Capteurs mono-CCD et CMOS
 capteur CCD + mosaïque de filtres colorés rouges,verts, bleus
 calcul de l'image couleur
Filtre Bayer
Filtre Sony
RGBE
E=Émeraude
 perte de résolution
FTF4052C DALSA
4008(H) x 5344(V) = 21418752 pixels
115
Capteurs couleur
 Capteurs tri-CCD
3 capteurs CCD + prismes
116
Capteurs couleur
 super CCD
 photodiodes octogonales
 surface plus importante
 meilleure sensibilité
117
Capteurs couleur
 Foveon X3
 3 couches de photoéléments pour le rouge, le vert, le bleu
 meilleure résolution
118
Capteurs couleur
119
Carte d'acquisition
•
fonctions :
 traiter l'information provenant de sources d'images variées;
 stocker l'image;
 fournir une interface graphique;
 être flexible
pouvant inclure
 des processeurs rapides ou des systèmes de processeurs multiples
pour des traitements parallèles,
 d'importantes capacités de stockage,
 des bibliothèques logicielles plus ou moins sophistiquées.
120
Carte d'acquisition
organisation généralement modulaire :
 unité d'entrée vidéo (VIU);
 mémoire image (frame buffer: FB);
 processeur de signal (DSP);
 unité vidéo de sortie (VOU).
Interface parralèle/série
Palette d’entrée
Multiplexeur
Convertisseur
STOCKAGE
ACQUISITION
•
Séparation
de synchro
121
Carte d'acquisition
• module vidéo d'entrée
 interface entre le capteur et l'unité de stockage de l'image
 signaux d'entrée de différents types :
– formats vidéo analogiques normalisés (caméras vidéo, caméscopes et
magnétoscopes,…)
– formats analogiques non normalisés (tomographes, microscopes
électroniques, caméras linéaires,…)
– formats numériques (CD, capteurs CMOS, …)
 fonctionalités :
– multiplexage des entrées
– synchronisation et séparation des signaux de synchronisation et des
données image
– numérisation des signaux analogiques
– transfert des signaux numériques (signaux provenant d'un capteur
numérique ou pré-traitées par le système de capture)  interface
numérique parallèle et série qui shunte le convertisseur
– pré-traitement des données  table de transformation (palette de
couleur)  prétraitements ponctuels
122
Carte d'acquisition
image numérisée
96
0
0
1
0
2
0
3
0
4
0
96
0
253
255
254
255
255
255
image stockée
palette d'entrée
123
Carte d'acquisition
• mémoire image
 stockage des images sur la carte (applications rapides)
 fonctions d'adressage pour des accès simplifiés
• processeur de signaux
 un ou plusieurs processeurs de signaux sur certaines cartes
 exemple : TMS 320 C 80 de Texas Instruments
– processeur 32 bits
– traitements complexes : filtres, convolutions,
compression.
transformations,
 possibilité de configurer des modules ASIC spécifiques pour des
tâches particulières (opérations locales,...)
124
Carte d'acquisition
• unité vidéo de sortie
 affichage de l'image stockée en mémoire sur un écran
 transformation des données image en un signal vidéo adéquat
(SVGA, CCIR…)
 modules :
– palette de couleur de sortie
– convertisseur numérique/analogique :
 conversion des valeurs numériques en un signal analogique,
accompagné d'informations temporelles.
base de temps est fournie par le module d'entrée vidéo ou générée par
l'unité vidéo de sortie (processeur graphique)
125
Carte d'acquisition
image stockée
96
0
255
0
0
1
254
1
0
2
253
2
0
3
250
5
0
4
220 20
0
96
100 50
20
253
15 100 210
254
10 100 230
255
55 100 255
R
V
image affichée
B
palette de sortie
126
Chaîne de traitement
127
Acquisition 3D
divers types d'images
• information surfacique
• information volumique
 Méthodes surfaciques
• méthodes télémétriques directes
lumière cohérente + système de balayage
 mesure de temps de vol
128
Acquisition 3D
• méthodes par triangulation
 projection d'un point ou d'une ligne avec une source laser, ou d'une
mire avec une lumière structurée
 acquisition par caméra CCD
 calcul des coordonnées par triangulation
129
Acquisition 3D
130
Acquisition 3D
capteur
lentille
F
z
a
y
source
a et Y connus,
F calculé à partir de la position du spot sur le capteur
 calcul de z
131
Acquisition 3D
• méthodes stéréoscopiques
 2 (ou +) vues soit avec 2 (ou +) caméras, soit avec un objet en
mouvement (exemple: plateau tournant)
 Mise en correspondance d’entités géométriques: identification des
points de la surface sur les deux images et appariement
– détection de points d’intérêts (détection de contours et de courbure
maximale)
– corrélation (à l’intérieur d’une fenêtre de recherche)
– relaxation (processus itératif)
132
Exemple
133
Acquisition 3D
 Estimation de la géométrie épipolaire:
– Caméras C1 et C2
– Plan m1 C1C2  plan image 1 = droite épipolaire D1 (m1e1)
– Plan m1 C1C2  plan image 2 = droite épipolaire D2 (m2e2)
– les épipoles e1 et e2 sont invariantsC1e2m2C2m1e2M
 Connaissant m1 on trouve son correspondant m2 sur la droite
épipolaire D2.
M
m2
m1
C1
e2
e2
C2
 calcul de la structure 3D
134
Acquisition 3D
 Méthodes volumiques
 procédés tomographiques
1
2
3
u
u
u
135
Acquisition 3D
 exemple
Vide
Granulats
136
Traitement d'image
Représentation des images
Systèmes 2D
F. Denis, F. Dupont
137
Représentation des Images
 images analogiques et images numériques
Analogiques
Numériques
images « physiques »
images « mathématiques »
Scènes,
Photos, dessins,
Vues IR, UV…
Images vidéo-cassettes…
Cartes de température, de pression,
de tout phénomène physique à 2
dimensions …
f(x,y) modèles analogiques d’images
Images numérisées en RAM
ou sur support numérique CD,
CD-Photo…
f(k,l) modèles numériques d’images
Images de synthèse
138
Représentation spatiale
 Représentation déterministe
image continue : f(x,y)  fonctions de deux (ou plus) variables d’espace
image numérique : f(k,l)
continues ou discrètes
Exemple :
x
y
 XY ( x, y )  ( ).( )
X
Y
avec

x
1
si
( )  
X
0
sin on
 Représentation statistique
x 
X
2
Y
X
f(x,y) ou f(k,l)  variable aléatoire
 Paramètres statistiques usuels
139
Représentation fréquentielle
 Transformée de Fourier continue
 Représentation de l’image sur une base de fonctions exponentielles
complexes
• Cas mono-dimensionnel

f (x) 

F



1 
F(u).e 2jux du

F(u) 
F


f ( x ).e 2jux dx

• Cas bidimensionnel
 
f(x, y) 
  F(u, v).e
 
F
2
 
du.dv
F(u, v) 
 


1
2j(ux  vy)
F2
 
  f(x, y).e
 2j(ux  vy)
dx.dy
 
140
Représentation fréquentielle
Remarque
La transformée de Fourier est généralement complexe
Exemple
141
Représentation fréquentielle
 Propriétés
• Linéarité
F[ f(x, y) ]  F(u, v)
F[g(x, y)]  G(u, v)
 F[a f(x, y)  b g(x, y)]  a F(u, v)  b G(u, v)
b
a
TF
TF
TF
a
b
module
142
Représentation fréquentielle
 Propriétés
 
• Séparabilité
F(u, v) 
  f(x, y).e
 2j(ux  vy)
dx.dy
 
   

 2jux   2jvy

F(u, v)    f(x, y).e
dx .e
dy


   

y
y
v
TF1D
TF1D
suivant x
suivant y
u
u
x
module
module
143
Représentation fréquentielle
 Propriétés
• changement d'échelle
TF
F[ f(ax, by)] 
1
u v
F( , )
ab a b
TF
module
144
Représentation fréquentielle
 Propriétés
• Décalage
-2j(ux0  vy0 )
F[ f(x - x0, y - y0 )]  e
F(u, v)
• Conjugaison
F[ f *(x, y)]  F*(-u,-v)
• Convolution
F[f(x, y) * g(x, y) ]  F(u, v) . G(u, v)
F[f(x, y) . g(x, y) ]  F(u, v) * G(u, v)
• Conservation du produit scalaire
 
*
  f(x, y).g
 
(x, y)dx.dy 
 
*
  F(u, v).G
(u, v)du.dv
 
145
Représentation fréquentielle
 Transformée de Fourier discrète
• Cas mono-dimensionnel
f(k) 
M 1
2j
1
 F(m).e
Mm  0
mk
M
TFD
 
 
TFDI
F(m) 
M 1

f(k).e
 2j
mk
M
k 0
• Cas bidimensionnel
 mk nl 
 mk nl 
N 1 M 1
2j
 
 2j
 
TFD
1
M N   
M N


f(k, l) 
F(m, n).e
F(m, n) 
f(k, l).e
 
MNm  0 n  0
l0 k 0
TFDI
M 1 N 1
 
 
146
Représentation fréquentielle
 Transformée de Fourier discrète unitaire
• Cas mono-dimensionnel
f(k) 
M 1
2j
1
 F(m).e
Mm0
mk
M
TFD
 
 
F(m) 
TFDI
M 1
1
 f(k).e
M k 0
 2j
mk
M
• Cas bidimensionnel
f(k, l) 
 mk nl 
2j
 
TFD
1
M N   

F(m, n).e
F(m, n) 
 
MN m  0 n  0
TFDI
M 1 N 1
 
N 1 M 1
1
 
MN l  0 k  0
 mk nl 
 2j
 
M N

f(k, l).e
147
Représentation fréquentielle
 Propriétés
• Séparabilité
F(m, n) 
N 1 M 1
  
f(k, l).e
l  0 k  0
 2j
mk 
nl
 2j
M .e
N


• Linéarité
TFD[ f(k, l) ]  F(m, n)
TFD[g(k, l)]  G(m, n)
 TFD[a f(k, l)  b g(k, l)]  a F(m, n)  b G(m, n)
• Décalage
mk 0 nl0
-2j(

)
M
N
TFD[ f(k - k0 , l - l0 )]  e
F(m, n)
148
Représentation fréquentielle
 Propriétés
• Convolution
TFD[f(k, l) * g(k, l) ]  F(m, n) . G(m, n)
TFD[f(k, l) . g(k, l) ]  F(m, n) * G(m, n)
! problèmes des bords
149
Représentation fréquentielle
 Interprétation
• Module : orientation


Composante
continue
150
Représentation fréquentielle
• Module : fréquence
1/

Composante
continue
151
Représentation fréquentielle
• Phase : localisation
TF
Module
Module constant
TF-1
TF-1
152
Représentation fréquentielle
• Phase : localisation
TF
Module
TF-1
TF
Module
TF-1
153
Systèmes bidimensionnels
Image d'entrée
f(x,y)
système
Image de sortie
g(x,y)
 Système linéaire
f(x,y)
système
a
a
b
b
a,b
f1(x, y)  g1(x, y)

f2(x, y)  g2(x, y)
g(x,y)

a f1(x, y) + b f2(x, y)  a g1(x, y) + b g2(x, y)
154
Systèmes bidimensionnels
 Système invariant
f(x,y)
f(x, y)  g(x, y)
système
g(x,y)
 f(x - x0, y - y0 )  g(x - x0, y - y0 )
155
Systèmes bidimensionnels
 Réponse impulsionnelle (PSF : Point Spread Function)
réponse à une impulsion de Dirac
d(x,y)
système
h(x,y) : réponse impulsionnelle
Si le système est linéaire et invariant, sa réponse à une entrée
f(x,y) est :
 
g(x, y)  f(x, y) * h(x, y) 
  f(x' , y' ).h(x  x' , y  y' ).dx'.dy'
 
produit de convolution bidimensionnel
156
Systèmes bidimensionnels
 Interprétation du produit de convolution
 
g(x, y)  f(x, y) * h(x, y) 
  f(x' , y' ).h(x  x' , y  y' ).dx'.dy'
 
• retournement de h
• translation en (x1,y1)
• produit point à point avec f(x',y')
• intégration
y'
y2 y1
h(x
h(-x',-y')
h(-x',y')
h(x',y')
1-x',y1-y')
f(x',y')
 résultat au point (x1,y1)
x'
x1
x2
• translation en (x2,y2)
• produit point à point avec f(x',y')
• intégration
 résultat au point (x2,y2)
y
y1
y2
x
x1 x2
157
Systèmes bidimensionnels
 Propriétes du produit de convolution
• commutativité
h(x,y)*g(x,y) = g(x,y)*h(x,y)
• associativité
[f1(x,y)*f2(x,y)]*f3(x,y) = f1(x,y)*[f2(x,y)*f3(x,y)]
• linéarité
[a f1(x,y) + b f2(x,y)]*g(x,y) = a f1(x,y)*g(x,y) + b f2(x,y)*g(x,y)
remarque
Le support de f(x,y)*h(x,y) est plus grand que l'image originale
 problèmes de bord
158
Systèmes bidimensionnels
 Domaine fréquentiel
g(x,y) = f(x,y)*h(x,y)

G(u,v) = F(u,v). H(u,v)
 produit simple dans le domaine fréquentiel
H(u,v) est appelée fonction de transfert du système
159
Systèmes discrets
Image d'entrée
f(k,l)
système
h(k,l)
Image de sortie
g(k,l)
 produit de convolution discret
g(k, l)  f(k, l) * h(k, l) 
 f(m, n).h(k  m, n  l)
m n
160
Systèmes discrets
161
Images numériques
 Acquisition
Image analogique
Echantillonnage
Quantification
Échantillonnage
+
Quantification


Image numérique
pixels
niveau de gris ou couleur
162
Echantillonnage

Problème
•
•
Choix des fréquences d'échantillonnage (résolution spatiale,
taille des images, temps de traitement )
Tessellation (forme des pixels)
rectangulaire
parrallélogramme
quinconce
hexagonal
163
Echantillonnage

Echantillonnage théorique
 multiplication par une brosse de Dirac
|||xy (x, y) 


  d(x  mx, y  ny)
m   n  
 image échantillonnée

f (x, y) 



 f(x, y).d(x  mx, y  ny)
m   n  

Conséquence dans le domaine fréquentiel


1 1
1 1  
k
l
F |||xy (x, y) 
||| 1 1 (x, y) 
d
(
u

,
v

)
 
x y x y
x y k   l  
x
y
d'où 
1 1  
k
l
F(u, v)  F(u, v) *
d(u 
,v 
)


x y k   l  
x
y

1 1  
k
l
F(u, v) 
F(u 
,v 
)


x y k   l  
x
y
 double périodisation du spectre en u et v.
164
Echantillonnage
image initiale
spectre d’amplitude
zoom sur l'image échantillonnée
spectre d’amplitude de l’image échantillonnée
165
Echantillonnage
 hypothèse
le spectre est à bande limitée bornée par umax et par vmax
 |F(u,v)|=0 pour |u|>umax et |v|>vmax
 le spectre est entièrement contenu dans un rectangle de côté
2umax 2vmax
x et y trop grands  recouvrement des différentes répliques
des spectres
repliement spectral ou « aliasing » fréquences de Shannon
ou de Nyquist.
limite :
1
1
 2vmax
 2umax ou
y
x
Les erreurs de repliement ne peuvent pas être supprimées par
filtrage ultérieur.
166
Echantillonnage
Si x et y respectent la condition de Shannon :
1
 2umax
x
et
1
 2vmax
y
toute l'information est conservée
Si le spectre n'est pas à bande limitée, il y a forcément perte
d'information par repliement spectral
• Conséquence du repliement spectral : effets de Moiré
167
Echantillonnage
Effets de Moiré
168
Restitution
• Restitution par filtrage passe-bas

Fr (u, v)  F(u, v).R(u, v)
R(u,v) filtre de restitution
Filtre idéal :
R(u, v)   1 1 (u, v).x.y
(filtre cardinal idéal)
x y
• Image reconstruite

x
y
fr (x, y)  f (x, y) * sinc( ) sinc( )
x
y
fr (x, y) 
fr (x, y) 



 f(m.x, n.y).d(x  mx, y  ny) * sinc(
m   n  



 f(m.x, n.y). sinc(
m   n  
x
y
) sinc( )
x
y
x
y
 m) sinc(
 n)
x
y
formule d'interpolation de Shannon
169
Restitution
exemples de fonctions de restitution utilisées en pratique
170
Restitution
exemple
image initiale
image restituée par extrapolateur
d’ordre 0
image restituée par filtrage idéal
image restitutée par interpolateur
linéaire
Image restitutée avec préfiltrage anti-repliement
avant échantillonnage
171
Quantification
variable continue f  variable discrète f*
 quantification scalaire uniforme
 intervalles égaux
f*
erreur
de quantification
valeurs de
reconstruction
f
0
intervalle de
décision
 quantification non uniforme
exemple : pas de quantification fonction de l'amplitude du signal
 quantification optimale
 minimisation de l'erreur de quantification
172
Représentation des Images
Formats d’images
• images monochromes ou en niveaux de gris
représentées par une fonction f(x,y) qui traduit une certaine grandeur (intensité
lumineuse par exemple) du point (x,y). L’image numérisée correspondante sera
constituée d’un unique tableau de nombres f(k,l).
La quantification se fait le plus souvent sur 8 bits (256 niveaux) parfois sur 12 ou 16
bits
Un cas particulier correspond aux images binaires pour lesquelles 2 valeurs
seulement sont permises pour f(k,l), souvent 0 (noir) et 1 (blanc).
8 bits
4 bits
1 bit
173
Représentation des Images
Formats d’images
• images trichromes (ou images couleur)
Une couleur quelconque peut être synthétisée par l’utilisation de 3 couleurs de base.
Une image couleur est en pratique trichrome et est représentée par 3 fonctions
f1(k,l), f2(k,l), et f3(k,l).
Le plus souvent, la quantification
se fait sur 8 bits par primaire
soit 16 millions de couleurs
+
+
174
Représentation des Images

Formats d’images
• les images multi-spectrales :
Généralisation du cas précédent,
conduisant à n tableaux de
nombres. Pour la restitution, on
peut visualiser chaque composante
séparément en monochrome (ou
en fausses couleurs), ou affecter
une couleur à chaque bande
spectrale et faire la synthèse. Les
couleurs résultantes n’ont pas de
réalité physique.
Vraies couleurs
(source: ign: J-P. Souchon & C. Thom)
Fausses couleurs
Proche infra-rouge  rouge
Rouge  vert
Vert  bleu
175
Représentation des Images
 Formats d’images
• Les images en fausses couleurs
Représentations colorées d’images monochromes ou multi-spectrales
 meilleure lisibilité
+
Image monochrome
Palette (LUT)
image en fausses couleurs
176
Représentation des Images
 Formats d’images
• Les images en couleurs indexées
Réduction des trois bandes RVB à
une image sur 8 bits associée à
une palette de 256 couleurs
Vraies couleurs
+
Image sur 8 bits
Pallette (LUT)
image en couleurs indexées
177
Vraies couleurs
+
couleur adjacente
+
tramage
+
Diffusion d’erreur
178
Traitement d'image
Traitements de base
F. Denis, F. Dupont
179
Descripteurs
 Profil de densité
180
Descripteurs
 Histogramme
 nombre de points dont le niveau de gris est égal à un niveau donné
181
 Exemples
Surexposition
Sous exposition
Dynamique
insuffisante
Sous exposition
Surexposition
Offset trop élevé
Offset trop faible
Gain trop faible
Gain trop fort
Idéal
182
Descripteurs
 Histogramme cumulé
 nombre de points dont le niveau de gris est inférieur ou égal à un
niveau donné
183
Traitements d’amélioration d’image
 Types de traitements
y
y
x
x
Ponctuel
y
y
Local
y
x
x
Global
y
x
x
184
Opérations ponctuelles
 Transformation du type
g(x,y)=h[f(x,y)]
h: loi linéaire ou non, identique sur toute l’image
f(x,y)
Image
d’entrée
g(x,y)
LUT
(Look Up Table)
Moniteur
vidéo
 Transformations qui agissent sur le contraste et la dynamique
de l’image
185
Opérations ponctuelles
 Seuillages - binarisation
186
Opérations ponctuelles
 Inversion positif-négatif
187
Opérations ponctuelles
 Renforcement du contraste
188
Opérations ponctuelles
 Recadrage linéaire du contraste
189
Opérations ponctuelles
 Egalisation d’histogramme
obtention d’un histogramme globalement plat
 histogramme cumulé linéaire
 entropie maximale
f(x,y) : image d’entrée
g(x,y) : image de sortie  On cherche une relation
g(x,y)=h[f(x,y)]
telle que l’histogramme de g soit plat en moyenne
190
Opérations ponctuelles
i : niveau de gris
fi intervalle correspondant au niveau i dans l’image d’entrée
pfi nombre d’échantillons dans ce niveau
gi l’intervalle correspondant dans l’image résultat
pgi nombre d’échantillons
correspondance en probabilité : fi pfi = gi pgi
N2  nombre de po int s
Histogramme plat  pgi=constante=
Q  nombre de niveaux
d’où
g 
i
p fi .  f i . Q
N2
191
Opérations ponctuelles
 Exemple
histogrammes
2
N
Q
histogrammes
cumulés
192
 Exemple
recadrage
égalisation
193
Opérations locales
 Filtrage linéaire
g(k, l)  f(k, l) * h(k, l) 
 f(m, n).h(k  m, n  l)
m n
Réponse impulsionnelle de taille réduite  opération locale sur
un petit voisinage de (k,l)
194
Opérations locales
195
74 ter
Opérations locales
 Masques types
• Moyenneur 3x3
1 1 1
1

1
1
1

9
1 1 1
 exemple
196
Opérations locales
• Lissage avec pondération centrale
1 1 2 1
2 4 2 
16 1 2 1


1 1 1 1
1 2 1
10 1 1 1


 filtrage passe-bas
• rehaussement de contour
 1  1  1
 1 9  1
 1  1  1
 0  1 0
 1 5  1
 0  1 0
=
image rehaussée
 0 1 0 
 1 5  1


 0  1 0 
+
image initiale
0 0 0 
0 1 0 


0 0 0 
image filtrée passe-haut
 0 1 0 
 1 4  1


 0  1 0 
197
Opérations locales
 Filtrage d’ordre
 combinaison linéaire des pixels du voisinage réarrangés par ordre
croissant
Vk,l : voisinage de L points autour du point (k,l)
tri  f(1) ≤ f(2) ≤...f(p) ... ≤ f(L)
L
g(k, l) 

Cp .f (p )
p 1
• Filtre médian
CL 1  1
 2

Cp  0

pour
p 
L 1
2
198
Opérations locales
243 243
216 248
243 255
170 215
255 215 192
181 215
192 191
215
216
tri
170
191 181
192 192
215 215 215 216 243 243
248 255
médiane
Image originale
Moyenneur 5x5
Médian 5x5
199
Opérations globales
 Filtrage fréquentiel
• Domaine spatial :
filtrage = convolution

g(x,y)=f(x,y)*h(x,y)
• Domaine fréquentiel :
multiplication
G(u,v) = F(u,v).H(u,v)
 sélection de certaines composantes fréquentielles à partir d’un masque zonal
Passe-bas
Coupe-bande
Passe-haut
200
Opérations globales
 Exemple
Image initiale
Spectre d’amplitude
Masque
Spectre d’amplitude filtré
Image filtrée
Image différence
201
Traitement d'image
Techniques de restauration d’image
F. Denis, F. Dupont
202
Problématique
 Dégradations de l’image
203
Problématique
 Dégradations de l’image
• Acquisition
 Mauvaise mise au point
 Mouvement objet  système d’acquisition
 Distorsions géométriques
 Bruit des capteurs
 Perturbations (atmosphériques, ….)
• Changement de support
 Reproduction
 Transmission
 Mémorisation
 Compensation des dégradations = Restauration
204
Problématique
Modélisation par un système linéaire invariant
f(x,y)
Image originale
h(x,y)
g(x,y)
réponse impulsionnelle
du système de dégradation
Image dégradée
b(x,y)
bruit
 g(x,y) = f(x,y)*h(x,y) + b(x,y)
connu
estimé
estimé
 nécessité de modéliser les dégradations
205
Exemple de dégradations
• Mouvement de caméra
 Hypothèses:
déplacement selon x
temps d’exposition: T
vitesse de déplacement: a
 pendant la durée de l’acquisition, un point s’est déplacé de aT.
h(x,y)
1
aT
x
aT
h(x, y) 
1
x
1
(
 ). d(y)
aT aT 2
206
Défocalisation
2r
F
F
h(x,y) =
1
0
pour
pour
x2 + y2  r2
x2 + y2 > r2
r : paramètre d’ouverture<
Turbulences atmosphériques
h(x, y)  e
 a2 (x2  y2 )
207
Restauration par filtrage inverse
 Filtrage inverse
• Hypothèse
Système convolutif, sans bruit additif.
g(x,y) = f(x,y)*h(x,y)
 Dans le domaine spectral
G(u,v) = F(u,v). H(u,v)

G(u, v )
F(u, v ) 
H(u, v )
 F(u,v) s’obtient en divisant G(u,v) par H(u,v)
 L’image est filtrée par un filtre de réponse impulsionnelle
1
H(u, v)
f(x,y) est ensuite obtenue par transformation de Fourier inverse
Problème si H(u,v) = 0
208
Restauration par filtrage inverse
 Filtrage pseudo-inverse
Pour stabiliser le filtrage, on utilise un filtre de restauration
1

Hr (u, v ) 
H(u, v )


Hr (u, v )  0
si
H(u, v )  
sin on
Hr(u,v) : inverse généralisé de H
209
Restauration par filtrage inverse
 Modèle avec bruit additif
g(x,y) = f(x,y)*h(x,y) + b(x,y)

G(u,v) = F(u,v). H(u,v) + B(u,v)  F(u, v) 
 Pour les faibles valeurs de G(u,v), le terme B(u, v)
H(u, v)
G(u, v)  B(u, v)
H(u, v)
peut être prépondérant
 On limite la restauration aux fréquences pour lesquelles le rapport signal/bruit est
élevé
1

H' (u, v)  H(u, v)

H' (u, v)  1

pour
pour
u2  v 2  r2
r: fréquence au-delà de
u2  v 2  r2
laquelle le bruit est
dominant
210
Restauration par filtrage inverse
Image dégradée
Spectre filtré
Spectre d’amplitude
Spectre d’amplitude de
la dégradation
Image restaurée
211
Restauration par filtrage de Wiener

Recherche d’une estimation f(x, y) de f(x,y) qui minimise, au sens
statistique, l’erreur quadratique moyenne


2
 2  E fˆ( x, y )  f ( x, y ) 


 réponse du filtre de Wiener obtenu sous ces conditions
H(u, v) 
H* (u, v). Sf (u, v)
2
Sf (u, v). H(u, v)  Sb (u, v)
Sf(u,v): densité spectrale de puissance de
l’image idéale
Sb(u,v): densité spectrale de puissance du
bruit
 G(u, v). H* (u, v). S (u, v) 
f

F
F
2
 S (u, v). H(u, v)  S (u, v) 
b
 f



2


G
(
u
,
v
).
H
(
u
,
v
)

1


f(x, y)  F


Sb (u, v)  
2
H(u, v).  H(u, v) 

S
(
u
,
v
)

f

 
f(x, y) 
1


F(u, v) 
1 
212
Restauration par filtrage de Wiener
• Remarque
 Si l’image n’est pas bruitée , Sb(u,v) = 0
f(x, y) 
F1  G(u, v). 
 H(u, v). 
 On retrouve la formule du filtrage inverse
213
Lissage de Wiener
s’il n’y a pas de distorsion, mais seulement du bruit H(u,v) = 1
Hr (u, v ) 
S f (u, v )
S f (u, v )  Sb (u, v )
Ssb (u, v ) 
S f (u, v )
Sb (u, v )
S sb (u, v )
Hr (u, v ) 

S f (u, v )
S sb (u, v )  1
1
Sb (u, v )
S f (u, v )
Sb (u, v )
rapport signal/ bruit
 lorsque Ssb(u,v) est grand, H’(u,v)  1
 lorsque Ssb(u,v) 1, H’(u,v)  Ssb(u,v)
214
Techniques de « Inpainting »
Rappel restauration
g = f*h + b
g = image observée
f = image d’origine
h = dégradation, ici opérateur de masquage
-> l’information est perdue sur un domaine D
b = bruit
Problème mal posé, une infinité de solution
215
inf J (u)  inf
U
U

W
(u( x)  f ( x)) 2 dW  l  Y( u( x) )dW
Terme d’attache aux données
W
Terme de régularisation
 0 si x  D
u ( x)  
u ( x) si x  D


On cherche u tel que Ru soit proche de f
Avec un terme de régularité (l>0)
Y( u )
u
 2 * f  2 * u  ldiv (
u )
t
u
216
217
218
219
220
221

Download Report