Télécharger (format PDF)

Evaluer des capacités de
raisonnement et/ou évaluer un
potentiel ?
Colloque CERFOP, Paris , 21 mai 2014
Philippe CHARTIER
INETOP/CNAM
[email protected]
1
Maître de conférences en psychologie à
l’INETOP/CNAM/PARIS
Responsable du groupe GEP (Groupe sur
l’Evaluation des Personnes)
Contact : [email protected]
2
Plan
Introduction
I. L’approche de l’évaluation
dynamique
II. L’approche de l’analyse des erreurs
3
Chartier, P., Barbot, H. et Ozenne, R. (2014). L’analyse des erreurs
dans les tests de raisonnement logique : principes et illustrations.
L'Orientation Scolaire et Professionnelle, 43, 1 (à paraître)
Chartier, P. et Barbot, H. (2013). Mesurer un niveau de performance
et/ou évaluer un potentiel ? Exemple d’interprétation des résultats aux
matrices de Raven, Approche Neurologique des Apprentissages chez
l’Enfant, 122, 72-79.
Chartier, P. et Lallemand, N. (2013). Comment dépasser le constat
d’un niveau de performance à un test de raisonnement ? Exemple
d’une épreuve. Pratiques Psychologiques, 19, 55-65.
Chartier, P. (2012). Les tests RCC. Paris : Eurotests éditions
4
Chartier, P. & Loarer, E. (2008). Evaluer
l’intelligence logique. Paris : DUNOD. Chapitre 7 :
l’évaluation dynamique
Huteau, M. & Lautrey, J. (1999). Evaluer
l'intelligence. Paris : PUF. Chapitre IX « de
l’évaluation statique à l’évaluation dynamique ».
Guthke, J. (1990). Les tests d’apprentissage
comme alternative ou complément aux tests
d’intelligence : un bilan de leur évolution.
European Journal of Psychology of Education, V,
2, 117-133. + nombreux articles en allemand
Hessels & Hessels-Schlatter, (2010) Evaluation
et intervention auprès d’élèves en difficulté. Peter
Lang
5
Büchel, F-P., Ed (1995). L’éducation
cognitive. Le développement de la capacité
d’apprentissage et son évaluation.
Lausanne : Delachaux et Niestlé.
6
INTRODUCTION
Evaluer un état/évaluer un potentiel
Evaluer une performance / évaluer une
compétence (Chomsky)
Evaluer des capacités latentes ?
2 pistes :
1° le courant de l’évaluation dynamique
2° l’analyse des erreurs
7
I. L’approche de l’évaluation
dynamique
1° Evaluation statique /Évaluation dynamique
2° Evaluation d’un Potentiel d’Apprentissage (P.A) / =
évaluation d’un changement
Tests d’apprentissage…
3° La question de la standardisation de la
passation…
4° Une autre position pour le psychologue :
évaluation et formation…
8
5° mais des limites…théoriques et méthodologiques
La notion de test d’apprentissage
« Les tests d’apprentissage sont des
procédés diagnostiques qui offrent au
sujet une situation d’apprentissage
standard et qui retiennent comme
information diagnostique la réussite
que tire le sujet de cette possibilité
d’apprentissage »
(Flammer & Schmid, Tests
d’apprentissage, p.181, In Büchel (1995)
9
« Compte tenu de leur diversité, le
commun dénominateur des
évaluations dites dynamiques
réside dans la production d’un
écart entre l’efficience observée
dans les conditions standards
habituelles et l’efficience obtenue
avec l’aide de l’examinateur. …
10
…Cet écart signalerait des capacités
dites potentielles dans la mesure où
leur expression dépend des conditions
d’évaluation. Toute évaluation
dynamique se propose donc de réduire
la distance entre les performances et
les compétences en aidant le sujet à
exprimer « au mieux » ses capacités
cognitives. »
(Paour, J-L., Jaume, J., et de Robillard, O.,
11
1995, p.66).
«Toutes les approches ont en commun
le fait qu’un entraînement ou des aides
sont introduits dans le test. Les
approches diffèrent cependant quand à
la nature et à l’étendue des aides
fournies, allant du simple feed-back
après une réponse, à un enseignement
explicite des règles et stratégies
nécessaires pour résoudre les tâches »
(Hessels, 2010, p.11)
12
I. L’évaluation d’un potentiel
d’apprentissage : les précurseurs
1. VYGOTSKY (1896-1934) :
La notion de ZPD : la Zone Proximale de Développement
(Z.P.D)
ou Zone de Proche Développement Ou Zone de développement potentiel :
exprime mieux l’idée d’un possible développement…
« La différence entre le niveau de résolution de
problèmes sous la direction et avec l’aide d’adultes et
celui atteint seul définit la zone proximale du
développement.»
« Ce que l’enfant est en mesure de faire aujourd’hui à
l’aide des adultes, il pourra l’accomplir seul demain »
=>pronostic d’une marge de développement possible, de
développement potentiel
Vygotsky,1985, p. 108 In Schneuwly et Bronckart (1985), Vygotsky
aujourd’hui. Delachaux et Niestlé
13
« Deux enfants ont le même âge mental de
7 ans ; cependant l’un des 2 résout avec
un minimum d’aide des tâches pour des
enfants de 9 ans, alors que l’autre ne
réussit que des tâches adaptées à des
enfants de 7 ans et demi.
Le développement mental de ces 2 enfants
est-il le même ? Du point de vue de leur
capacité autonome, oui ; mais du point de
vue de leur capacité potentielle de
développement, ils sont très différents.»
Vygotsky,1985, p. 108
14
« La ZPD a une signification plus
directe pour la dynamique du
développement intellectuel et la
réussite de l’apprentissage que le
niveau présent de leur
développement »
(Vygotski, cité par Chartier & Loarer, 2008,
p.334).
15
• 2 aspects :
1° Estimation de la ZPD à partir de 2 scores
2° Existence de différences interindividuelles
au niveau de la ZPD
• 1 remarque :
Notion de ZPD développée par Vygotsky à propos d’enfants…notion reprise et
appliquée pour les adultes…
Quelles conceptions de l’intelligence de l’adulte ? Existe-t-il aussi des
capacités de développement chez l’adulte ? Et chez tous les adultes ???...
=> Lien étroit avec l’approche de l’éducabilité cognitive…
16
Les précurseurs (suite)
2. André REY
Les propositions de Rey (1934), D’un procédé pour évaluer
l’éducabilité, Archives de Psychologie, 24, 297-337
« On a collectionné, jugé et évalué les
réponses fournies aux questions les
plus diverses, les solutions données
pour les problèmes les plus variés.
Grâce à un étalonnage de ces
épreuves, on s’est donné la
possibilité de comparer les sujets
entre eux et d’assigner un rang à
leurs aptitudes ou au niveau de leur
développement…
17
…En agissant de la sorte, ne met-on pas sur
le même plan des individus qui, en réalité,
ne sont pas comparables ? En effet, chez
les uns, les possibilités d’adaptation se sont
actualisées au maximum, chez d’autres, des
marges plus ou moins étendues subsistent
encore »
(Rey, 1934, p.299)
18
REY : Proposition d’épreuve
d’apprentissage : « Pratiquement, ces
épreuves revêtent des formes
d’apprentissage. On retient la manière
et la rapidité avec laquelle un individu
s’adapte à une tâche déterminée et on
compare entre sujets, les caractères de
l’éducabilité » (Rey, p.300).
19
(Guthke, 1990, p.118) Intérêt de la démarche pour
:
1° passer d’un constat ponctuel d’un savoir-faire à
l’évaluation d’un potentiel, à un diagnostique de
compétence …
2° proposer des situations d’évaluation qui
permettent d’apprendre au moyen de ses erreurs,
type d’apprentissage courant dans la vie
quotidienne…
3° apprécier plus équitablement les potentialités
des personnes dites « défavorisées » ou vivant
dans des conditions de carence culturelle
extrême..
20
Comment faire ?
« La situation de test d’apprentissage a été
réalisée :
soit par simple répétition d’un test
d’intelligence,
soit par création d’une situation
expérimentale avec pré-test, intervention
et post-test,
soit par une phase d’enseignement avant la
présentation d’un test,
soit enfin par des aides fournies pendant la
phase de test »
21
Exemple de démarche A-T sur
l’épreuve des cubes
Planche A
Planche B (aide 1)
Modèle à l’échelle
1
Planche C (aide 2)
Modèle avec
limites des
cubes visibles
22
A-T :
- principe des aides graduées…
- qui reposent sur une analyse théorique
des difficultés des items
- si possible standardisées…mais des
approches différentes (ex LPAD…)
23
Exemple de démarche T-A-R
Test/Apprentissage/Retest
Phase 1 : passation classique d’un test (type
facteur g : le plus souvent les matrices de
Raven…)
Phase 2 : une phase d’apprentissage, avec
des exercices, des supports…travail sur les
stratégies de résolution, les pièges, les
erreurs…(atelier d’une heure par exemple ;
2 x 45 minutes pour Guthke)
Phase 3 : retest classique soit la même
24
épreuve, soit une forme parallèle
Quels indicateurs du P.A ?
T.A.R et Test/retest: différence pré/post
(score de gain, analyse possible de la
progression dans les erreurs…)
A.T : capacité à tirer profit des aides /
nombre d’aide ayant donné lieu à une
réussite ? À un échec ?...réussite des
tâches de « transfert »…
Exemple : calcul d’un rapport Nb d’aides données/nb d’aides
efficaces…
25
V. Les limites de l’évaluation dynamique
3 types de limites :
1° des limites pratiques : temps de
passation, matériel disponible, références
disponibles (ex : étalonnages de retests..)
2° des limites méthodologiques (problème
de la fidélité des scores de gain)
3° des limites théoriques : validité de ce qui
est évalué ? Interprétation et
généralisation des résultats ?
26
Autres limites :
- Quelle prise en compte des différences
individuelles dans les aides ? (ex :
stratégies aux cubes…adapter l’aide aux
stratégies des sujets ?)
- La « résistance » au changement dans les
pratiques évaluatives…
27
Une recherche INETOP 2012/14
3 TER de Bonhoure, Grathwohl et Legendre Emilie
(promotion 2012/14 )
Méthodologie : test /retest RCC en classe
de 5ème SEGPA
Pas de phase d’apprentissage…
Participants :
• Effectif de départ : 119 élèves
• Effectif exploitable : 76 élèves (absence au retest,
protocole peu fiable, gain < -1 point…)
52 garçons, 24 filles; Age moyen = 14 ans 3 mois
28
Présentation du test RCC
1 épreuve de raisonnement logique de type
facteur g (Chartier, 2012)
Trouver la carte (famille et valeur) qui vient
compléter une suite proposée.
RCC forme b : 40 items, temps limité à 20
minutes. Scores RCC possibles : de 0 à 40
(1pt par B.R)
• Plusieurs indicateurs possibles : score
total, sous scores, vitesse, précision,
indicateurs de la qualité des erreurs…
29
Les items du RCC :
exemple d’item Numérique N
30
Méthodologie
Test 1 : score RCC1
Test 2 (J +1 ou J+2) : score RCC2
Analyse des gains entre temps 1 et temps 2
= indicateur d’un Potentiel d’apprentissage
Quel est le meilleur indicateur des capacités
de raisonnement de l’élève : RCC1 ou RCC
2?
31
Hypothèses principales ?
Effet test/retest ?
Effet test/retest identique chez tous les
participants ?
Analyse qualitative des gains (quelle
transformation des réponses ? Hyp sur les
BRP)
Lien entre PA et avis des enseignants
(questionnaire) ?
32
Les effets test/retest ?
moyenne E Type
mini
maxi
RCC1
14
7,3
0
28
RCC2
18
7
1
36
Gain
4,03
4,05
-1
+15
Tableau 1 : valeurs descriptives des variables RCC1, RCC2 et gain
33
Effet test/retest identique chez tous
les participants ?
Score effectif
RCC1
Sores
RCC2
Gain
moyen
Gain
Détails des
mini/maxi gains
individuels
3 à 12
3/4/7/8/8/12/12
10
7
13 à 22
5,4
11
4
12 à 15
2,5
1à4
1/2/3/4
16
6
16 à 25
3,8
0à9
0/1/4/4/5/9
18
4
18 à 25
2,5
0à7
0/0/3/7
20
4
19 à 23
0,7
-1 à +3
-1/-1/2/3
23
6
22 à 29
1
-1 à +6
-1/-1/0/0/2/6
25
4
24 à 29
1,2
-1 à +4
-1/1/1/4
34
effectif
Groupe 1
(RCC1<10)
Groupe 2
(RC1 >10)
26
50
Gain
moyen
+ 6,1
+3
Tableau 3 : comparaison du gain moyen sur deux groupes contrastés
35
Analyse qualitative des gains
(quelle transformation des réponses ? Hyp sur les BRP ?)
Pattern
possible
RCC1 => RCC2
1 => 1
% observé
/réponse en
RCC1
81
Nature de l’évolution RCC1 =>
RCC2
Conservation réussite
0 => 0
48
Conservation erreur
0,5 => 0,5
52
Conservation BRP
0 => 1
23
Erreur transformée en BR
0,5 => 1
30
BRP transformée en BR
0 => 0,5
29
Erreur transformée en BRP 0,5
0,5 => 0
18
Régression BRP vers erreur
1 => 0,5
14
Régression BR vers BRP 0,5
1 => 0
4
Régression BR vers erreur 0
Tableau 4 : analyse de l’évolution des pattern de réponse
36
Lien entre PA et avis des
enseignants ?
1 questionnaire enseignant sur les capacités
de l’élève a progresser
=> Corrélations ?
Significatives mais pas dans le sens attendu
???
37
Conclusion des études TER
1° Difficulté à faire comprendre la nécessité
de passer 2 fois la même épreuve…
passations parfois difficiles et certains
protocoles peu fiables
2° Des différences inter élèves importantes
sur le score de gain
3° Utilité d’avoir 2 scores pour caractériser
les capacités de l’élève…mais problème de
l’absence de références pour pouvoir situer
les gains observés… principe de l’étalonnage
38
4° avis des COPS concernés ?
Réflexions
Situation P.A particulière => quelle
généralisation sur d’autres situations ?
Et sur des situations d’apprentissage
scolaire & en groupe ?
Sur le retour à un milieu « sous stimulant » ?
39
Conclusion sur l’approche
dynamique
« D’après les auteurs travaillant sur ce thème, l’avantage
des tests dynamiques sur les épreuves classiques serait
double. Ils fourniraient d’une part un meilleur diagnostic de
la capacité d’apprentissage des personnes évaluées et,
d’autre part, limiteraient le poids des variables culturelles
dans l’évaluation réalisée » (Loarer, 2001, p.69-70).
« C’est donc surtout lorsqu’ils sont face à une
performance de bas niveau dans les tests conventionnels
que les praticiens peuvent avoir avantage à recourir à
l’évaluation dynamique pour lever une ambiguïté sur
l’origine de cette mauvaise performance et guider la
remédiation » (Huteau et Lautrey, 1999, p.272).
40
« Avec le recours à la ZPD, le sens d’une
évaluation psychologique change
radicalement : il ne s’agit plus de fournir un
chiffre nu, un chiffre brut, unique, ou
d’opérer un « bilan » (…). Le psychologue
se fixe plutôt pour tâche de dessiner de
vastes zones à l’intérieur desquelles le sujet
peut se mouvoir plus ou moins librement,
seul ou accompagné, avec un bonheur
variable et des chances inégales de réussite
selon les modalités de l’étayage ». Meljac,
2005, p.31, Le journal des psychologues
41
n°230
II. L’approche de l’analyse des
erreurs pour estimer un potentiel
Des recherches en pédagogie, en
didactique…mais pas de recherche en
psychométrie…
 C’est une source d’information
habituellement négligée dans les tests de
type aptitudes intellectuelles & Q.I.
42
Principe général de l’analyse
des erreurs dans les tests
Une réponse différente de la BR = 0
Catégorisation 0/1…=> 0 = 0 ???
Mais :
1° finesse possible de la cotation 0/1/2 dans
certains subtests du WISC…
2° Il peut exister des différences de
« qualité » entre des réponses « fausses »
différentes, de proximité avec la BR…
=> 0 # 0 !!!
43
Démarche ?
Etape 1 : Identifier différentes qualités de
réponse « fausses »
Etape 2 : Possibilité de calculer des
indicateurs spécifiques ? => l’exemple du
test RCC et des BRP : ½ point…
44
L’analyse des erreurs au test
RCC
• La bonne réponse = les 2 éléments
corrects (famille et valeur) idem autres tests : D70…
• 1 seul élément correct = 0
• 0 élément correct = 0
Approche => 0 = 0 ???
= Distinguer différents types d’erreurs, plus
ou moins proches de la bonne réponse
attendue.
45
Principes de l’analyse des
erreurs au RCC
Bonne réponse ici ? 7 pique
Toute autre réponse = erreur = 0
Mais 0 = 0 ?
Certaines réponses erronées sont + proches
de la BR…
exemples :
-7 trèfle (Valeur correcte mais famille fausse)
- Une autre carte de Pique ? Ex 6 Pique
(Famille correcte, mais valeur fausse ..erreur
de calcul ?...)
Ces 2 types de réponse valent-elles
réellement 0 ?
Apportent-elles des informations sur la
logique de raisonnement du sujet ?...
Pourquoi alors ne pas les prendre en compte
???…
46
• Possibilités d’analyse des erreurs:
1° Approche descriptive :
Au niveau des items : les types d’erreurs les +
fréquentes…
Au niveau des sujets : Identifier les différentes
erreurs…repérer un style préférentiel ?...
2° Autre approche = différencier des qualités de
réponse…et estimer un potentiel
Notion de Bonne Réponse Partielle BRP
47
Etape 2 : Le score R.P Réussite Partielle
• Principe général = accorder une partie du
point dans le cas d’une BR partielle.
½ point
Score RP = somme des ½ points
48
proportion minimum maximum
T1
82%
50%
100%
T2 : BRP valeur 6%
0
27%
T2 : BRP famille 12%
0
40%
Tableau 6
Répartition des réponses fausses au RCC
49
Résultats descriptifs des scores
moyenne
E Type
mini
maxi
RCC
18,6
6,6
1
33
RP
3,6
2,5
1
14,5
RCC
Potentiel
22,2
6,3
6,5
36,5
50
Variabilité des scores RP et RCC Potentiel pour
les scores RCC les plus fréquents
51
Variabilité des scores RCC pour les
scores RCC Potentiel les plus fréquents
52
Que représente ce score Potentiel ?
Que représentent des différences de scores Potentiel pour un
même score ?
• Des hypothèses :
• Un potentiel de développement, une marge de
progression
• Des capacités latentes qui ne sont pas prises en
compte par le score classique => une évaluation
plus proche de la notion de compétences / score
classique qui est une évaluation d’une
performance
• Lien avec la ZPD de Vygotsky
• Lien avec les objectifs de l’évaluation
dynamique
53
Test RCC :
• 1 étalonnage pour le score RCC
• 1 étalonnage pour le score RCC Potentiel
=> Comparaison possible des gains RP…
54
A suivre….
Merci de votre attention !!!
[email protected]
55
L’analyse des erreurs au
subtest Matrice du WISC
TER DECOP : Destrebecq, A., 2012,
Analyse des profils de réponses et des
erreurs pour un test de raisonnement : les
matrices du WISC IV. Mémoire de DECOP.
Paris : INETOP
Application au subtest Matrice de l’approche
Chartier/Barbot développée pour les
matrices de Raven
56
Etape 1 : catégorisation des distracteurs
Type ditracteur
Description
T1.
Réponse Le distracteur est identique à un élément de la matrice
identique
qui n’est pas la bonne réponse. Aucune élaboration de
la bonne réponse.
T2.
Réponse Le distracteur comprend toutes les règles de
partielle
transformation nécessaires à la résolution de l’item, sauf
une (à condition que cette réponse ne figure pas déjà
dans la matrice : dans ce cas type 1) => une élaboration
partielle de la bonne réponse
T3.
Réponse Le distracteur est une réponse perceptivement proche
perceptivement
de la bonne réponse mais avec un élément différent ou
proche
une (légère) erreur d’orientation => une élaboration
partielle de la bonne réponse ?
T4.
Réponse Plusieurs règles ne sont pas présentes dans ce
éloignée
distracteur ou réponse perceptivement éloignée.
T5.
Réponse Le distracteur n’a aucun lien avec la bonne réponse.
aberrante
Aucune élaboration de la bonne réponse.
57
Type de distracteur
Description
T1. Réponse identique
Le distracteur est identique à un élément de la matrice qui n’est pas la bonne
réponse. Aucune élaboration de la bonne réponse .
T2. Réponse partielle
Le distracteur comprend toutes les règles de transformation nécessaires à la
résolution de l’item, sauf une (à condition que cette réponse ne figure pas déjà
dans la matrice, dans ce cas type 1). Notion de Bonne Réponse Partielle BRP =
une élaboration partielle de la bonne réponse.
T3.
Réponse Le distracteur est une réponse perceptivement proche de la bonne réponse mais
perceptivement proche
avec un élément différent ou une (légère) erreur d’orientation => une élaboration
partielle de la bonne réponse ? (à rapprocher de la notion de BRP).
T4. Réponse éloignée
Plusieurs règles ne sont pas présentes dans ce distracteur ou réponse
perceptivement éloignée.
T5. Réponse aberrante
Le distracteur n’a aucun lien avec la bonne réponse. Aucune élaboration de la
bonne réponse.
58
Exemple d’erreur de type 2 : item 16
59
Exemple d’erreur de type 2 : item 18
60
Exemple d’erreur de type 3 : item 22
61
Exemple d’erreur de type 3 : item 28
62
Catégorisation de l’ensemble des
distracteurs du subtest => élaboration d’une
grille
63
ITEM
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
Total
Pourcentage
Bonne réponse
2
3
4
1
5
2
4
4
1
3
2
5
4
1
1
2
5
4
2
4
3
3
5
4
3
1
2
1
2
2
5
4
3
1
5
T1
T2
T3
T4
1
2
2
1
1
1;2
4
3;4;5
3
5
3
5
1
1;3;4
3;5;2
2;3;4
2;5;4
3
1
3
2; 5
4;5
4
3;4;5
1
5
4
2
5
4
3
1
2
1;5
5
2;3
1
4
2;3
1
4
1
4
1
1;2
4
2
3
1;5
1;3
4;1
3;5
4;5
5
3;4
4;5
2
2;1
2
34
24,3 %
3
2
1;2
2
2;4
2;3;5
1;5
T5
1;3;4;5
1;2;4;5
2;3;5
3;4;5
1;3
3
21
15 %
13
9,3 %
26
18,6 %
3
5
5
1;3;5
2
1;2;3?
5
4;5
4
3
3;4
2
1
3;4;5
1;2;4
46
32,8 %
64
ITEM
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
BR
3
3
5
4
3
1
2
1
2
2
5
4
3
1
5
T1
T2
2;4
T3
1;5
5
T4
4
1
4
1
2;3
1;2
2;3;5
1;5
4
2
3
1;5
1;3
4;1
3;5
4;5
2
3
5
3;4
4;5
2
2;1
T5
2
1;2;3
?
5
4;5
4
3
3;4
2
1
3;4;5
1;2;4
65
Distribution des types de
distracteurs sur subtest
Matrices
ITEM
T1
Total
34
Pourc
entag
e
24,3 %
T2
T3
T4
T5
21
13
26
46
15 %
9,3 % 18,6 % 32,8 %
66
Calcul de scores
• Décision : T2 et T3 = BRP = 0,5 points
Le score RP
 le score Matrice Potentiel
67
TER 2013 Angèle Destrebecq
• 85 protocoles WISC
• Scores bruts Matrices de 19 à 24,
m = 21,4, ET = 1,7
• Objectif = pouvoir comparer des élèves de
niveau équivalents => sélection de scores
proches
• Score BRP = nb de BRP
• Score RP = Nb BRP x 0,5
68
Erreur T2
type
T1
T3
T4
T5
Nombre
d’erreur
complète
T1+T4+T5
Nb de
BRP
T2+T3
Moyen 1,4
ne
E type 1,4
1,6 1,2 0,7
2,3 4,4
2,9
1,1 1,2 0,8
1,8 2,46
1,73
Mini/m 0-6
axi
0-4 0-5 0-3
0-9 0-11
0-9
Tableau 4 : répartition des erreurs sur l’ensemble du groupe
69
Sco N
re
Moyen
ne
BRP
Effectifs pour chaque score BRP
0
1
2
3
4
5
6
9
19
15 2,7
2
0
3
6
3
1
0
0
22
14 2,5
1
4
5
0
1
1
2
0
24
13 3,5
0
2
2
5
1
1
1
1
Tableau 5 : Distribution du scores BRP pour quelques scores bruts Matrice identiques (effectif les plus fréquent en gras)
70
Scores
mini
maxi
Matrice
Moyenn E Type
e
21,4
1,7
19
24
RP
1,4
0,86
0
4,5
2
19
28,5
Matrice 22,8
Potentiel
Tableau 6 : Scores RP, Matrice et Matrice Potentiel
71
Scor N
e
Mat
19
20
21
22
23
24
Mat Pot
effectifs des gains RP
moyenne 0
+ 0,5 + 1 +1,5 +2
(mini/max
i)
15 20,4
(19/21,5)
17 21,1
(20/22,5)
15 22,8
(21/24)
14 23,1
(22/25)
11 24,6
(23/26)
13 25,7
(24,5/28,5
Total
+2,5 +3
+3,5
2
0
3
6
3
1
0
0
2
3
2
7
2
1
0
0
1
1
3
4
3
1
2
0
1
4
5
0
1
1
2
0
1
2
1
2
2
3
0
0
0
2
2
5
1
1
1
1
7
12
16
24
12
8
5
1
72
Que représente ce score Potentiel ?
Que représentent des différences de scores Potentiel pour un
même score Matrice ?
• Des hypothèses :
• Un potentiel de développement, une marge de
progression
• Des capacités latentes qui ne sont pas prises en
compte par le score classique => une évaluation
plus proche de la notion de compétences / score
classique qui est une évaluation d’une
performance
• Lien avec la ZPD de Vygotsky
• Lien avec les objectifs de l’évaluation
dynamique
73
Expé 2 matrices (K.Terriot et
P.Chartier) en cours
• 72 protocoles WISC venant des CIO (suite
à la circulaire d’expérimentation de
l’OPPIO)
•
• Scores bruts Matrices de 7 à 32 (m = 19,9)
74
Scores
mini
maxi
Matrice
Moyenn E Type
e
19,9
1,7
7
32
RP
1,14
0,75
0
3
5,6
7
32
Matrice 21
Potentiel
75
Score
Mat
N
Mat Pot
effectifs des gains RP
moyenne
0 + 0,5 + 1 +1,5 +2
(mini/maxi)
20
8
(20/22)
1
2
4
0
21
9
(21,5/24)
0
3
3
22
7
(22/24,5)
1
2
23
13 (23/25)
1
3
Total
+2,5
+3
1
0
0
1
1
0
1
1
2
0
1
0
1
2
7
2
0
0
8
10
10
4
1
1
76
Tableau 12 : Analyse des scores Matrice Potentiel à score Matrice identique
Un autre indicateur possible : le
score DIR
Dernier Item Réussi
Ecart DIR = score DIR – score Matrices
moyenne
E Type
Mini/maxi
Matrice
19,9
5,32
7/32
DIR
22,7
5,96
9/33
Ecart DIR
2,93
2,13
0/10
77
Ecart 0
DIR
1
2
3
4
5
6
7
8
10
effect 6
if
14
13
15
11
4
3
1
3
1
4,2
1,4 4,2 1,4
%
8,3 19,4 18,1 20,8 15,3 5,6
%
78
Scores Effe Score DIR
Matrices ctif
21 22 23 24
25 26 27 28 29 30
18
3
2
0
0
0
0
0
0
1
0
0
21
9
0
3
1
2
1
1
1
0
0
0
22
7
0
3
2
0
0
1
0
0
1
23
13
1
1
2
3
4
0
1
1
79
Que représente ce score DIR ?
• Lien avec la hiérarchisation (théorique) du
niveau de difficulté des items
• Recherches à poursuivre…
80
Au final, en appliquant les 2 approches
(BRP et score DIR), le psychologue dispose
de 3 scores pour caractériser la
performance de l’élève :
Score Matrice
Score Matrice Potentiel
Score DIR
Quels types de liaison peut-on attendre
entre ces 3 scores ?
• Entre scores Matrices, matrices Pot et
DIR ?
81
• Entre variables BRP et écart DIR ?
Corrélations entre les scores
Mat
Pot
T2
T3
RP
Ecart
DIR
Matrices .99
.23
.28*
.35**
.20
Matrices
Pot
.32**
.35**
.46**
.25*
Ecart
DIR
.512 **
.188
.506**
82
Les perspectives
Compte tenu des limites actuelles les
tests de type P.A, ainsi que les
indicateurs et scores issus de l’analyse
des erreurs, ne peuvent pas (pas
encore ?) être une alternative aux
évaluations classiques mais seulement
être complémentaires aux scores et
indicateurs traditionnels…
mais recherches à poursuivre... et
l’élaboration de normes & étalonnage…
83
• « Ils devraient davantage être utilisés pour
dévoiler des potentiels d’apprentissage
caractéristiques de l’individu, les stratégies
utilisées, les sources d’erreurs, etc. afin de
pouvoir mieux qu’avec les tests
d’intelligence obtenir des directions pour
l’enseignement ou le choix de mesures de
soutien » (Guthke, 1990, p.125)
84
Pratiques du COP ?
• Quelles utilisations possibles de ces
approches ?
• Sur quel types d’élèves ?
• Dans quelle(s) type(s) de situation ?
85
D’où :
1° la nécessité de construire des tests
spécifiques (/ aux pratiques actuelles qui
adaptent des tests existants),
2° constitués d’items, et de choix de
réponse, fondés sur des bases théoriques
permettant une analyse des erreurs
3° et reliés alors à des aides spécifiques et
individualisés => Vers une évaluation de
type diagnostique
4° établir des liens avec des situations
86
d’apprentissage scolaire…
Illustrations : quelques pratiques
possibles
Difficulté de passer des recherches aux pratiques…et à la
diffusion (et l’édition) des dispositifs d’évaluation…
Plusieurs pistes :
1° Utiliser des épreuves éditées (TEDE 6)
2° Adapter une démarche (épreuve des cubes)
3° Hessels : TAPA et HART
4° évaluer un potentiel par l’analyse des stratégies
5°Autre approche : Partir de l’analyse des erreurs
pour estimer un potentiel (RAVEN, RCC)
87
1°Utiliser des épreuves éditées :
le TEDE 6 (EAP , ECPA ?)
• Objectifs de l’épreuve (manuel, p.11) :
« le TEDE 6 a pour objectif principal l’évaluation
du potentiel d’apprentissage de l’adulte, du
candidat apprenti et de l’apprenti. Ce potentiel
est établi dans le cadre d’une évaluation
dynamique qui introduit dans la procédure de
passation de l’épreuve une phase
d’apprentissage. On peut, par ce procédé, se
centrer sur la performance, mais aussi sur la
compétence d’apprentissage par observation de
la réactivité et de la modifiabilité des conduites
du sujet face aux aides apportées »
Daniel Pasquier : www.avenirentreprise.tk
88
« En quelque sorte, l’évaluation dynamique
fonctionne à la manière d’une
microformation : on place le sujet en
situation d’apprentissage, dans le cadre
quasi expérimental d’un micro monde, on
observe son mode de fonctionnement
dans cette situation, puis on évalue sa
performance en situation d’autonomie,
c’est à dire son potentiel
d’apprentissage ».
89
Le test TEDE6
Figure*. Exemple
d’item du test de calcul
des longueurs de
Faverge (1955) et dont
s’inspire le TEDE
90
« la tâche du TEDE6, de nature
spatiale et logico-mathématique,
est double. D’une part, il s’agit de
composer une égalité à partir de
segments de droite et, d’autre
part, de tracer des flèches figurant
les superpositions de segments
justifiant cette égalité » In
document EAP, présentation du
TEDE6.
Le TEDE comprend trois
niveaux de difficulté des items
selon la complexité des
opérations à effectuer
Extrait de Chartier & Loarer
(2008)
91
92
« Le potentiel d’apprentissage (PA) se concrétise dans
un niveau de performance post apprentissage. In
fine, la variable PA évalue la capacité de transférer un
apprentissage médiatisé, c’est à dire la capacité de
refaire seul ce qu’on vient d’apprendre à réaliser en
situation pédagogique. On se place ainsi dans un cadre
analogue au cadre des apprentissages professionnels,
qu’ils soient menés en centre de formation, ou en
entreprise » (manuel TEDE 6, p.16).
• 2 phases :
Phase d’apprentissage (60 minutes) : livret apprentissage
(18 items), correction avec repérage des erreurs…
Phase test : livret test (18 items forme //, en temps limité de
45 min), correction
93
• Résultats :
1 score total = score à la phase test (m=100,
écart-type =15) = expression du PA
3 profils :
- fonctionnel (en relation avec les spécificités de
la tâche) ;
- Apprentissage (repérage des erreurs, de la
correction… );
- Transfert (analyse des transferts entre items
d’apprentissage et items de test);
94
Conclusion sur le TEDE 6
1° Contenu spécifique (facteur S,
géométrie…) qui limite sans doute la
généralisation des observables
2° Absence de score pré test
3° Possibilités d’analyse fine des
performances des sujets
4° le seul test édité !
95
2° Adapter une démarche
(épreuve des cubes 1)
• Procédure « Ionescu » (Chartier & Loarer,
2008)
Aides standardisées au cours du test
Principes des aides graduées : 3 niveaux
d’aide progressive
96
Principes de la passation
97
Planche A
Planche B (aide 1)
Planche C (aide 2)
98
Les indicateurs
Chartier et Loarer (1994) introduisent une variante en proposant 2
nouveaux scores par rapport à Ionescu et al. (1987) pour limiter le
problème concernant la liaison négative observée habituellement
entre le score de réussite spontanée et le nombre d'aides ou de
transferts réussis. Il s’agit de deux rapports :
-
le rapport (appelé RA, « rapport d’aide ») donné par l'opération :
nombre de réussites consécutives à une aide/ nombre d’aides
fournies, qui désigne la capacité du sujet à tirer parti des aides qui
lui sont fournies,
- le rapport (appelé RT « rapport de transfert ») donné par l'opération :
nombre de transferts réussis / nombre d’occasions de transférer, qui
désigne la capacité du sujet à généraliser le principe de réussite
appris au cours de l’aide.
99
2° Adapter une démarche
(épreuve des cubes 2)
Le test des carrés (Mary et Mariel, 1985 ?, EAP,
n’est plus édité).
(modèle en 2D : cubes => …des carrés)
Adapté aux enfants de 4 à 6 ans.
Procédure Test- aide –retest
« On ne se contente plus d’évaluer un niveau
obtenu par l’enfant, on essaie en outre d’agir sur
ce dernier, de le modifier »
21 items (type Kohs)
1 carnet test, 1 carnet apprentissage (mêmes
figures mais couleurs différentes)
100
Phase test (passation classique) : arrêt
après 3 échecs consécutifs + limites de
temps (score 1)
Phase aide/retest : reprendre les items
échoués avec le carnet apprentissage.
Aide verbale, puis démonstrations si
nécessaires. Puis reprise de l’item échoué
avec le carnet test (transfert). (Score 2)
INDICATEURS : 2 scores => 1 étalonnage
test (score 1) / 1 étalonnage retest (score 1
+ 2)
101
« Le test des carrés est essentiellement un
test d’éducabilité. Aussi, au retest, après
explication, l’important n’est-il pas
tellement le score obtenu, mais plutôt
l’observation de l’enfant dans sa
démarche, ses tentatives pour surmonter
la difficulté. Parfois une intervention de
l’examinateur permet une sorte de déclic
qui ouvre brusquement la porte à la
réussite »
102
« Comme dans les techniques de PIAGET,
le sujet peut parfois être poussé à
l’absurde pour voir comment il va réagir.
Une grande liberté est donc laissée à
l’examinateur ».
=> Remarque : problème alors de la
standardisation ?
103
Conclusion sur les épreuves
cubes
1° Absence d’épreuve éditée... mais des
démarches bien décrites dans la littérature
2° Fabrication assez facile du matériel…mais
nécessité d’avoir des références
(étalonnages…) pour estimer les scores de
gain…
3° Elaborer des aides adaptées aux stratégies de
sujets ? (cf : logiciel SAMUEL) aux styles
d’apprentissage ?
4° Projets possibles : test /retest (idem Test des
carrés) avec les modèles du subtest cubes du
WISC et de la WAIS…
104
3° Le TAPA : utilisation d’une
procédure dynamique sur une
population spécifique
Hessels & Hessels-Schlatter, (2010)
Evaluation et intervention auprès d’élèves
en difficulté. Peter Lang
Chapitre 3 : Une évaluation plus fiable de la
capacité d’apprentissage des personnes
présentant une déficience intellectuelle
modérée à sévère (DIMS). (p. 35-50)
105
DIMS : QI < 50-55 => quelles capacités
d’apprentissage ?
« Les possibilités d’apprentissage des personnes
avec DIMS sont beaucoup plus importantes
qu’on ne le pense généralement »(p.37)
« De plus, tout comme les autres, elles ne forment
pas un groupe homogène, mais se différencient
selon leur capacité d’apprentissage »
=> Nécessité de disposer d’une évaluation fiable
et fidèle, adaptée à cette population et à cet
objectif = élaboration du TAPA (Test
d’Apprentissage de la Pensée Analogique)
106
Le TAPA
(Test d’Apprentissage de la Pensée Analogique)
Objectif ? « distinguer les personnes
présentant une bonne capacité
d’apprentissage et qui sont susceptibles
de profiter d’une intervention cognitive ou
d’un enseignement académique poussé,
de celles dont la capacité d’apprentissage
est limitée » (p.40)
107
Dispositif TAPA ?
Le test est composé de matrices analogiques 2 X
2
3 étapes :
1) Phase de préapprentissage = s’assurer de la
compréhension de la tâche, apprendre les
bases de résolution…
2) Phase d’apprentissage durant laquelle
l’examiné reçoit des aides standardisées et
hiérarchiques
3) Phase de test : résolution des items de
manière indépendante (passation classique
d’une épreuve).
108
Indicateurs du TAPA ?
= le score obtenu en phase 3 (pas de mesure post
test…idem démarche TEDE 6)
Les auteurs présentent les résultats de différentes
recherches qui montrent que :
1° le TAPA permet de différencier plus précisément les
capacités des personnes dont le QI est, sur un test
classique, <60.
2° il permet de déceler les personnes dont le potentiel est
sous estimé, qui peuvent ensuite, au moins une partie,
développer leurs capacités à l’aide de programmes
adaptés (les méthodes de remédiation cognitive…)
109
3° la validité prédictive du TAPA ne se
limite pas à la capacité d’apprentissage
dans le domaine du raisonnement inductif,
mais s’étend à d’autres compétences…
4°…cependant si les conditions
d’enseignement ne changent pas il y a
peu de chances pour que le potentiel se
réalise vraiment…
110
HART : utilisation d’une procédure
dynamique sur une population non
spécifique
Hessels & Hessels-Schlatter, (2010)
Evaluation et intervention auprès d’élèves
en difficulté. Peter Lang
Chapitre 4 : test HART
Utilisable de l’âge de 5 ans à l’âge adulte.
Dispositif d’analogies figuratives (//
Raven…)
111
Une phase d’entraînement (durée de 20 à 30
minutes) dans laquelle les personnes
apprennent à décrire et à verbaliser les attributs
qui changent entre les figures (extraction des
règles…) et à analyser les alternatives de
réponse (les distracteurs). Discussion en
groupe…
Une phase de test.
« Le HART permet de mieux différencier la
capacité d’apprentissage des élèves dont le
score à un test d’intelligence traditionnel est
faible » (P.63)
112
Exemple 4 : évaluer un P.A par
l’analyse des stratégies
• voir document SAMUEL 2011
113
114
115
116
117
118
L’analyse des erreurs au
subtest matrices du WISC
DESTREBECQ Angèle (2012). Mémoire
DECOP
=> Principes
 Résultats
Etude en cours (2013) avec K.Terriot et CIO
dans le cadre de l’OPPIO
119
Les items du RCC :
exemple d’item Spatial S
120
Les items du RCC :
exemple d’item Numérique N
121
Etape 1 : vérifier s’il existe-t-il des
différences inter individuelles sur le taux
de BRP selon les sujets ? comparer à niveau de
performance comparable (même scores)
Etape 2 : Calculer un score de Réussite
Partielle qui vient compléter le score RCC
et qui exprime un « potentiel » de
progression…(distance plus faible entre
une BRP et la BR)
122
Une recherche en cours
• Mémoire DECOP 2012/13 de Bonhoure,
Legendre, Grathwohl
• Élèves de 5ème, en difficulté scolaire
• Méthodologie de type test/retest (sans
apprentissage organisé) avec le test RCC
123
• 2 indicateurs du PA :
- le score de gain entre test 1 et test 2
(démarche de l’évaluation dynamique)
- le score RCC Potentiel au test 1
(l’approche de l’analyse des erreurs)
=> Ces deux indicateurs expriment-ils une
même réalité ??? Analyse des
corrélations…
124
A suivre….
Merci de votre attention !!!
[email protected]
125

Download Report