Resultaten onderzoek(JC)-2-2

Intake, succesfactoren, presentie, vooropleiding,
studieresultaten en VSV
“Als je een schip wil bouwen,
zoek dan mensen
die van varen houden”
AFSLUITENDE RAPPORTAGE
Februari 2014, John Coenders
Inleiding (blz. 3)
1
Kenmerken Vroegtijdig SchoolVerlaters versus niet VSV (blz.3)
2
Samenvatting conclusies april 2013.
3
Parameters uit voorgaande onderzoeken gekoppeld aan nieuwe gegevens
(resultaten uit periode 4)
3.1
Intakescores en studieresultaten (blz. 5)
3.2.
Studieresultaten en persoonlijke eigenschappen (competenties) (blz.5)
3.3
Deskundigheid SLB’ers (blz.5)
4
VSV , cijfers vooropleiding, presentie, studieresultaten (blz.6)
4.1
Kenmerken VSV (blz.6)
4.2.
Cijfers vooropleiding en studieresultaten (blz.6)
4.3
presentie en studieresultaten (blz.6)
5
Oorzakelijk verband variabelen (inclusief nieuw ingevoerde gegevens) en
studieresultaten (blz.7)
6
Adviezen (blz.8)
7
Keuze van Klein – en Hoofdkeuzevakken. (blz.8)
8
Studieresultaten en toeleverende scholen. (blz.9)
9
Uitval en les- en leiding geven.
10
Afsluitende opmerkingen.
Februari 2014 John Coenders
2
Inleiding.
Deze rapportage is een vervolg op het rapport, geschreven in april 2013,
‘Intake, succesfactoren, en studieresultaten’.
In genoemd rapport zijn de studieresultaten uit periode 2 gebruikt en
gekoppeld aan succesfactoren en Intakegegevens.
Dit rapport koppelt eveneens Intakegegevens en succesfactoren aan
studieresultaten, maar nu aan de eindcijfers van hetzelfde cohort studenten
(Periode 4) in hun eerste studiejaar aan het CIOS in Haarlem.
Daarnaast worden parameters uit vorig onderzoek nu gekoppeld aan
gegevens over Voortijdig School Verlaten, aan presentiecijfers en aan
cijfers van de vooropleiding.
1
Kenmerken Vroegtijdig SchoolVerlaters versus niet VSV
Tabel 1: een vergelijking van Voortijdig Schoolverlaters VSV en niet Voortijdig Schoolverlaters
Niet VSV
N = 221
Totaal alle cijfers (theorie + praktijk + lesgeven,
gemiddelde
Totaal Theoriecijfers P4, gemiddelde
Cijfer TRKP4, gemiddeld
Cijfer Didactiek P4, gemiddeld
Cijfer OvE P4, gemiddeld
Cijfer PraktijkP4, gemiddeld
Cijfer lesgevenP4 gemiddeld
Niet VSV (184) (83,3%)
293 (N184)
VSV (37 / 16,7%)
161 (N 23)
170
48
58
63
61
61
99
26
32
41
46
15
Totaalscore intake, gemiddeld
Totaalscore praktijk, intake gemiddeld
39,90
26,96
39,12
28,88
Cijfer vooropleiding Nederlands, gemiddeld
Cijfer vooropleiding Wiskunde, gemiddeld
Cijfer vooropleiding Engels, gemiddeld
6,12 (N 125)
6,40 (N 119)
6,10 (N 120)
6,16 (N 16)
5,66 (N 13)
5,97 (N 15)
Vooropleiding
23 = 17% Kader
100 = 74,1 % TL/MAVO
12 = 7,8 % HAVO
6 = 31,6 % Kader
13 = 68,4 % TL/MAVO
0 = 0 % HAVO
Februari 2014 John Coenders
3
Geslacht (N = 212) 147 man (69,3%) / 65 vrouw
(30,7%)
119 = man(66,5 %)
28 = man (84,8 %)
60 = vrouw(33,5%)
5 = vrouw(15,2 %)
Van de mannen valt 19 % voortijdig uit en bij de
vrouwen 7,7%
Leeftijd
17,34 (N= 145)
17,26 (N= 19)
Zelfregulatie, gemiddeld, inschatting mentor
Reflectie
Leerbaarheid
Haalt niveau 4, mentor inschatting met Kerst !!!!!!
6,71 (N=140)
7,33
7,05
7,18
4,67 (N=18)
5,89
5,00
4,17
Afwezig zonder reden
Afwezig met reden
16,61 (N= 184)
23,88
60,37 (N=27)
39,88
Waardering theorieonderwijs gemiddeld
7,05
6,53
Correlaties voor de hele groep
Geen correlaties voor vooropleiding Nederlands
Wiskunde * Cijfer totaal theorie . 221 (p = 0.05)
Wiskunde * Cijfer TRK . 298 (p= 0.05)
Wiskunde * Cijfer praktijk . 223 (p= 0.05)
Geen correlaties voor Engels
2
Samenvatting conclusies april 2013
In deze fase van het onderzoek werd een zwak verband gevonden tussen de praktijk intakescores van het
cohort 2012-2013 en het gemiddelde praktijkcijfer van Periode 2 van dit cohort in hun eerste studiejaar op
het CIOS. De totale intakescore heeft geen verband met de studieresultaten (som van cijfers voor les- en leiding
geven, praktijk en theorie) in het eerste jaar.
Studieresultaten (uitgedrukt in de cijfers voor praktijk, theorie en les- en leiding geven) worden in dit onderzoek voor het
grootste gedeelte verklaard door persoonlijke eigenschappen als zelfregulatie, reflectie en leerbaarheid.
Gedragsmatige betrokkenheid en waardering van de kwaliteit van het onderwijs dragen zwak bij aan de
verklaring van studieresultaten aan het einde van periode 2.
Het sterke verband tussen inschatting door SLB-docenten van persoonlijke eigenschappen van
studenten en hun studieresultaten geeft de deskundigheid van de betrokken SLB-docenten goed weer.
Zij kennen hun studenten erg goed. Het pleit zeer voor een herstel van vertrouwen in de deskundigheid
en professionaliteit van docenten.
Deze deskundigheid zou binnen overgangsvergaderingen en zeker ook binnen intake beter benut kunnen
worden. Docenten op het CIOS Haarlem zijn zeer deskundig en kunnen (potentiële) kwaliteiten van
studenten uitstekend inschatten.
Februari 2014 John Coenders
4
3
Parameters uit voorgaande onderzoeken gekoppeld aan nieuwe gegevens
(resultaten uit periode 4)
3.1
Intakescores en studieresultaten
Werd er na Periode twee nog een zwak verband gevonden tussen de intakescores en de
studieresultaten, dit verband is aan het eind van Periode 4 verdwenen.
3.2.
Studieresultaten en persoonlijke eigenschappen (competenties)
Het verband (Pearsons correlatie) tussen studieresultaten en persoonlijke eigenschappen
(zelfregulatie, zelfreflectie en leervermogen blijft ook na periode 4 overeind, alhoewel iets minder
sterk (was ,700** en is nu ,656 **, p < 0.01 two – tailed).
Daarbij levert reflectie (,628**) een groter aandeel dan zelfregulatie (,549**) en leervaardigheid
(, 575**)
Bekijken we het oorzakelijk verband dan zien we dat in P4 het totaalcijfer theorie
voor 49,3 % verklaard wordt door reflectie, leerbaarheid en waardering voor het onderwijs.
(Reflectie (model1/ , R2 =, 389), leerbaarheid (model 2 / R2 =, ,472) en waardering
theorieonderwijs (model 3 / R2 =, ,493)) (lineaire regressie, stepwise)
Het totaalcijfer (theorie + praktijk + lesgeven) in P4 wordt voor 48,8 % verklaard door
Leerbaarheid, Reflectie en gedragsmatige betrokkenheid
Leerbaarheid (model 1/ R kwadraat R2 = ,381), Reflectie (model2/ R2 =, 471), Gedragsmatige
betrokkenheid (model 3/ R2 = , 488) lineaire regressie Stepwise.
Reflectieve vaardigheden, de mate waarin een student leerstof opneemt en de door de student
gepercipieerde waardering voor het onderwijs (onderwijskwaliteit) zijn zeer bepalend voor de
theorieresultaten van studenten op het CIOS Haarlem.
De mate waarin de student leerstof opneemt, zijn reflectieve vaardigheden en de mate waarin hij
laat zien betrokken te zijn bij het onderwijs (aanwezig zijn, op tijd komen etc.) zijn zeer bepalend
voor de totale studieresultaten (Theorie + praktijk + Les- en leiding geven).
3.3 Deskundigheid SLB’ers
De opmerkingen uit het rapport april 2013, met betrekking tot de deskundigheid van docenten,
worden sterk gesteund door het feit dat de inschatting van SLB docenten na P2 met betrekking
tot het afmaken van de opleiding in vier jaar voor VSV’ers 4,17 was en voor niet VSV’ers 7,17.
Problemen worden dus zeer vroegtijdig herkend. De oplossing ligt in deze vroegtijdige
vakspecifieke erkenning, gevolgd door begeleiding op leerresultaten op basis van analyses van
diagnostische toetsen, zoals al eerder bepleit (in tegenstelling tot algemene aanpak binnen SLB
of Skills).
Februari 2014 John Coenders
5
4
VSV, cijfers vooropleiding, presentie, studieresultaten
Naast de eindcijfers van Periode vier, zijn er ook nieuwe variabelen ingevoerd te weten:
schoolverlaters, presentiecijfers, cijfers Nederlands, wiskunde en Engels uit de vooropleiding,
meningen van mentoren van vooropleiding (voor zo ver gegeven) m.b.t. competenties.
4.1. Kenmerken VSV
Welke variabelen VSV voorspellen kan ik helaas niet aangeven, omdat op het NOVA het
instrument daarvoor (logistische regressie binnen SPSS) ontbreekt.
Wel heb ik een aantal kenmerken van VSV’ers vergeleken met niet VSV’ers. (zie tabel 1 op
pagina 3)
(Opmerking: inmiddels is ook in het tweede jaar van dit cohort weer een aantal studenten
uitgeschreven, dat niet in dit bestand is verwerkt)
Wat opvalt - behalve het verschil in studieresultaten:
-
dat er geen verschil is in intakecijfers tussen VSV’ers en niet VSV’ers
dat er nauwelijks verschil is in cijfers uit de vooropleiding (behalve wiskunde)
dat er relatief meer mannen dan vrouwen uitvallen
dat er een groot verschil is in gemeten competenties
dat SLB’ers al zeer vroeg het ‘mogelijk niet halen’ hebben voorspeld
dat afwezigheid bij VSV’ers substantieel groter is
4.2. Cijfers vooropleiding en studieresultaten
Er wordt geen verband gevonden tussen studieresultaten in P4 van het CIOS en de cijfers voor
Nederlands en Engels behaald tijdens de vooropleiding.
Dat is wel (!) het geval voor wiskunde :
-
wiskunde * trainingsleer , 298 *
wiskunde * totaal theorie , 221*
Er is een licht verband tussen wiskundecijfers tijdens de vooropleiding en de studieresultaten
voor trainingsleer en de totale theorie op het CIOS in Periode 4.
4.3.
Presentie en studieresultaten
Verband tussen presentie en studieresultaten (Pearson correlatie):
Afwezig zonder reden * totaalcijfer theorie - , 432**
Afwezig zonder reden * totaal cijfer
- , 533**
Afwezig met reden * totaalcijfer theorie -, 302*
Afwezig met reden * totaal cijfer
-, 386*
Februari 2014 John Coenders
6
Er is een vrij sterk negatief verband tussen afwezigheid en studieresultaten. Dat verband is het
sterkste voor afwezigheid zonder reden.
5
Oorzakelijk verband variabelen (inclusief nieuw ingevoerde gegevens) en
studieresultaten.
Zoeken we naar oorzakelijke verbanden en voeren we de nieuwe gegevens in in het hierboven
(3.2) beschreven model (lineaire regressie / stepwise),dan verklaren reflectie, afwezigheid
zonder reden, leerbaarheid en afwezigheid met reden 57,6 % van het totaalcijfer (theorie +
praktijk + les- en leiding geven).
Reflectie (model 1/ R2 = ,347), Afwezig zonder reden (model2 / R2 =,502 ), Leerbaarheid /model 3/
R2 = ,558, Afwezigheid met reden ( model 4/ R2 = ,576)
Dat wil zeggen dat de modellen (de vier stappen binnen de regressie) afwezigheid met en
zonder opgave van reden toevoegen, en reflectie en leerbaarheid als voorspellers van resultaten
behouden. De volgorde geeft de mate van belangrijkheid aan.
De diverse voorspellers in relatie tot de separate vakken.
Het is interessant te zien dat niet voor elk vak afzonderlijk dezelfde voorspellers en ook niet
dezelfde voorspellers in dezelfde volgorde van belangrijkheid en dezelfde mate binnen de
modellen komen bovendrijven:
-
TRK
; Reflectie, Vooropleiding wiskunde, Waardering theorieonderwijs,
zelfregulatie
Praktijk ; Afwezig zonder reden, Vooropleiding wiskunde
Lesgeven ; Afwezig zonder reden, Leerbaarheid
Didactiek ; Reflectie, Afwezig zonder reden, Zelfregulatie
OvE
; Reflectie en Leerbaarheid
Dat de modellen ‘maar’ (opmerking o.a. van Ges) 57,5 % kunnen verklaren, komt door de
enorme complexiteit van het onderwijs en het grote aantal variabelen.
57 % mag echter gezien worden als ‘veel’ in onderzoekscontexten.
Conclusie
Als aanwezigheid zonder reden (niet afgemeld) gezien mag worden als gedragsmatige
betrokkenheid bij het onderwijs en de opleiding, dan verklaren persoonlijke eigenschappen
(competenties) voor een groot deel studiesucces op het Haarlem..
Februari 2014 John Coenders
7
5
Adviezen
Mijn eerder gegeven adviezen m.b.t. intake en studiebegeleiding zoals genoemd in
voorafgaande rapporten (zie bijlagen) blijven gehandhaafd cq. worden opnieuw bekrachtigd:
-
-
6
de intake verbreden en daarbij zoeken naar instrumenten om relevante
eigenschappen en competenties boven water te krijgen (en daar experimenteel
onderzoek op doen). Zie eerdere rapporten.
inzetten van de observatorische kwaliteiten van ervaren docenten bij de intake.
gebruik maken van (wiskunde) cijfers uit de vooropleiding.
een cognitieve toets (bijvoorbeeld op TRK) kan dienen om studiemotivatie (die vaak
ver is te zoeken) te toetsen.
gegevens uit de intake gebruiken om vanaf het begin van de opleiding gerichte
begeleiding te ontwikkelen en aan te bieden op zwakke onderdelen, middels
vakspecifieke op toetsdiagnoses gebaseerde studiebegeleiding. Dit i.t.t. het
aanbieden van algemene studievaardigheden en therapeutische begeleiding. Met
andere woorden: een volgsysteem gebaseerd op leerresultaten.
omdat studenten ‘die weten wat ze willen’ hoger scoren op studieresultaten dan
studenten die dat nog in mindere mate weten (arbeidsidentiteit), loont het dus om dit
gegeven te operationaliseren voor de intake. (Zie 6, keuzevakken)
Keuze van Klein – en Hoofdkeuzevakken.
De bedoeling was om de motieven voor het kiezen van KKV en HKV te achterhalen. Dat is niet
gelukt omdat er, i.t.t. de vraag – een motief per keuzevak, meerdere motieven per keuze zijn
ingevuld.
Wel is het zo dat er al redelijk wat eerstejaars studenten zeker zijn van de keuze van hun HKV.
Dit zijn over het algemeen mensen met een hoge arbeidsidentiteit. Ze weten wat ze willen,
meestal in relatie tot een vervolgstudie of een later beroep.
Van de 207 uitgezette formulieren was er geen respons van 74 studenten;
Februari 2014 John Coenders
8
Resultaten:
48 studenten (N=48) maakten (nog) geen keuze en scoorden op het totaalcijfer (alle
theorievakken + lesgeven + praktijk 247,77 punten. ;
verder kozen,
-
Bewegingsagoog (N=14) score: 311,57
Buitensport (N=14) score : 285,85
FIT (N= 18) score: 285
Judo (N=2) score : 266
BOS (N=7) score : 317,42
Sneeuwsport (N=16) : score 277
Tennis: N=4) : score 285,75
Voetbal: (N=6) : score 242
Zwemmen (N=2) ; score 288
als Hoofdkeuzevak.
Dit lijkt de veronderstelling ‘dat studenten die weten wat ze willen’ hoger scoren dan studenten
die dat nog in mindere mate weten’, te ondersteunen.
Dit pleit ervoor om dit gegeven voor de intake te operationaliseren.
Het is natuurlijk erg interessant om de studenten te volgen in hun keuzes, de stabiliteit daarvan,
hun motieven en bijvoorbeeld de relaties tussen de keuzes KKV en HKV. Zo’n soort onderzoek
zal mogelijk op termijn informatie geven over de effectiviteit van voorlichting en keuze tendensen.
7
Studieresultaten en toeleverende scholen.
In aanvulling op het rapport ‘Deelname aan oriëntatietraject, toeleverende scholen, prestatie en
VSV’ heb ik de resultaten van een aantal toeleverende scholen, die meerdere studenten
aanleveren, die positief opvallen (scores rond of boven de 300) m.b.t. de Studieresultaten, op
een rijtje gezet (het gemiddelde van alle toeleverende scholen = 283 ):
-
ROC (N=8)
Hartenlust (N=3)
TRIAS (N=8)
Leonardo (N=5)
340
300
299
311
Een paar minder scorende scholen::
-
Haarlem College
Clusius
Vellesan
Kennemercollege
Duin en Kruidberg
Coornhert
Februari 2014 John Coenders
(N=5)
(N=5)
(N=6)
(N=3)
(N=4)
(N=3)
251
264
257
251
246
265
9
Met betrekking tot uitval gerelateerd aan scholen:
VSV heeft het cijfer 1 gekregen. Niet VSV = 0. Dus als er 0 studenten bij een school uitvallen is
het gemiddelde voor die school 0. Vallen alle studenten van betreffende school uit dan is het
gemiddelde voor die school 1.
Haarlemcollege (,20), Vellesan (0,14), Clusius (,20), Kennemer (0,33), Duin en Kruidberg
(0,25), Jan Arents (1), Regius Schagen (,33), van de Meij (0,50), Coornhert (0,25),
Ook hier geldt dat monitoring over een aantal jaren een goed beeld zal geven met betrekking tot
de fit tussen toeleverende school en CIOS Haarlem. Zeker als de relatie tussen leraren L.O. en
CIOS wordt geïntensiveerd en op het punt van scoring competenties een koppeling kan
plaatsvinden met studieresultaten.
7
Uitval en les- en leiding geven.
Volgens cijfers van Martine Lenoir (trajectbegeleidster op het CIOS Haarlem) valt een groot
deel van de VSV’ers uit op het onderdeel/ de competentie lesgeven.
De belangrijkste conclusies op dit onderdeel:
-
8
VSV’ers scoren idd laag op lesgeven (gemiddeld 15). Dat komt mede doordat er
waarschijnlijk veel codes zijn gegeven op dit onderdeel.
VSV’ers zijn vaker afwezig. Dat tikt zwaar aan bij leren lesgeven.
Maar het is ook mogelijk een signaal. Het zou informatief zijn om uit te zoeken op
welke lessen de uitval het hoogst is en de periode waarin dit begint.
Studenten die bij de intake hoog scoren op EVC m.b.t. les- en leiding geven door aan
het vak gerelateerde voorervaring, hebben hogere cijfers voor les- en leiding geven.
Score 0-5 ,N= 105: 57,46 ; score 11-15, N=9: 66 ; score 6 – 10 , N= 50 : 55,92
Het verdient misschien aanbeveling om deze categorie hoger te waarderen in de
weging tijdens de intakeprocedure, hem beter te definiëren en wellicht te
benadrukken tijdens de voorlichtingen en zelfs op de vooropleidingen te stimuleren bij
potentiële CIOS-kandidaten (in voorwaarden stellende zin).
Afsluitende opmerkingen:
-
Het is jammer dat er op het NOVA College geen instrument aanwezig is voor
logistische regressie. Deze applicatiemodule is absoluut noodzakelijk om uitspraken
te kunnen doen m.b.t. dichotome variabelen.
-
De rapportages van alle onderzoeken, zie bijlagen, zijn gepubliceerd.
-
Daarmee heb ik voldaan aan de afspraak bij het ingaan van het LD traject ‘de
resultaten van het toentertijd door mij ingezette onderzoek intake en VSV voor mei
2014 aan te zullen leveren’.
Februari 2014 John Coenders
10
Tot slot
Het is een gemiste kans dat er op de onderdelen intake, VSV, studieresultaten en studieefficiëntie, geen structurele en gestructureerde onderzoekslijnen zijn opgezet.
Dit soort onderzoek, met mogelijk praktische relevantie, heeft alleen zin als het over een aantal
jaren loopt en van uit voortschrijdend inzicht vanuit het onderzoek zelf, vanuit het management
en ook vanuit de leerkrachten wordt gevoed, zodat het uiteindelijk bijdraagt aan een goed
onderwijsinhoudelijk beleidsinstrument.
Naast een brede belangstelling en liefde voor schepen, zoeken we mensen die graag willen
leren welk materiaal ze moeten gebruiken om een schip goed te bouwen, mensen die van hun
fouten willen leren, omdat ze er reikhalzend naar uitkijken met een goed schip, het ruime sop te
kiezen.
Februari 2014, John Coenders
Rapportages:
-
Studierendement: meer studeren of beter studeren (040312)
Als je en schip wilt bouwen roep dan geen mannen bij elkaar om hout te verzamelen
……. (maart 2012). Promotievoorstel.
Als je een schip wilt bouwen , zoek dan mensen die van varen houden ; Intake,
succesfactoren en studieresultaten (april 2013)
Als je een schip wilt bouwen …….., Intake, succesfactoren, presentie, vooropleiding,
VSV en studieresultaten. (februari 2014)
Februari 2014 John Coenders
11