DEEL 1 - Gotit-programma en verkenning gegevens

Invloed van ICT-tools op onderwijsprestaties en efficiëntie
Kristof De Witte‡δ1 en Carla Haelermansδ¥
(δ): Maastricht University
TIER, Faculty of Economics and Business
Po Box 6015, 6200 ML Maastricht (the Netherlands);
[email protected]; [email protected]
(‡): Katholieke Universiteit Leuven (KULeuven)
Faculty of Business and Economics
Naamsestraat 69, 3000 Leuven (Belgium); [email protected]
(¥): IPSE Studies, Delft University of Technology,
PO Box 5015, 2500 GA Delft (the Netherlands)
1. Onderwijsinnovaties – Inleiding
Investeringen in ICT infrastructuur was een van de prioriteiten in onderwijsbeleid tijdens de voorbije
decennia. In de meeste westerse landen werden er veel middelen vrij gemaakt om te investeren in
computers, whiteboards, connectiviteit, en software. Gegeven deze investeringen is de vraag of dit
heeft opgebracht. Leerlingprestaties blijven immers al jaren gelijk, ondanks de groeiende
investeringen in het onderwijs. Schoolbesturen verantwoorden de onderwijsinnovaties vaak vanuit
een efficiëntiestandpunt. Hiermee wordt bedoeld dat met een gegeven budget hogere leerresultaten
behaald kunnen worden, of dat er voor de gegeven leerresultaten minder budget /personeel vereist
is.
Deze rapportage focust op de invloed van ICT op onderwijsprestaties. We gaan in op het oefengedrag
van leerlingen, alsmede op de invloed van een ICT-tool op de rekenprestaties van leerlingen. We
gebruiken hiervoor gegevens van Gotit?!. Dit is een online begeleidingsmiddel voor leerlingen in het
voortgezet onderwijs ten behoeve van de doorlopende leerlijnen voor rekenen en taal.
Het theoretisch kader waartoe dit onderzoek behoort, is het differentiëren in het onderwijs en het
leveren van maatwerk aan leerlingen, het gebruik van skill drill-oefeningen (oefeningen om
vaardigheden erin te stampen), en tenslotte het gebruik van ICT om dit te bereiken. Eerder
onderzoek naar differentiëren en maatwerk in het onderwijs laat zien dat het werken in traditionele
klassen, waarbij alle leerlingen op hetzelfde niveau werken, de verschillende leerstijlen en interesses
van de individuen volledig negeert (Fischer & Rose, 2001; Forsten, Grant, & Hollas, 2002; Tomlinson
& Kalbfleisch, 1998). Het meenemen van verschillen in niveau, interesses en leerstijlen tussen
leerlingen lijkt tot verhoogde motivatie te leiden (Tomlinson, 2004), en het negeren van deze
verschillen lijkt tot verlaagde prestaties te leiden (Tomlinson & Kalbfleisch, 1998). Diverse studies
1
Corresponding author. Tel.: 003216326566
E-mail address: [email protected]; [email protected]
1
laten ook zien dat differentiatie leidt tot hogere leerling-prestaties (Barta & Allen, 1995; Kulik & Kulik,
1982; Lou et al., 1996; Reezigt, Houtveen, & Van de Grift, 2001). Bosker (2005) laat zien dat
leerlingen het meest gebaat zijn bij een volledig gedifferentieerde route, hoewel hij ook de voordelen
van het sociale aspect van het klaslokaal erkent.
Literatuur over een skill drill methode als Gotit?! sluit erg aan bij literatuur over het gebruik van ICT
in het onderwijs (zie deel 1 van de rapportage: De Witte en Rogge, 2013), aangezien skill drill
methoden vaak digitaal zijn. Studies naar het effect van digitale oefenmethoden laten zien dat
interactieve online methoden vaak een positief effect hebben op rekenprestaties. Christensen en
Gerber (1990) concluderen bijvoorbeeld dat oefeningen in spelvorm niet goed werken voor
leerlingen met leerproblemen, maar wel voor reguliere leerlingen. Dit in tegenstelling tot de
mondelinge- en computeroefeningen. Arroyo et al. (2010) laten zien dat een intelligent tutoring
systeem tot hogere leerling-prestaties leidt in de onderbouw van het voortgezet onderwijs. Burns et
al. (2012) laten ook zien dat een digitaal rekenprogramma tot een hogere leerwinst leidt voor de
deelnemende leerlingen. Daarnaast concluderen zij dat er minder leerlingen risico lopen om een
achterstand op te lopen na gebruik van het digitale programma.
Onderzoeken naar niet-digitale skill drill oefeningen laten een gemengd beeld zien. Uit de literatuur
blijkt in ieder geval dat het niet uitmaakt of er een digitaal of niet-digitaal skill drill programma
gebruikt wordt. Wat werkt heeft meer te maken met de leerstijl van de leerling en leerstrategieën
die gehanteerd worden (Becker, 1990; MacGregor, Shapiro, & Niemiec, 1998). Uit een ander
onderzoek blijkt dat leerlingen het beter doen als ze strategieën aangeleerd krijgen dan met drilloefeningen (Tournaki, 2004) .
Eerder experimenteel onderzoek naar reken- en taaloefeningen in ‘Muiswerk’ (een gelijkaardig
programma als Gotit?!) liet een positief effect zien (zie deelrapportage 5). Haelermans et al. (2013)
observeren een significant en positief effect heeft op het aantal vragen goed beantwoord per
seconde bij rekenen en wiskunde. Oefenen met Muiswerk, ongeacht hoeveel, heeft dus een positief
effect op de groei van score per seconde voor rekenen.
Het vervolg van de deelrapportage verloopt als volgt. In onderdeel 2 worden het programma en de
aannames beschreven. Onderdeel 3 beschrijft de gegevens, terwijl sectie 4 enkele verbanden uit de
data weergeeft. Meer bepaald biedt het een antwoord op de vraag ‘Wordt in scholen met lage
leerprestaties meer met de ICT-tool gewerkt?’, ‘Leidt meer oefenen tot betere resultaten?’, en ‘Leidt
deelname aan het ICT-programma tot hogere toetsscores?’. In onderdeel 5 wordt het efficiency
model uitgelegd en de resultaten gerapporteerd.
2. Vorm van het programma en aannames
2.1 Algemeen
Het rekenbeleid van scholen in het voortgezet onderwijs staat de laatste jaren in toenemende
belangstelling. Vanwege de invoering van de verplichte centrale rekentoets bij het eindexamen
zoeken scholen naar manieren om het rekenniveau van hun leerlingen te verhogen tot tenminste het
vereiste referentieniveau (Commissie Meijerink, 2008). De rekentoets wordt ingevoerd in 2013/2014
2
en telt mee in het examen van de leerling vanaf 2014-2015. Er zijn zowel bij de overheid als bij de
scholen zelf zorgen geuit over het huidige niveau rekenen van voortgezet onderwijs leerlingen.
Derhalve hebben veel scholen ingezet op een specifiek rekenbeleid, om het niveau van de leerlingen
op peil te brengen.
Een van de manieren waarop scholen actief aan de slag gaan met het verhogen van het rekenniveau
is met het programma Gotit?!’. Dit is een online en adaptief begeleidingsmiddel voor leerlingen in
het voortgezet onderwijs ten behoeve van de doorlopende leerlijnen voor rekenen en taal. Er wordt
toegewerkt naar de verplichte rekentoets die alle leerlingen in het voortgezet onderwijs en
middelbaar beroepsonderwijs moeten gaan afleggen. De verplichte rekentoets is gebaseerd op
referentieniveaus van de commissie Meijerink. Deze gelden voor het primair, voortgezet onderwijs
en middelbaar beroepsonderwijs. Deze referentieniveaus geven aan wat leerlingen moeten kennen
op het gebied van rekenen.
Het programma start met een instaptoets. Deze helpt het niveau van de leerling te bepalen. De
resultaten van deze instaptoets worden in kaart gebracht, de kenniskaart. Er wordt hierbij een
onderscheid gemaakt tussen vier onderdelen (domeinen): getallen, verhoudingen, meten en
meetkunde, en verbanden.
Uitlegfilmpjes, theorie en opgaven helpen de leerling bij het oefenen van de verschillende
onderdelen. Gotit?! is een adaptief programma. Zodra de leerling de stof beheerst gaat hij een fase
verder. Gotit?! signaleert zelf dat een leerling toe is aan een toets. De docent behoudt het overzicht
via een docentendashboard. Dit laatste bevat zowel gemiddelde scores per groep als individuele
voortgang van leerlingen. In Gotit?! kunnen leerlingen zelfstandig werken, maar de docent heeft ook
de mogelijkheid om in te grijpen in het proces door leerstof voor een leerling specifiek voor te
schrijven via bijvoorbeeld hulpfilmpjes en het inplannen van toetsen. Gotit?! geeft op diverse
momenten individuele feedback en feedforward.
Gotit?! Rekenen voor de doorlopende leerlijn is beschikbaar sinds schooljaar 2012. Een
leerlinglicentie Gotit?! Rekenen is €10,- per leerling per jaar. Een leerling krijgt hiermee toegang tot
al het materiaal van Gotit?!, van zowel 1F, 2F en 3F. Een docentenlicentie Gotit?! Rekenen kost
€19,50 per docent per jaar.
Meer algemeen kan Gotit?! geclassificeerd worden als een procesinnovatie die het leerproces van
leerlingen faciliteert. Er zijn studies die positieve effecten van ICT op onderwijsprestaties vinden
(bijvoorbeeld Machin et al. 2007), maar ook studies die negatieve effecten vinden (bijvoorbeeld
Leuven et al., 2007), en studies die helemaal geen effecten vinden (bijvoorbeeld Rouse & Krueger,
2004). Er heerst dus nog onduidelijkheid in de literatuur over de effecten van ICT op
onderwijsprestaties. Heel vaak is er in de literatuur echter geen gedetailleerde informatie
beschikbaar over wat leerlingen precies doen. Dit onderzoek buit dergelijke informatie wel uit.
2.2 Doorloop van het programma
In het programma delen alle leerlingen eenzelfde chronologie: (1) Het niveau van de leerling wordt
bepaald via een instaptoets; (2) de leerlingen oefenen op hun niveau; en (3) elk onderwerp wordt
beëindigd met een toets. Er zijn in het programma 3 niveaus: 1F, 2F en 3F. De vragen van 2F volgen
niet noodzakelijkerwijs op 1F. Het niveau 2F stemt overeen met het eindniveau van vmbo en
instapniveau van havo. In principe maakt een leerling 1 instaptoets per schooljaar, en is het meest
3
waarschijnlijk dat de lijn oplopend is (1F-2F-3F). Omdat Gotit?! pas 1 schooljaar in gebruik is heeft
het merendeel van de leerlingen nog maar 1 instaptoets gemaakt. Binnen een niveau zijn er ook
fases die een moeilijkheidsgraad weerspiegelen. De instaptoetsen testen de leerling op fase 3 en fase
4. Op basis van de score wordt bepaald op welke fase de leerling begint met oefenen. De oefeningen
zijn ingedeeld in 4 fasen, fase 1 tot en met 4. Bij niveau 1F lopen de fasen tot en met fase 3.
Leerlingen krijgen oefeningen in een fase die gebaseerd is op hun score op de instaptoets en iedere
leerling krijgt een eigen random oefenreeks binnen een onderwerp. Elke keer als een leerling op een
onderwerp 8 van de 10 laatste vragen goed heeft krijgt de leerling een onderwerptoets. Als dit
onderwerp het laatste openstaande onderwerp binnen een domein is dan krijgt de leerling een
domeintoets. Deze onderwerp- of domeintoetsen komen qua samenstelling overeen met de
instaptoets: ze testen op fase 3 en 4. De domeintoetsen zijn facultatief (de docent kan dit uitzetten)
en veel docenten maken zelf hun toets. Dit kan schematisch als volgt worden weergegeven zoals in
4
Figuur 1.
5
Figuur 1: Schematische indeling Gotit?!
Instaptoets (moeilijheidsgraad fase 3-4)
Niveau (1F, 2F, 3F)
Oefenen in een onderwerp in een fase (1-4).
Als 8 van de 10 vragen goed
Toets op fase 3-4
Volgend onderwerp
Domeintoets
2.3 Keuzes in de data
De gegevens voor het project zijn verkregen via uitgeverij ThiemeMeulenhoff die het programma
ontwikkelde. Zoals beschreven in onderdeel 2.2 doorlopen de leerlingen het programma niet in een
vaste vorm. Daarom zijn in de verwerking van het ruwe databestand naar een databestand voor de
analyse volgende keuzes gemaakt:
-
-
De instaptoets is het gemiddelde van de verschillende onderwerpen.
De toets per onderwerp is de meest recent gemaakte toets, waarvan we de score gebruiken.
Andere keuzes in de data (zoals gebruik van de gemiddelde score van alle gemaakte toetsen
per onderwerp, of het volgen van een vooraf bepaalde leerroute) zullen waarschijnlijk niet
tot andere uitkomsten leiden.
De scores van het tussentijdse oefenen (die tussen de instaptoets en de onderwerptoets op
de tijdlijn liggen) zijn de gemiddelden van alle keren dat een leerling geoefend heeft per
onderwerp. Andere keuzes in de data (zoals gebruik van de mediaan) zullen waarschijnlijk
niet tot andere uitkomsten leiden.
Dankzij deze veronderstellingen in de data kan het verband tussen de hoeveelheid/intensiteit van
oefenen en het verschil in score tussen de instaptoets en "latere toetsing" onderzocht worden. In
hoeverre kan er gesteld worden dat "hoe meer men oefent, hoe groter de vooruitgang" en wat is de
optimale tijdsverdeling over de onderwerpen per domein.
6
3. Beschrijvende statistieken
3.1 Kenmerken van Gotit-scholen.
De gegevens zoals verkregen door ThiemeMeulenhoff zijn gekoppeld op basis van het BRIN-nummer
aan gegevens van Dienst Onderwijsuitvoering (DUO). Deze bevatten voor 2011 informatie over de
werkingsmiddelen van de school. In Tabel 1 worden de 149 scholen met Gotit vergeleken met 314
scholen die de ICT-tool niet hanteren. Hieruit blijken op enkele kenmerken significante verschillen
tussen beide groepen te bestaan. We bespreken de variabelen met merkbare verschillen. In de
scholen die werken met Gotit?! is er per leerling meer ondersteunend personeel, zijn er meer
leerlingen, is er een lager bedrag uitgekeerd voor de aankoop van materialen en onderhoud van
gebouwen, en zijn de kosten voor leraren per leerling lager. Bovendien is in de Gotit?!-scholen het
gemiddelde examencijfer merkbaar lager net als het slagingspercentage. Deze merkbare verschillen
geven aan de invoering van Gotit niet random gebeurd is, maar een bewuste keuze was van scholen.
Tabel 1:Vergelijking Gotit scholen met niet-Gotit scholen
Gotit
niet-gotit
Gemiddelde
Gemiddelde
verschil
t-statiek
Managers (in FTE) per lln
0.0039
0.0036
-0.0003
-1.1872
Leraren (in FTE) per lln
0.0661
0.0657
-0.0004
-0.3060
Ondersteunend personeel (FTE) per lln
0.0219
0.0203
-0.0016
44.9655
45.0586
0.0931
Aantal leerlingen
2643.9400
1615.6780
-1028.2620
Personeelskost per lln
6414.2250
6544.5080
130.2824
Materiaalkosten per lln
927.1842
999.9606
72.7764
**
2.4226
Kosten voor gebouwen per lln
502.3142
579.3365
77.0222
***
2.9950
Vsv-percentage
1.1979
1.2114
0.0135
Gemiddelde centraal examencijfer
6.4260
6.4964
0.0704
Gemiddelde leeftijd leraren
**
-2.4220
0.4419
***
-10.5440
1.0033
0.1635
***
2.5386
APCG leerlingen (%)
5.6405
6.8195
1.1790
1.0786
LWOO leerlingen (%)
12.7316
11.0055
-1.7261
-1.4806
Slagingspercentage
89.5800
90.7697
1.1897
4816.7950
5040.5190
223.7237
Kosten ondersteunend personeel per lln
970.0858
991.5019
21.4161
0.5407
Kosten voor managers per lln
385.4711
352.9241
-32.5470
-1.3742
Kosten voor leraren per lln
Denominatie (Mann-Whitney rank-sum test)
Aantal scholen
*
1.7662
**
2.0950
0.014
149
314
7
3.2 Beschrijvende statistieken volgens de instaptoets
Leerlingen die starten met het programma doorlopen een instaptoets. Deze bepaalt het niveau van
de leerlingen. Er zijn drie instaptoetsen (1F, 2F en 3F). Tabel 2 beschrijft het onderwijsniveau en het
leerjaar van de leerlingen voor elk van deze instaptoetsen. Leerlingen in sterkere onderwijsniveaus
(bijvoorbeeld HAVO, VWO) en hogere leerjaren volgen typisch meer de 3F, al observeren we hier
veel heterogeniteit in de gegevens. Aangezien docenten het onderwijsniveau moeten aanvullen uit
een dropdown-menu zijn er veel ontbrekende gegevens bij het onderwijsniveau.
Tabel 2: Onderwijsniveau en leerjaar van leerlingen volgens niveau instaptoets
Instaptoets 1F
Instaptoets 2F
Instaptoets 3F
Totaal
onderwijsniveau
Onbekend
1,412
2,167
1,690
5,269
Gymnasium
16
95
57
168
Havo
61
459
356
876
Havo-vwo
446
325
11
782
Lwoo-b
96
6
0
102
Lwoo-g
22
0
0
22
Lwoo-k
10
7
0
17
Vmbo-b
80
50
0
130
Vmbo-bk
94
27
0
121
Vmbo-gt
186
139
0
325
Vmbo-k
197
100
0
297
Vmbo-kgt
163
97
1
261
Vmbo-t
233
283
1
517
Vmbo-t/havo/vwo
164
75
0
239
92
386
294
772
Vwo
Leerjaar
Totaal
1
1,875
680
0
2,555
2
997
1,528
66
2,591
3
317
1,513
323
2,153
4
80
466
1,200
1,746
5
2
0
763
765
6
1
29
58
88
3,272
4,216
2,410
9,898
Uit
8
Tabel 3 blijkt dat de score afneemt naar mate het niveau van de instaptoets toeneemt. Bovendien
stijgt ook de tijd die leerlingen gebruiken om de instaptoets te maken. Dit komt waarschijnlijk omdat
de moeilijkheidsgraad van de toets toeneemt. Uit de achterliggende gegevens blijkt dat er minder
oefeningen gemaakt worden bij de hogere instapniveaus.
9
Tabel 3: Score en tijd volgens instaptoets
Aantal
Score
tijd
Instaptoets 1F
3,272
59.20
14.85
3592.94
1642.54
Instaptoets 2F
4,216
54.90
13.41
4351.70
2569.47
Instaptoets 3F
2,410
54.36
14.86
4449.25
2078.30
Eenmaal de leerlingen een instaptoets gemaakt hebben, starten ze de oefeningen. We
onderscheiden in de data 11 onderwerpen: optellen, vermenigvuldigen, breuken, komma,
verhoudingen, procenten, grootheden, oppervlakte, meetkunde, gegevens en rekenvoorschriften.
Zoals beschreven in onderdeel 2 kunnen leerlingen voor elk van deze onderwerpen oefenen per
functieniveau. De leerlingen kunnen Gotit?! in een willekeurige volgorde doorlopen, afhankelijk van
hun eigen prestaties, voorkeuren en de inzichten van de docent. De ICT-tool stelt dus een onderwerp
voor, maar zowel de leerling als de docent kunnen dit wijzigen. De willekeurige volgorde blijkt ook uit
Tabel 4. Deze geeft de volgorde weer waarin de verschillende onderwerpen in fase 1 zijn doorlopen.
Zo kiest 22.5% van de leerlingen als eerste onderwerp ‘optellen’. Vanaf het tweede onderwerp is de
verdeling over de onderwerpen vrij gelijk. Er in de data geen bepaald patroon te ontdekken van
opeenvolgende onderwerpen.
Tabel 4: Volgorde van het doorlopen van het Gotit-programma (bovenste rij is het aantal, onderste rij het percentage)
Onderwerp
Vermenig
vuldigen
Breuk
en
Verhoud
ingen
Procenten
Groot
heden
Gegevens
Rekenvoo
rschriften
7,49
9,21
6,6
5,89
4,58
12,57
10,49
4,94
8,88
9,36
8,15
6,35
5,91
11,36
11,28
7,55
9,59
9,71
8,22
7,63
10,56
11,21
7,93
7,66
7,24
6,35
10,28
10,59
7,94
7,91
6,54
7,11
9,35
8,53
8,93
8,99
9,64
9,67
8,73
7,22
9,27
10,1
9,1
9,26
8,89
9,41
10,53
9,9
7,7
8,07
8,41
9,75
8,41
9,17
7,7
8,72
8,43
8,36
8,85
9,02
8,26
8,36
10,85
8,51
11,51
9,12
8,77
9,35
9,35
7,59
10,75
11,38
9,7
7,8
8,43
9
7,23
7,8
8,29
8,86
8,48
7,71
12,52
13,78
11,85
7,8
5,68
10
3,79
7,57
7,89
8,2
6,47
9,31
11,99
12,3
13,09
8,68
10,73
11
4,71
6,35
6,82
8,24
9,65
5,41
12,71
12,94
15,06
8,71
9,41
14,07
9,59
8,43
8,91
8,98
7,79
7,45
6,57
10,75
10,19
7,27
volgorde
Optellen
1
22,53
8,51
7,19
2
12,91
10,46
7,79
3
11,62
10,84
4
11,79
11,4
5
8,59
9,76
6
9,67
7
8
Totaal
Komma
Oppervl
akte
Meetku
nde
10
3.3 Scholen en klassen
In de data zijn er 202 schoollocaties (6-cijfer BRIN) uit 149 scholen (4-cijfer BRIN). Er zijn op een
schoollocatie gemiddeld 612 leerlingen die deelnemen aan Gotit, dit is gemiddeld 28% van de totale
schoolpopulatie.
Als Gotit wordt ingevoerd op een school (school staat vanaf hier synoniem voor schoollocatie – 6cijfer brin), gebeurt dit in veel scholen in meerdere klassen. Uit Tabel 5 blijkt dat er slechts 13 scholen
zijn waarbij het enkel in 1 klas werd ingevoerd, 16 scholen met twee Gotit-klassen, 2 scholen met 3
klassen en 12 scholen met 4 klassen. De gegevens uit Tabel 5 zijn niet uitputtend aangezien er nog 73
scholen in de data zijn met meer dan 20 geregistreerde klassen die Gotit hebben ingevoerd. Omdat
dit vaak slechts kleine klasgroepen zijn, werden deze niet meegenomen in de gegevens.
Tabel 5: Frequentie van scholen waarbij Gotit in meerdere klassen werd ingevoerd.
Aantal klassen in
school met Gotit
frequentie
Aantal klassen in
school met Gotit
Frequentie
1
13
11
5
2
16
12
8
3
2
13
6
4
12
14
5
5
9
15
3
6
8
16
4
7
5
17
5
8
2
18
8
9
6
19
3
10
7
20
3
3.4. Domeinen van rekenen
Een sub-analyse van Gotit betreft de splitsing naar de 4 domeinen waarin rekenen is opgesplitst:
getallen, verhoudingen, meet en meetkunde en verbanden. Tabel 6 laat de gemiddelde score van de
diverse onderdelen zien en de totale opgetelde tijd voor deze onderdelen (in seconden) gebruikt
voor de voormeting.2 In de tabel zien we dat, voor f3, leerlingen die de test hebben gemaakt op
niveau 1F en 2F het hoogste scoren op het domein getallen, terwijl de 3F leerlingen het hoogste
scoren op verhoudingen. Voor f4 betrof het in alle gevallen maar één vraag die leerlingen ofwel goed
ofwel fout hadden (score van 100 betekent goed beantwoord, score van 0 betekent fout
beantwoord). Wat opvalt is dat bij 1F en 2F het grootste aandeel leerlingen de getallen-vraag goed
hadden. Bij 3F is het veel meer verdeeld en had ongeveer een derde tot de helft van de leerlingen de
vraag goed per domein.
2
In voorgaande tabellen werd gewerkt met enkel leerlingen waarvoor we over volledige informatie beschikken.
Dit zijn 9,898 leerlingen. In deze analyse werken we met alle leerlingen waarvoor we informatie hebben op de
afzonderlijke domeinen. Zo zijn er 25,285 leerlingen met gegevens op ‘niveau 2F – verhoudingen’ en 11,334
leerlingen met gegevens op ‘Niveau 1F – getallen’.
11
Tabel 6: Gemiddelde score en totale tijd (in seconden) startmeting, weergegeven per domein, per niveau, gesplitst naar f3 en f4
f3
Niveau 1F
Niveau 2F
Niveau 3F
Gemiddelde Score
Gemiddeld
St.Dev
Min
Max
Gemiddeld
St.Dev
Min
Max
Getallen
11334
74.26
19.07
0
100
293.32
364.17
0
32923
Verhoudingen
11333
69.20
21.22
0
100
178.09
122.34
0
2580
Meet en Meetkunde
11332
70.92
15.85
6
100
148.63
96.05
0
1904
Verbanden
11332
58.81
23.63
0
100
177.36
116.57
0
1774
Getallen
25290
71.96
14.21
0
100
337.32
350.74
0
16719
Verhoudingen
25285
62.33
20.09
0
100
183.41
173.99
0
16470
Meet en Meetkunde
25283
63.73
20.08
0
100
268.21
229.50
0
16785
Verbanden
25283
64.61
22.08
0
100
183.41
173.99
0
16470
Getallen
16997
75.91
14.77
0
100
229.81
196.36
0
8730
Verhoudingen
16997
84.90
19.22
0
100
148.20
159.72
0
6033
Meet en Meetkunde
16995
82.53
17.50
0
100
204.25
214.77
0
8582
Verbanden
16994
78.94
20.46
0
100
157.61
137.62
0
3155
f4
Niveau 1F
Niveau 2F
Niveau 3F
Totale Tijd
Obs
Gemiddelde Score
Totale Tijd
Obs
Gemiddeld
St.Dev
Min
Max
Gemiddeld
St.Dev
Min
Max
Getallen
11334
21.93
27.70
0
100
63.06
106.23
0
2664
Verhoudingen
11332
11.00
22.93
0
100
43.08
103.22
0
1739
Meet en Meetkunde
11332
6.85
15.87
0
100
24.28
67.64
0
1960
Verbanden
11332
14.50
25.31
0
100
21.60
53.53
0
1549
Getallen
25287
10.48
15.69
0
100
89.88
602.83
0
65777
Verhoudingen
25284
5.11
16.25
0
100
46.07
153.66
0
5226
Meet en Meetkunde
25283
4.95
13.80
0
100
93.31
232.69
0
7083
Verbanden
25281
11.82
23.55
0
100
46.06
153.97
0
10528
Getallen
16997
37.67
21.93
0
100
194.01
183.71
0
4513
12
Verhoudingen
16996
47.90
31.60
0
100
175.92
184.58
0
4419
Meet en Meetkunde
16995
32.00
21.13
0
100
268.23
278.51
0
10368
Verbanden
16994
34.36
25.81
0
100
120.56
132.17
0
2193
*leerlingen met waarde -1 bij score van de toets zijn uit deze tabel verwijderen
13
Tabel 7 geeft de beschrijvende statistieken van het oefengedrag van leerlingen, uitgesplitst naar het
startniveau. Tabel 7 geeft zowel het aantal leerlingen weer dat tenminste 1 oefening gemaakt heeft
binnen een onderwerp, als de leerlingen die naast oefeningen van een onderwerp ook al een
domeintoets gemaakt hebben, of, in het geval van scholen die de domeintoetsen uitzetten, alle
leerlingen die alle afzonderlijke onderwerpen van een domein hebben afgesloten met een toets.
Tenslotte geeft Tabel 7 het aandeel leerlingen dat de domeintoets, of alle losse toetsen van de
onderdelen van het domein, heeft gemaakt op het totaal aantal leerlingen dat geoefend heeft. In de
rest van de rapportage zullen we verwijzen naar domeintoetsen, waar in werkelijkheid we dus ook
leerlingen meenemen die de losse toetsen van alle onderdelen van een domein afgerond hebben.
Ten eerste valt op dat van de leerlingen die de voormeting op niveau 1F gemaakt hebben, er best
een aantal geoefend hebben, maar dat er nog geen enkele leerling een domeintoets gemaakt heeft.
Ook zien we dat het aandeel leerlingen dat geoefend heeft én een domeintoets gemaakt heeft bij 3F
groter is dan bij 2F, hoewel absolute aantallen lager zijn. Al met al is het maar een laag aantal
leerlingen dat per domein een domeintoets gemaakt heeft.
In tabel 7 zien we ook dat het gemiddeld aantal keer geoefend veel hoger ligt bij 2F dan bij 3F. Dit
zou erop kunnen duiden dat leerlingen bij niveau 2F meer oefeningen nodig hebben om op niveau te
komen, óf dat docenten van leerlingen op niveau 2F meer sturen. Ook zou het kunnen dat er
eenvoudigweg meer oefeningen beschikbaar zijn in 2F dan in 3F.
14
Tabel 7: Oefengedrag van leerlingen, gesplitst naar startniveau
Startniveau 1F
Startniveau 2F
aantal leerlingen die met
onderwerp
geoefend
aantal leerlingen die met hebben
die
ook
onderwerp
geoefend domeintoets
gemaakt
hebben
hebben
leerlingen
onderwerp
hebben
aantal leerlingen die met
die
met onderwerp geoefend hebben
geoefend die
ook
domeintoets
gemaakt hebben
aantal
leerlingen
gemiddeld
aantal
keer
aantal
geoefend leerlingen
gemiddeld
aantal keer
aantal
geoefend
aandeel in % leerlingen
gemiddeld
aantal keer aantal
geoefend
leerlingen
gemiddeld
aantal keer
geoefend
aandeel in %
Getallen
1.
Hele getallen +-
3260
16.38
0
0
0.00
2436
20.22
450
24.04
18.47
2.
Hele getallen : x
1650
17.18
0
0
0.00
1582
23.90
494
27.84
31.23
3.
Breuken
1717
16.17
0
0
0.00
1152
21.47
430
22.91
37.33
4.
Kommagetallen
2062
16.96
0
0
0.00
1203
23.16
522
26.21
43.39
5.
Verhoudingsproblemen
2367
19.42
0
0
0.00
1313
28.29
585
28.99
44.55
6.
Procenten
1902
15.28
0
0
0.00
1028
24.37
540
25.81
52.53
Verhoudingen
Meet en meetkunde
7.
Grootheden en maten
2135
16.89
0
0
0.00
891
23.51
283
26.02
31.76
8.
Lengte, oppervlakte en inhoud
2162
19.38
0
0
0.00
727
25.19
286
27.03
39.34
9.
Meetkunde
2923
20.91
0
0
0.00
1634
21.90
266
21.04
16.28
10. Gegevensverwerking
2296
20.39
0
0
0.00
1556
23.35
594
23.47
38.17
11. Rekenvoorschriften
2129
15.61
0
0
0.00
707
22.66
482
23.79
68.18
Verbanden
15
Startniveau 3F
aantal leerlingen die met
onderwerp
geoefend
aantal leerlingen die met hebben
die
ook
onderwerp
geoefend domeintoets
gemaakt
hebben
hebben
aantal
leerlingen
gemiddeld
aantal keer aantal
geoefend
leerlingen
gemiddeld
aantal keer
geoefend
aandeel in %
Getallen
1.
Hele getallen +-
980
15.70
344
16.35
35.10
2.
Hele getallen : x
887
18.33
393
19.04
44.31
3.
Breuken
634
15.26
275
15.88
43.38
4.
Kommagetallen
903
16.14
493
17.54
54.60
Verhoudingen
5.
Verhoudingsproblemen
621
18.18
366
18.27
58.94
6.
Procenten
655
16.86
434
16.53
66.26
Meet en meetkunde
7.
Grootheden en maten
646
14.22
224
14.85
34.67
8.
Lengte, oppervlakte en inhoud
470
17.88
232
19.63
49,36
9.
Meetkunde
819
5.72
181
13.00
22.10
10. Gegevensverwerking
921
15.93485
426
16.49296
46.25
11. Rekenvoorschriften
640
16.48125
414
17.57005
64.69
Verbanden
16
Tabel 8 geeft inzicht in het aantal maanden dat een leerling geoefend heeft voordat de domeintoets
gemaakt werd. Tabel 8 laat zien dat voor het merendeel van de leerlingen het aantal maanden
oefenen tussen de 1 en de 4 maanden ligt. Dit lijkt erop te duiden dat het merendeel van de
leerlingen gedurende kortere tijd intensief geoefend heeft, waarna ze een domeintoets mochten
maken. Slechts enkele leerlingen hebben gedurende het merendeel van het schooljaar geoefend (8
tot en met 10 maanden oefenen) en hebben daarna pas een domeintoets gemaakt.
Verdere analyse (niet zichtbaar in de tabel) laat zien dat voor de leerlingen met startniveau 2F er een
significant positief verband is tussen het aantal maanden tussen voormeting en nameting en de score
op de nameting. Dit geldt voor de domeinen getallen, meet en meetkunde en verbanden. Dit is niet
het geval voor het domein verhoudingen of voor de leerlingen met startniveau 3F.
17
Tabel 8: Aantal maanden geoefend tussen voormeting en domeintoets, per domein
2F
3F
2F
3F
2F
3F
2F
3F
getal
getal
verhoudingen
verhoudingen
meetkunde
meetkunde
verbanden
verbanden
Aantal
maanden
geoefend
Aantal personen
Aantal personen
Aantal personen
Aantal personen
Aantal personen
Aantal personen
Aantal personen
Aantal personen
1
214
308
198
200
163
200
281
338
2
217
183
232
153
146
135
304
198
3
206
192
252
152
149
104
253
148
4
170
111
200
117
110
100
232
121
5
147
69
168
62
105
64
177
85
6
139
35
121
30
106
35
166
38
7
100
29
106
15
85
17
117
21
8
50
8
50
11
49
10
63
8
9
7
21
10
19
12
18
19
12
10
0
2
0
2
2
0
0
0
18
Tabel 9 laat de gemiddelde score op de domeintoets zien. Omdat er nog geen enkele leerling van
startniveau 1F een domeintoets gemaakt heeft, zijn alle waarden hier 0. Tabel 9 laat zien dat zowel voor
f3 als voor f4 en zowel voor niveau 1F als voor niveau 2F er het hoogst gescoord wordt op getallen. Ook
zien we in Tabel 9 dat het laagste aantal leerlingen de domeintoets voor meet en meetkunde heeft
afgerond, terwijl het bij de andere 3 domeinen ongeveer evenveel leerlingen zijn.
Tabel 9: Gemiddelde score op de domeintoets
f3
Niveau 1F
Niveau 2F
Niveau 3F
Gemiddelde Score
Obs
Gemiddeld
St.Dev
Min
Max
Getallen
0
0.00
0.00
0
0
Verhoudingen
0
0.00
0.00
0
0
Meet en Meetkunde
0
0.00
0.00
0
0
Verbanden
0
0.00
0.00
0
0
Getallen
570
84.27
12.31
15
100
Verhoudingen
611
80.41
14.64
12
100
Meet en Meetkunde
319
82.45
12.56
47
100
Verbanden
650
83.26
13.45
27
100
Getallen
546
87.55
10.39
34
100
Verhoudingen
507
83.37
11.94
25
100
Meet en Meetkunde
260
85.04
11.66
40
100
Verbanden
474
82.91
12.90
40
100
f4
Niveau 1F
Niveau 2F
Niveau 3F
Gemiddelde Score
Obs
Gemiddeld
St.Dev
Min
Max
Getallen
0
0.00
0.00
0
0
Verhoudingen
0
0.00
0.00
0
0
Meet en Meetkunde
0
0.00
0.00
0
0
Verbanden
0
0.00
0.00
0
0
Getallen
570
71.13
16.60
8.3
100
Verhoudingen
611
67.28
19.28
9
100
Meet en Meetkunde
319
67.05
16.48
8.3
100
Verbanden
650
66.84
18.15
5
100
Getallen
546
80.42
12.82
13
100
Verhoudingen
507
74.13
16.18
15
100
Meet en Meetkunde
260
78.92
15.83
17
100
Verbanden
474
73.48
16.35
19
100
19
4. Onderliggende verbanden
In de gegevens zijn er enkele onderliggende verbanden zichtbaar. Deze verbanden zijn correlaties, vaak
op geaggregeerd niveau, en kunnen bij gebrek aan een controlegroep niet als causale verbanden
beschouwd worden. Toch zijn ze inzichtelijk omdat ze ons meer leren over het gebruik van ICT. De
verbanden worden voorgesteld op basis van enkele ‘onderzoekshypothesen’. Waar voorgaande
rapporteringen gebaseerd zijn op alle beschikbare gegevens, beperken we in dit hoofdstuk de data tot
alle ‘volledige’ leerlingen. Zowel observaties met lege cellen als observaties met foutief gelogde
gegevens (bijvoorbeeld de tijd voor de instaptoets is meer dan 3 uur) worden verwijderd. Dit levert een
steekproef van 9,898 observaties.
4.1 Wordt in scholen met lage leerprestaties meer met de ICT-tool gewerkt?
Om deze hypothese te verifiëren benaderen we de gemiddelde schoolprestaties als het gemiddelde
school- en/of centraal examen van de school (6-cijfer brin en gegevens van 2011, het laatst beschikbare
jaar). We corrigeren voor bijkomende controlevariabelen als klasgrootte van de leerling, de score op de
instaptoets van de individuele leerling, de tijd genomen voor de instaptoets, het rendement van de
school, percentage vsv, percentage leerlingen uit armoedeprobleem-cummulatiegebied (APCG), en het
percentage leerlingen in LWOO. Alle resultaten bevatten fixed effects op klasniveau, al zijn de resultaten
zonder fixed effects in teken en significantie gelijk. Bemerk dat fixed effects op schoolniveau niet
mogelijk zijn bij de toetsing van deze hypothese omdat de relevante variabelen op schoolniveau
gemeten worden. De resultaten zijn weergegeven in
20
Tabel 10.
Uit
21
Tabel 10 oberveren we dat bij hogere gemiddelde eindexamens er minder onderwerpen succesvol
beëindigd worden. Ook als het totaal aantal gemaakte oefeningen als uitkomstmaatstaf gehanteerd
wordt, eerder dan het aantal afgelegde onderwerpen, observeren we een gelijkaardig patroon (zie
model 3 en 4). Hoe hoger het centraal examen, hoe minder oefeningen er gemaakt worden. Dit
resultaat is robuust als er bijkomende controlevariabelen opgenomen worden in de regressie.
Omgekeerd wil dit ook zeggen dat de scholen met lagere cijfers op het centraal examen, en lagere cijfers
op het schoolexamen ook meer afgelegde onderwerpen hebben en meer oefenen. Dit suggereert dat
scholen ICT als een middel zien om achterstand in te halen. Dit wordt bovendien ook bevestigd door de
controlevariabelen in model 2 en 4. Hoe meer leerlingen uit APC-gebieden, hoe meer onderwerpen en
oefeningen er gemaakt worden. Deze variabelen zijn significant op 1%-niveau. Het aantal leerkrachten
per leerling heeft een negatieve, maar geen significante invloed op het aantal oefeningen en
onderwerpen.
22
Tabel 10: Verband tussen leerprestaties en doorloop in het programma en aantal oefeningen
Model 1
Model 2
Model 3
Model 4
Onafhankelijke variabele
Onderwerp
Onderwerp
Oefeningen
Oefeningen
Gemiddelde centraal examen (brin6)
-4.4697***
-0.0136
-89.6699***
-37.611
Gemiddelde school examen (brin6)
-3.751***
-43.9077
Instaptoets - score (lln niveau)
0.0407***
0.0391***
0.0933
0.0871
Instaptoets - tijd (lln niveau)
-0.0002***
-0.0003***
-0.0047***
-0.0048***
Gemiddelde instapscore (brin6 niveau)
0.0566**
0.14
Aantal leraren per lln (fte - brin6)
-0.288
-106.419
Materiaal kosten per lln (brin6)
-0.016
-180.326
vsv-percentage (brin6)
-0.357
-4.649
APCG-leerlingen (%) (brin6)
0.0367***
0.736**
LWOO-leerlingen (%) (brin6)
-0.0135
0.0592
Constante
30.3286***
23.647***
629.9820***
565.3156**
Fixed Effects
Klas
Klas
Klas
Klas
Aantal observaties
9898
9898
9898
9898
R²-adjusted
legende: * p<0.05; ** p<0.01; ***
p<0.001
0.1447
0.1376
0.176
0.174
4.2 Leidt meer oefenen tot betere prestaties?
Om na te gaan of meer oefenen met de ICT-tool leidt tot betere prestaties, correleren we het aantal
oefeningen dat leerlingen maken met de gemiddelde score op de toetsen. Omdat leerlingen die veel
oefenen net de minder sterke leerlingen kunnen zijn (wat zou kunnen leiden tot reversed causality)
corrigeren we voor de score die de leerling haalde op de instaptoets. Verder kijken we via een
multiplicator of sterke leerlingen die veel oefenen hogere scores behalen (gegeven dat ze veel oefenen
en gegeven dat ze een sterke leerling zijn). We corrigeren in model 2 en 3 voor klas fixed effects, en in
model 4 voor klas en school fixed effects. Op deze manier wordt er rekening gehouden met alle
geobserveerde en niet-geobserveerde factoren op klas- en schoolniveau.
De resultaten zijn weergegeven in Tabel 11. Hieruit blijkt dat leerlingen die veel oefenen merkbaar
hogere scores behalen. Gecorrigeerd voor het niveau op de instaptoets en voor het feit dat ze veel
oefenen, scoren sterke leerlingen die veel oefenen hoger op de onderwerptoets. In model 3 observeren
we ook dat hogere schoolexamens positief en significant correleren met hogere scores op de Gotit?!
toets. De resultaten zijn robuust in het meest uitgebreide model 4.
23
Tabel 11: Invloed van oefenen op leerprestaties
Model 1
Model 2
Model 3
Model 4
0.0002***
0.0001***
0.0048***
0.0005***
0.6274***
0.3405***
0.0001***
0.0026***
0.0004***
0.089
0.1719*
0.6638**
-0.0394***
-0.003
0.0023**
0
-1.2250*
0.0001***
0.0026***
0.0003***
(omitted)
(omitted)
(omitted)
(omitted)
(omitted)
(omitted)
(omitted)
0.4760***
Fixed effect
Aantal observaties
R²
9898
0.006
klas
5527
0.1204
klas
5527
0.2625
klas en
school
5527
0.3352
legende:
* p<.1; ** p<.05; *** p<.01
Onafh. Var: gemiddelde score
Aantal oefeningen (lln niveau)
Instaptoets - score (lln niveau)
Veel oefenen * score instaptoets
Gemiddeld centraal examen (brin6)
Gemiddeld school examen (brin6)
vsv-percentage (brin6)
APCG-leerlingen (%) (brin6)
LWOO-leerlingen (%) (brin6)
Constante
4.3 Leidt deelname aan het ICT-programma tot hogere toetsscores?
Het aantal keer dat een leerling oefent is (niet-geobserveerd) gecorreleerd met de mate waarin de
school en de leerkracht de ICT-tool wensen in te zetten en met de intelligentie van de leerling. Om dit
endogene gedeelte dat ontstaat door niet-geobserveerde heterogeniteit uit te zuiveren, passen we een
instrumentele variabelen techniek toe.
In lijn met Rouse en Krueger (2004) definiëren we deelname aan Gotit?! als de mate waarin leerlingen
onderwerpen hebben afgewerkt. Leerlingen die bijvoorbeeld slechts 2 onderwerpen hebben afgewerkt,
hebben veel minder contact gehad met het programma dan leerlingen die alle elf de onderwerpen
hebben afgewerkt. Het aantal oefeningen dat leerlingen maken is bijgevolg sterk gecorreleerd met de
mate waarin leerlingen in het programma deelnamen. Omgekeerd heeft deelname in het programma
niet rechtstreeks een verband op de toetsresultaten, maar enkel via het aantal oefeningen dat gemaakt
werd. Dit zorgt ervoor dat de mate van deelname aan Gotit een goed instrument vormt (dit blijkt ook uit
de ‘first stage analysis). Schematisch is de IV als volgt:
Gemiddelde toetsscore
aantal oefeningen
Deelname aan het ICT programma
De resultaten van de instrumentele variabelen regressie zijn weergegeven in
24
Tabel 12. Een eerste en tweede regressie model neemt deelname aan de ICT-tool op als dichotoom
instrument. Leerlingen die minder dan twee onderwerpen volledig aflegden worden vergeleken met
leerlingen die meer dan 10 onderwerpen volledig aflegden. In model 3 tot 5 wordt het aantal
onderwerpen als een continue variabele beschouwd. Model 2 en 4 controleren bovendien voor klas
fixed effect. In model 5 worden zowel klas als school fixed effects opgenomen. Dit laat ons toe om voor
een brede waaier aan geobserveerde en niet-geobserveerde kenmerken te corrigeren. Wel vallen
hierdoor de coëfficiënten van de schoolvariabelen die we eerder in het model hadden weg (omitted).
De resultaten zijn robuust over de verschillende modelspecificaties heen. In elk van de modellen leidt,
gegeven de deelname aan de ICT tool, het aantal oefeningen tot hogere resultaten. De ICT-tool leidt tot
hogere leerresultaten van de leerlingen.
Tabel 12: Instrumentele variabelen analyse
Onafh. Variab.: post-test scores
model1
model2
model3
model4
model5
Aantal oefeningen (lln niveau)
0.0007***
0.0007***
0.0008***
0.0006***
0.0006***
Instaptoets - score (lln niveau)
0.0049***
0.0027***
0.0051***
0.0028***
0.0027***
Instaptoets - tijd (lln niveau)
0.0000***
0.0000***
0.0000***
Gemiddelde centraal examen (brin6)
0.0701
0.1208*
(omitted)
Gemiddelde school examen (brin6)
0.247**
0.1197*
(omitted)
Aantal leraren per leerling (fte - brin6)
0.501
0.379
(omitted)
Materiaal kosten per leerling (brin6)
-0.828***
-0.642***
(omitted)
vsv-percentage (brin6)
0.0579**
-0.021
(omitted)
APCG-leerlingen (%) (brin6)
0.0016
0.0015**
(omitted)
LWOO-leerlingen (%) (brin6)
-0.0117
0.0008
(omitted)
Constante
0.3060***
-1.649**
0.2993***
-1.1262**
0.4284***
Instrument
Deelname dummy
(veel of weinig)
Deelname dummy
(veel of weinig)
Deelname continu
Deelname
continu
Deelname
continu
Klas
klas en
school
9898
9898
Fixed effects
Number of observations
Klas
5478
R²-adjusted
0.0817
5478
9898
0.0765
Legend: * p<.1; ** p<.05; *** p<.0.01
5. Allocatieve efficiency
Het model van allocatieve efficiëntie schat de optimale verdeling, in tijd, geld, aantallen of dergelijke,
van inputs om zo efficiënt mogelijk outputs te produceren. Hier wordt gekeken naar de werkelijke
25
verdeling over de inputs en wordt vervolgens berekend wat de optimale verdeling zou zijn om zo
efficiënt mogelijk te opereren. In het geval van Gotit?! kijken we naar de efficiënte verdeling van tijd
over de verschillende onderdelen per domein van rekenen. Bij het domein getallen onderzoeken we
bijvoorbeeld of leerlingen misschien teveel tijd of oefenmomenten aan procenten besteden en te weinig
aan optellen en aftrekken. Hierbij kijken wij naar gemiddelde score van het domein getallen op de
voormeting en vervolgens ook op de domein-eind-toets die de leerling gemaakt heeft. Dit leert ons of
docenten, of eventueel de software, zouden moeten sturen in de onderwerpen waar leerlingen meer of
minder mee zouden moeten oefenen.
We nemen in de analyse per domein alleen de leerlingen mee die al een domeintoets of alle losse
onderwerptoetsen gemaakt hebben. Dit betekent dat we 4 aparte analyses maken, voor de 4 domeinen
van rekenen. Per domein analyseren we zowel het optimale aandeel van het aantal keer oefenen per
onderdeel als van het aantal seconden oefenen per onderdeel.
26
Tabel 13 a t/m d laten de werkelijke verdeling van het aantal keer oefenen en het totaal aantal
seconden oefenen voor de onderdelen van de 4 domeinen zien, en daarnaast de afwijking ten opzichte
van de optimale verdeling. Een minteken betekent hier dat er op dit onderdeel gemiddeld genomen te
weinig geoefend is, een plusteken betekent dat er gemiddeld genomen teveel geoefend is. Het eerste
dat opvalt in
27
Tabel 13 is dat bij domeinen verhoudingen en verbanden (tabel b en d) er eigenlijk al een optimale
verdeling is. De gemiddelde efficiëntiecijfers (niet in tabel a t/m d) laten bij deze twee domeinen ook
zien dat de leerlingen gemiddeld erg efficiënt zijn in hun oefengedrag om een zo goed mogelijke score
op de domeintoets te behalen. Voor het domein getallen zien we in tabel a dat studenten het vaakst
oefenen met kommagetallen, maar juist het meeste tijd besteden aan hele getallen delen en
vermenigvuldigen. Echter zouden ze minder tijd moeten besteden aan kommagetallen, en meer aan de
andere onderdelen van getallen. Daarnaast zouden ze ook vaker moeten oefenen met het onderdeel
optellen en aftrekken (1,8 procent vaker, wat een stijging betekent van 20, het huidige gemiddelde over
2F en 3F, naar 21 keer). Wat betreft het domein meet en meetkunde zien we dat de verdeling van aantal
keer oefenen en oefentijd ongeveer gelijk is over de drie onderdelen. Echter zouden leerlingen minder
moeten oefenen met het onderdeel lengte, oppervlakte en inhoud (1,2% minder, van 23 naar 22 keer),
en meer met meetkunde (van 21 naar 22 keer) en grootheden en maten (van 17 naar 18 keer).
28
Tabel 13: Allocatieve efficiency (tabellen a t/m d)
A
Getallen
Werkelijke verdeling
Aanpassing naar optimale verdeling
Aantal keer
Tijd in seconden
Aantal
Tijd in seconden
Hele getallen + en -
0.225
0.196
-0.018
-0.000
Hele getallen : en x
0.276
0.374
0.005
-0.000
Breuken
0.160
0.160
0.008
-0.001
Kommagetallen
0.339
0.270
0.006
0.001
B
Verhoudingen
Werkelijke verdeling
Aanpassing naar optimale verdeling
Aantal keer
Tijd in seconden
Aantal
Tijd in seconden
Verhoudingsproblemen
0.503
0.495
0.000
-0.000
Procenten
0.497
0.505
-0.000
0.000
C
Meet en Meetkunde
Werkelijke verdeling
Aanpassing naar optimale verdeling
Aantal keer
Tijd in seconden
Aantal
Tijd in seconden
Grootheden en maten
0.349
0.358
-0.004
0.000
Lengte, oppervlakte en inhoud
0.396
0.426
0.012
-0.000
Meetkunde
0.255
0.216
-0.009
0.000
D
Verbanden
Werkelijke verdeling
Aanpassing naar optimale verdeling
Aantal keer
Tijd in seconden
Aantal
Tijd in seconden
Gegevensverwerking
0.556
0.544
0.000
-0.000
Rekenvoorschriften
0.444
0.456
-0.000
0.000
Een tweede analyse, waarin we alleen leerlingen die Gotit!? zeer weinig gebruiken en de leerlingen die
het veel gebruiken vergelijken (hierbij nemen we het laagste kwintiel (de laagste 20%) van leerlingen
met betrekking tot oefentijd en het hoogste kwintiel (de 20% leerlingen met de hoogste oefentijd)), laat
geen verschil in allocatieve efficiëntie zien voor deze twee groepen op de 4 domeinen.
29
6. Conditionele efficiency
De invloed van Gotit?! op leerprestaties en efficiëntie wordt bepaald via een ‘conditioneel DEA model’
(Daraio en Simar, 2007; De Witte en Kortelainen, 2013). Deze onderzoeksmethode is gebaseerd op het
niet-parametrische Free Disposal Hull (FDH) model. Dit is een aantrekkelijke methode om vier redenen:
(1) Er wordt geen voorkennis verondersteld over het exacte verloop van de relatie tussen inputs
(voorbeeld budget / tijd) en outputs (voorbeeld leerprestaties). Dit is een bijzonder goede eigenschap
aangezien er bijna nooit informatie is over de productiefunctie; (2) Er is geen prijsinformatie nodig over
de leerlingprestaties; (3) Er wordt in de efficiëntieanalyse rekening gehouden met uitbijters en
schoolkenmerken; (4) De methode laat toe om meerdere inputs en outputs tegelijkertijd op te nemen.
Zo hoeft er geen beperkende keuze in inputs en outputs gemaakt te worden.
In dit efficiëntiekader worden scholen met elkaar vergeleken door middel van een benchmark. Scholen
die met gegeven inputs de hoogste leerlingprestaties behalen, krijgen een efficiëntiescore van 100
procent. Scholen die onder de benchmark scoren, krijgen een lagere score. Het verschil van 100 minus
de efficiëntiescore van de school komt overeen met de mogelijke verbetering voor deze school. Dit
betekent dat de school met hetzelfde budget hogere leerlingprestaties zou kunnen bereiken, of anders
gezegd, dezelfde leerlingprestaties kan bereiken met minder geld. Uiteraard worden alleen vergelijkbare
scholen onderling vergeleken. We corrigeren op deze manier voor geobserveerde schoolkenmerken (zie
ook Haelermans & De Witte, 2012).
We concentreren ons in deze exercitie op leerlingen die instaptoets 1F namen en alle onderwerpen
volledig doorlopen hebben. Leerlingen moeten, gegeven hun instapscore en tijd voor de instaptoets (dit
zijn de twee inputs), de gemiddelde score op de eindtoets maximaliseren (dit is de output). De eerste
input is een maatstaf voor de intelligentie van de leerlingen. Ze is vaak ook gecorreleerd met
achtergrondkenmerken van de leerlingen waarvoor we geen informatie hebben (vb. opleiding van de
ouders). De tweede input is een benadering voor de verwerkingssnelheid van leerlingen. De output is de
gemiddelde score op de verschillende domeinen die de leerling heeft afgelegd. Grafisch is de grens van
best practices tweedimensionaal weergegeven in Figuur 2: FDH grens met 1 input en 1 output
30
Figuur 2 (een driedimensionale weergave zou beter zijn aangezien er twee inputs zijn, maar dit is
moeilijker grafisch te interpreteren). Er blijkt 1 uitbijter te zijn in de gegevens. Het efficiency model zal
hier automatisch rekening mee houden. Enkele leerlingen zijn ‘best practice’: gegeven de score op de
instaptoets en gegeven hun tijd, zijn er geen leerlingen die een hogere gemiddelde eindtoets behalen.
De traditionele FDH houdt geen rekening met de omgevingskenmerken van de leerlingen. Het
conditionele FDH model doet dit wel aangezien het enkel vergelijkbare observaties vergelijkt. De
efficiëntiescores die uit elk van deze modellen komt interpreteren is niet echt zinvol. Wel is het zinvol
om de efficiency waarin er rekening wordt gehouden met individuele- en schoolkenmerken (het
‘conditionele efficiency model’) te vergelijken met de efficiency waarin dit niet werd gedaan. Dit geeft
immers een aanknopingspunt om te bepalen wat de efficiency van leerlingen verklaart (zie De Witte &
Kortelainen (2013) voor een formele toelichting, en De Witte & Geys (2013) en Haelermans en De Witte
(2012) voor toepassingen van deze methode).
In het ‘conditionele efficiency’ model houden we rekening met zowel individuele- en schoolkenmerken,
als maatstaven voor de ICT inzet van de leerling en de school. Meer bepaald het leerjaar van de leerling,
de klasgrootte, het schoolgemiddelde op centraal examens, het aantal leraren in de school (in fte) en
het aantal oefeningen dat de leerling maakt. In een tweede modelspecificatie nemen we daarnaast ook
de uitgaven voor materiele kosten zonder huisvesting op. Deze kosten zijn immers sterk gecorreleerd
aan ICT uitgaven van de school.
31
Figuur 2: FDH grens met 1 input en 1 output
De resultaten van de niet-parametrische analyse laten zien dat sommige variabelen een merkbare
invloed hebben op de efficiency van leerlingen (gemeten als het maximaliseren van de gemiddelde
eindtoets gegeven de score en tijd van de instaptoets). Leerlingen uit hogere leerjaren zijn minder
efficiënt, net als grotere klassen. Hoe hoger de gemiddelde score op het centraal examen van de school
hoe hoger de geobserveerde efficiency.
32
Tabel 14: Factoren die de efficiency beïnvloeden op 1F
Model 1
Richting
correlatie
Model 2
Richting
correlatie
p-waarde
p-waarde
Leerjaar
Gemiddelde cijfer centraal
examen
Klasgrootte
Ongunstig
0.001
***
Ongunstig
0.01
***
Gunstig
0.005
***
Gunstig
0.001
***
Ongunstig
0.05
**
Ongunstig
0.69
Aantal leerkrachten (FTE)
Gunstig
0.001
***
Ongunstig
0.015
***
Aantal oefeningen
Gunstig
0.001
***
Ongunstig
0.005
***
Gunstig
0.001
***
Materiële investeringen
* Significant op tienprocent-niveau, ** Significant op vijfprocent-niveau, en *** significant op
éénprocent-niveau
33
Literatuur
Arroyo, I., Park Woolf, B., Royer, J. M., Tai, M., & English, S. (2010). Improving Math Learning through
Intelligent Tutoring and Basic Skills Training. In V. Aleven, J. Kay & J. Mostow (Eds.), ITS 2010, Part i, LNCS
6094 (pp. 423-432). Berlin Heidelberg: Springer-Verlag.
Barta, J. J., & Allen, M. G. (1995). The Dilemma of Tracking and Grouping in Early Childhood and Middle
Grades: Are We Speaking the Same Language. Bloomington/Indiana: Phi Delta Kappa Educational
Foundation.
Becker, H. J. (1990). Effects of Computer Use on Mathematics Achievement. Findings from a Nationwide
Field Experiment in Grades Five to Eight. Classes: Rationale, Study Design, and Aggregate Effect Sizes.
Baltimore, MD.: Center for Research on Elementary and Middle Schools.
Bosker, R. (2005). De grenzen van gedifferentieerd onderwijs. Groningen: Universiteit van Groningen.
Burns, M. K., Kanive, R., & DeGrande, M. (2012). Effect of a Computer-Delivered Math Fact Intervention
as a Supplemental Intervention for Math in Third and Fourth Grades. Remedial and Special Education,
33, 3.
Commissie Meijerink. (2008). Over de drempels met taal en rekenen - Hoofdrapport van de expertgroep
doorlopende leerlijnen taal en rekenen. Enschede.
Christensen, C. A., & Gerber, M. M. (1990). Effectiveness of computerized drill and practice games in
teaching basic math facts. Exceptionality: A Special Education Journal, 1(3), 149-165.
De Witte, K. and Geys, B. (2013). Citizen Coproduction and Efficient Public Good Provision: Theory and
Evidence from Local Public Libraries. European Journal of Operational Research 224, 592-602.
De Witte, K. & Rogge, N. (2013). Does ICT matter for effectiveness and efficiency in secondary
education. TIER Working paper series. Mimeo.
De Witte, K. and Kortelainen, M. (2013), What Explains Performance of Students in a Heterogeneous
Environment? Conditional Efficiency Estimation with Continuous and Discrete Environmental Variables.
Applied Economics 45(17). 2401-2412.
Forsten, C., Grant, J., & Hollas, B. (2002). Differentiated Instruction. Different Strategies for Different
Learners. Peterborough: Crystal Spring Books.
Fischer, K. W., & Rose, L. T. (2001). Webs of skill: How students learn. Educational Leadership, 59(3), 6123.
Haelermans, C., J. Ghysels, D. Stals, & F. Weeda. (2013). Het effect van online digitaal oefenen op
rekenprestaties van brugklasleerlingen. Economisch Statistische Berichten, 98(4671), 650-653.
34
Haelermans, C. and De Witte, K. (2012). The role of innovations in secondary school efficiency –
Evidence from a conditional efficiency model. European Journal of Operational Research 223, 541-549.
Kulik, C. L. C., & Kulik, J. A. (1982). Effects of ability grouping on secondary school students: A metaanalysis of evaluation findings. American Educational Research Journal, 19(3), 415-428.
Lou, Y., Abrami, P. C., Spence, J. C., Poulsen, C., Chambers, B., & d'Apollonia, S. (1996). Within-class
grouping: A meta-analysis. Review of Educational Research, 66(4), 423-458.
MacGregor, S. K., Shapiro, J. Z., & Niemiec, R. (1998). Effects of A Computer-Augmented Learning
Environment on Math Achievement For Students With Differing Cognitive Style. Journal of Educational
Computing Research, 4(4), 453-465.
Reezigt, G. J., Houtveen, A. A. M., & Van de Grift, W. (2001). Vormgeving en effecten van adaptief
onderwijs. Groningen: RUG/GION.
Rouse, C. E., & Krueger, A. B. (2004). Putting computerized instruction to the test: a randomized
evaluation of a “scientifically based” reading program. Economics of Education Review, 23(4), 323-338.
Tournaki, N. (2004). The Differential Effects of Teaching Addition Through Strategy Instruction Versus
Drill and Practice to Students With and Without Learning Disabilities. Journal of Learning Disabilities,
36(5), 449-458.
Tomlinson, C. A. (2004). Reserach evidence for differentiation. School Administrator, 61(7), 30.
Tomlinson, C. A., & Kalbfleisch, M. L. (1998). Teach me, teach my brain: A call for differentiated
classrooms. Educational Leadership, 56(3), 52-55.
35

Download Report