Bouwstenen en bezinning, TOA-toetsresultaten in het

Annet Berntsen
feb '14
Les 187
36
Bouwstenen en bezinning
De afgelopen drie jaar verzamelde
Bureau-ICE een schat aan scores
over het startniveau taal en
rekenen in het middelbaar
beroepsonderwijs. De gegevens
werden verzameld bij vrijwel alle
ROC’s.
Het betreft scores op de
zogenaamde TOA-toets(Toolkit
Onderwijs en Arbeidsmarkt).
De analyse van de TOA-toetsen
bood een schat aan informatie.
Bureau ICE deelde die informatie
met het beroepsonderwijs op een
conferentie eind oktober 20131 en
in een publicatie2. In dit artikel
trekt Karen Heij, directeur van
Bureau-ICE, in gesprek met
Lesredacteur Annet Bernsten
enkele conclusies: ‘Wordt het niet
eens tijd dat we ons bezinnen op
de niveaus?’
TOA-toetsresultaten in het mbo
De TOA-toets, ontwikkeld door
Bureau-ICE, stelt de niveaus van reken- en taalvaardigheid vast en wordt
afgenomen als studenten aan het middelbaar beroepsonderwijs beginnen.
Steeds vaker is de TOA ook een
voortgangstoets, want het mbo is
sinds een paar jaar verplicht om met
studenten toe te werken naar de referentieniveaus. Voor de opleidingsniveaus 1, 2 en 3 is het doel te komen
tot niveau 2F, voor de niveau 4 opleidingen is 3F het te behalen niveau.
Drie conclusies en tien
bouwstenen
Een eerste conclusie is dat het niveau
van de instroom nog steeds niet
matcht met de niveaus die behaald
zouden moeten worden. Dat beeld is
nog niet verbeterd. Het is voor iedereen bekend dat het opnieuw invoeren
van taal- en rekenonderwijs in het beroepsonderwijs pionieren betekende.
Er waren te weinig docenten beschikbaar en de ruimte voor ontwikkeling
is nog steeds beperkt.
Een tweede conclusie is dat het niveau taal en rekenen hoger is naarmate
een cursist een hogere opleiding start.
Dit is positief voor de toeleveranciers
van het beroepsonderwijs. Meer aandacht voor taal in het vmbo heeft zin.
Mbo-studenten op niveau 4 zijn vaardiger in taal en rekenen dan studenten
op niveau 3. De laatste zijn weer vaardiger dan studenten op niveau 2 en die
scoren weer beter dan studenten op niveau 1.
Een derde reeks van conclusies is getrokken door met een open mind te
kijken naar start- en voortgangsscores
volgens de referentietoetsen van de
TOA. De progressie op taal en rekenen
gedurende de opleiding is niet altijd
even groot. Gemiddeld gaan studenten
er maar een kwartniveau op vooruit.
Het mbo onderhoudt dus het niveau
maar is niet in staat om achterstanden
weg te werken tot op het doelniveau.
•Bij luisteren halen studenten het beoogde eindniveau wel.
•Op taalverzorging wordt vrijwel
geen progressie geboekt.
•Bij rekenen zien we een heel ander
fenomeen: het is evident dat studenten groeien, maar ze vallen weer terug na de zomervakantie. Alleen aan
het einde van niveau 4 maken ze wel
een spurt naar het beoogde niveau.
•Alleen mbo 3-studenten komen in
de buurt van het vereiste eindniveau.
•Voor mbo 2 en mbo 4 zijn de problemen het grootst om het eindniveau te behalen, vooral bij rekenen.
Deze kwantitatieve gegevens laten
ook zien dat de kwaliteit van het taalen rekenonderwijs enorm varieert.
Waarom heeft een bepaald ROC be
Gun het mbo de tijd
tere resultaten op taal, en juist in die
beroepsrichtingen? Hoe komt het dat
juist bepaalde opleidingen voor rekenen betere scores behalen?
Daarom heeft Bureau ICE ook een
kwalitatief onderzoek gedaan. Dit bestond uit diepte-interviews op tien
ROC’s en een enquête die beantwoord is door 119 taal-en rekendocenten. In de publicatie Het streefniveau voorbij, bouwstenen voor succesvol taal- en rekenonderwijs2
wordt de verbinding gelegd tussen
toetsscores en succesfactoren.
Dat levert tien bouwstenen op voor beter taal- en rekenonderwijs in het mbo.
Tien bouwstenen voor goed
taal- en rekenonderwijs in
het mbo
1.Stevige sturing op taal en rekenen leidt tot betere resultaten.
2.Een docent in zijn kracht boekt succes.
3.Remedial teaching boven Taal en Rekenen; taal- en rekenlessen apart of integraal in het programma?
4.Beroepsgericht taalonderwijs als ambitie.
5.Bij rekenen is nog veel te winnen.
6.Meer rendement door te toetsen.
7.In het vmbo is winst te boeken.
8.Teams aan zet.
9.Motivatie als sleutel tot succes.
10.Maatwerk als standaard.
Karen Heij: ‘Leerstofonafhankelijke
toetsen als de TOA zien wij bij ICE
als hulpmiddel voor het onderwijs.
De focus lag voor ons altijd al bij de
start van de opleiding. Hoe groot is
het probleem: hoe ver zit een leerling
van het beoogde niveau af? Laten we
dat meten, onafhankelijk van een
lesmethode. Intussen zitten wij op
een bak met data, drie miljoen om
precies te zijn. Wat kunnen we daarmee doen voor het onderwijs, welke
waardevolle bouwstenen zijn daarin
te vinden?
Zo tonen onze gegevens aan dat
leerlingen langzamerhand iets vaardiger
uit het vmbo komen. De aandacht
voor taal en rekenen daar levert dus
wat op. Het gemiddelde van scores op
de TOA-toetsen in het beroepsonderwijs is misschien teleurstellend, maar
wij zien ook zulke succesverhalen. Het
kan wel! Daar gaat het goed! Die parels
komen boven drijven en hebben veel
met elkaar gemeen. Dat is interessant
om te delen met het veld. Daaruit destilleerden we de tien bouwstenen voor
succes.
leerlingen die al 16 jaar zijn of ouder,
van het ene niveau naar het andere?
Taaldocenten wisten gewoon te weinig, voor rekenen waren er niet eens
vakdocenten! Het mbo is nu pas de
weg aan het vinden. Ik geloof erin
dat je een ambitie kunt neerleggen
om in het onderwijs iets nieuws te
realiseren, maar mensen zijn de weg
aan het vinden. Ik heb persoonlijk en
als taalkundige de behoefte gehad om
al doende te bekijken wat wel of niet
werkt.
Alle ROC’s die met regie aan taalen rekenonderwijs werken, doen het
beter. Regie is niet voor niets onze
eerste bouwsteen. Daarnaast moet het
taalonderwijs ‘inzakken’ in een team.
Blijf ook meten. Zo kan de taal- en
rekendocent een krachtige docent blijven. De veerkracht van de docent in
het beroepsonderwijs is bijzonder. Het
zijn doeners en ze zijn zeker niet bang
om te experimenteren. Goede taaldocenten doen het ook echt erg goed!
Soms waren ze voorheen Nt2-docent
in het volwassenenonderwijs. Hun input is positief omdat zij een beeld en
ideeën hebben over niveauverhoging.
Minder succesvolle ex-Nt2-docenten
zijn er ook. Niet iedereen is zomaar in
staat een mbo-klas goed te managen.’
Wat zie je in het mbo gebeuren?
‘Gun het mbo de tijd om het goed te
doen! Er moesten van overheidswege
niveaus worden ingevoerd, maar er
was geen blauwdruk voor scholen
hoe dat moest gebeuren. Niemand
wist hoe dat moest: hoe breng je mbo
Een van de bouwstenen is RT boven
TR, kun je dat uitleggen?
‘Veel ROC’s begonnen met taal- en
rekencentra op één locatie voor alle
studenten, buiten de reguliere lessen
om. Dat werkt dus niet, dat is geld in
We zien zulke mooie succesverhalen.
Het kan wel!
37
Les 187
Was er een aanleiding voor de analyse
van de TOA-scores?
feb '14
In gesprek met Karen Heij,
directeur van Bureau-ICE
feb '14
Les 187
38
In deze tabel is per mbo-niveau per periode zichtbaar hoe de studenten landelijk gemiddeld scoren op de referentietoetsen van de TOA, uitgedrukt in
ontwikkelscores.Voor de hogere mbo-niveaus zijn data over meerdere periodes beschikbaar omdat deze opleidingen langer durenn
een put mikken. Taal en rekenen moe
ten een plek krijgen in het curriculum.
We zien dat terug in de data: waar
taal- en rekenen dichtbij het beroep
aangeboden worden, werkt het beter.
Taal- en rekenonderwijs moet maatwerk zijn: wat heb je als student nodig,
passend bij deze beroepsopleiding?
Dus geen remedial teaching, maar
aanvullen op wat nu nodig is. Dat kan
eventueel nog in een taal- en rekencentrum op de eigen locatie, maar ingebed en met docenten als echte experts. Dat betekent ook niet-generiek
naar het aanbod durven kijken. Hoe
motiverend zijn verplichte lessen voor
studenten die al op het vereiste referentieniveau zitten? Wie heeft er extra
uren nodig? Taal- en rekenonderwijs
zou je dus niet verplicht moeten stellen. Stel wel als team borging en onderhoud vast van deelvaardigheden, op
basis van voortgang die gedurende de
hele opleiding wordt gemaakt.’
Welke rol zie je voor de taaldocent?
‘Het feit dat taal apart getoetst wordt
in examens, wil niet zeggen dat taal
geïntegreerd in het vakonderwijs niet
meer van belang is. Dat heeft juist de
voorkeur. Daar waar taal gekoppeld
wordt aan het vakonderwijs, daar
gaan de resultaten echt omhoog. Voor
leren is motivatie een heel belangrijke
factor en die motivatie vindt de student in de vaklessen. Maar, echt taalgericht vakonderwijs zie ik nergens
van de grond komen. Begrijp me
goed: ik geloof in de zogenaamde
drieslag taal3. Maar de taaldocent kan
het beste vakgericht met taal bezig
zijn. De taaldocent die weet wat de
vakdocenten aan het doen zijn, en
daar de lessen Nederlands op afstemt,
die taaldocent boekt betere resultaten.
Mijn pleidooi is om vooral geen slaaf
te worden van een taalmethode, maar
de creatieve speler. Je moet als docent
de ruimte krijgen en heel goed de
vakinhoud kennen om te werken aan
onderhoud en niveauverhoging, voor
alle deelvaardigheden.’
TOA- en COE-toetsen: meten die hetzelfde?
‘De TOA is een goede voorspeller
van de kans op succes. Wij zorgen ervoor dat de kans zo klein mogelijk is
dat een student slaagt op de TOA en
zakt op het centraal ontwikkelde examen. (COE, dit zijn de Centraal Ontwikkelde Examens voor het mbo
voor rekenen, luisteren en lezen door
Cito, AB)
Dat de TOA dus iets moeilijker is
dan het centraal ontwikkelde examen,
dat is een bewuste keuze. Maar we zien
nu dat de TOA - met name voor reke-
Als het gemeenschappelijk referentiekader wordt
losgelaten, dan trekken we een mist op
nen - heel veel moeilijker blijkt in vergelijking met de COE-eindtoets. Zoveel moeilijker, dat we de cesuur hebben moeten bijstellen. (De cesuur is de
zak/slaaggrens, AB)
Inhoudelijk vind ik dat eigenlijk niet
kunnen. Lastiger is de vergelijking van
scores op luisteren en lezen. De TOA
toetst die vaardigheden apart. De
COE-eindscore voor taal is één punt,
gebaseerd op een optelling van de scores luisteren en lezen. Wij weten niet
hoe die score opgebouwd is. Dat is nu
nog een black box. Als we willen leren
van elkaar, zou ik meer openheid verwachten: zo wegen we lezen en luisteren. Als er nu gezegd wordt dat er betere resultaten behaald worden op taal
in het mbo, dan kan ik dat uitsluitend
verklaren omdat de zak/slaaggrens gezakt is. Slaagde je eerst bij 65% goed,
nu is dat bij 59%.
Maar, wat zijn we dan aan het doen?
We moeten of accepteren dat nu nog
heel veel studenten zakken, of we leggen de meetlat één niveau onder wat
eigenlijk gewenst zou zijn, en verwachten dat het niveau pas in de loop der
jaren omhoog kan. Als je nu al de cesuur laat zakken, dan trek je een mist
op. De situatie is dan dezelfde als in het
verleden: van de ene leerling kun je
zeggen dat je die goed vindt, en een
ander vindt van niet. Dat was de situa-
We moeten het probleem duidelijk
maken: leerlingen en studenten voldoen nog niet aan het vereiste niveau
volgens het Referentiekader. Door de
cesuur te verlagen lijkt het voor de
buitenkant (lees: de politiek) of het beter gaat op het mbo. Dat vind ik geen
goede zaak.’
Annet Berntsen
Kun je de titel van jullie publicatie
nog eens duiden: Het streefniveau
voorbij?
Er zit bewust iets dubbels in de titel.
Enerzijds zijn de streefniveaus nog
niet eens in zicht. Wordt het daarom
niet eens tijd dat we ons bezinnen op
de niveaus? Is dit wel realistisch, is dit
wel voor iedereen haalbaar? Als je
kijkt naar de student die na een mbo4 opleiding het hbo wil gaan doen,
dan is niveau 3F heel legitiem.
Maar al die leerlingen die vanuit het
mbo 4 gewoon als vakman of vakvrouw aan de slag gaan en niet naar
Noten
1.De conferentie vond plaats op 29
oktober 2013.
2.Het streefniveau voorbij, bouwstenen voor succesvol taal- en rekenonderwijs.
De publicatie is te downloaden op:
www.toets.nl/uploads/Rendement
sonderzoek%20Het%20streefnivea
u%20voorbij.pdf
De tabellen bij dit artikel zijn af-
komstig uit deze publicatie.
3.Drieslag taal: een model voor de
integratie van taal- en vakontwikkeling in het beroepsonderwijs.
Zie: www.itta.uva.nl/projecten/
drieslag-taal-20
De ontwikkelscores zijn een verfijnde waarde. Hiermee wordt vooruitgang inzichtelijk gemaakt
zónder dat een student een referentieniveau vooruit hoeft te zijn gegaan
TOA is de online toetsenbank van Bureau ICE waarmee de voortgang van
deelnemers op het gebied van taal en
rekenen efficiënt gemonitored kan
worden. De toetsen taal en rekenen in
de TOA zijn ontwikkeld aan de hand
van het Referentiekader doorlopende
leerlijnen taal en rekenen van de commissie Meijerink of van het Europees
Referentiekader, oftewel Common European Framework of Reference (ERK/
CEF).
In de TOA zijn toetsen te vinden voor
Nederlands en rekenen, maar ook
voor de moderne vreemde talen Engels, Frans en Duits en voor het meten
van studievaardigheid.
De toetsen in de TOA hebben een
diagnostische functie. Toetsen met de
TOA is geen doel op zich, maar een
middel om de leerprestaties van studenten te vergroten.
De toetsenbank kan voor verschillende doelen worden ingezet, bijvoorbeeld voor het vaststellen van het
startniveau of om de voortgang van
een deelnemer te evalueren. Er is keuze uit meer dan 500 toetsen die zijn
goedgekeurd door de onderwijsinspectie.
De gebruiker kan eenvoudig inloggen
met gebruikersnaam, wachtwoord en
instellingscode. Hij heeft dan direct
toegang tot de hele digitale toetsenbank. De toetsen kunnen eenvoudig
worden klaargezet voor de deelnemers.
Voor meer informatie: www.toets.nl
feb '14
het hbo gaan, voor hen is 3F te veel
gevraagd. Anderzijds zien we talrijke
succesverhalen, het kan wel! Als ik nu
mocht besluiten, dan zou ik de lat laten liggen waar die ligt en onszelf tijd
gunnen om het goed te gaan doen.
Studenten hebben recht op goed taalen rekenonderwijs.’
39
Les 187
tie van vóór het gemeenschappelijk referentiekader. Die niveaus zijn zo belangrijk omdat leerlingen anders onvergelijkbaar zijn. Als een leerling 2F
op het vmbo gehaald heeft, kan het
niet zo zijn dat hij 2F op het mbo niet
behaalt, omdat de cesuur daar hoger
ligt. Stel dat je die leerling bent?

Download Report