Het maken van een goede toets: validiteit

Het maken van een goede toets is van groot belang. Tenslotte wil je door middel van het toetsen meten of leerlingen genoeg van het onderwerp hebben geleerd. Validiteit is het belangrijkste onderdeel in het beoordelingsproces, toch krijgt het niet de aandacht die het zou moeten krijgen. Validiteit gaat om de vraag of de test wel meet wat hij zou moeten meten. Het beoordelen van de validiteit kan aan de hand van het model van Crooks uit 1996. Dit model bestaat uit acht onderdelen waarin validiteit een rol speelt.

Toetsen

Toetsen is een belangrijk onderdeel van het leren. Een goede toets meet niet alleen wat de leerlingen kunnen, maar is ook leerzaam. Uiteraard moet je bij een goede toets van te voren weet of hij daadwerkelijk meet wat hij moet meten. Het model van Crooks helpt je met het beoordelen van de validiteit.

Model van Crooks

In het kort bestaat het model van Crooks uit de volgende acht stappen:

1. Administratie van taken voor de leerling: welke taak leg je voor?
2. Scoren: hoe scoor je de prestaties van de leerling op bepaalde taken?
3. Aggregeren: hoe combineer je losse subscores tot een totaalscore?
4. Generaliseren: van de specifieke taak naar een heel domein.
5. Extrapoleren: van gemeten bekwaamheid naar de bedoelde bekwaamheid.
6. Evaluatie: beoordeling vormen van de prestaties van de leerling
7. Beslissing: gaat over de te nemen acties.
8. Impact: wat is de impact van de beoordeling op de leerling en andere participanten?

De verschillende onderdelen van deze lijst zullen hieronder verder worden toegelicht.

Administratie

Administratie heeft te maken met het kiezen van de taken die de leerlingen moeten maken tijdens een test. Dit moet zorgvuldig gedaan worden, anders kan het grote invloed hebben op de validiteit. Wanneer taken uitgekozen worden die niet motiverend zijn voor de leerlingen, zullen ze lager scoren dan ze kunnen. Dit kan komen omdat ze denken dat de leerstof niet relevant is voor hun leven of omdat ze verwachten dat ze toch wel laag scoren, hoe goed ze ook leren. Naast een slechte motivatie kan faalangst een rol spelen. Dit komt juist voort uit een te hoge motivatie. Faalangst geeft een verkeerd beeld van de prestaties van deze leerlingen. Omstandigheden tijdens het maken van de toets zijn eveneens van invloed op de scores van de leerlingen. Denk maar eens aan harde geluiden of andere vormen van afleiding. Tenslotte kan er sprake zijn van een slechte communicatie. Dit is het geval wanneer de test gegeven wordt op het moment dat de leerlingen nog nauwelijks iets van het onderwerp afweten of verkeerde instructies krijgen bij het maken van de toets. Taal kan ook van invloed zijn op de score van de leerling. Zo gebeurt het dikwijls dat allochtone leerlingen slecht scoren bij het vak rekenen of wiskunde, niet omdat ze er slecht in zijn maar omdat ze moeite hebben met de taal.

Scoren

Nadat de toets is gemaakt, komt het scoren in beeld. Het is hierbij belangrijk om van te voren criteria op te stellen, zodat alle toetsen op dezelfde manier nagekeken worden. Tips om het scoren van een toets met open vragen zo objectief mogelijk te houden, vind je in dit artikel.

Aggregeren

Als een toets uit meerdere subscores bestaat, bijvoorbeeld verschillende onderdelen, dan kan van die subscores een totaalscore worden gemaakt. De vraag hierbij is hoeveel een onderdeel mee moet wegen. Zo bestaat de beoordeling van een vak vaak uit het maken van een verslag en een tentamen. Moet het tentamen even zwaar wegen als het verslag of is een van de onderdelen belangrijker? Wanneer het verslag voor slechts twintig procent meetelt en het tentamen voor tachtig procent, zal iemand die goede schrijfvaardigheden heeft maar niet zo goed is in leren waarschijnlijk een relatief laag eindcijfer halen. Het totaalcijfer geeft dan geen eerlijke afspiegeling weer van de prestaties.

Generaliseren

Vervolgens ga je kijken of je de resultaten van de beoordeelde taak kan doortrekken naar een grotere verzameling van taken en omstandigheden. Zo kun je de toetsen van een bepaald vak samen nemen om een algemeen beeld van het hele vak te krijgen. Bij Frans kun je bijvoorbeeld kijken naar grammatica, woordkennis, schrijfvaardigheden, luistervaardigheden en mondelinge vaardigheden. Je moet altijd voldoende taken meenemen in het domein om de validiteit te vergroten.

Extrapoleren

Extrapolatie is het conclusies trekken over dingen die je niet gemeten hebt op basis van de taken die je wel gemeten hebt. Bij gym zijn bijvoorbeeld verschillende balsporten beoordeeld en een leerling scoorde op alle onderdelen goed. De sport basketbal heb je niet beoordeeld, maar toch kun je een conclusie trekken over alle balsporten, namelijk dat de leerling goed is in balsporten, omdat je voldoende taken hebt om deze conclusie te ondersteunen. Natuurlijk moeten er wel voldoende omstandigheden gemeten zijn. Zo kun je niet zeggen dat iemand goed is in het maken van tentamenvragen wanneer je alleen maar meerkeuzevragen hebt gehad. Misschien ben je wel helemaal niet zo goed in het maken van open vragen.

Evalueren

Evaluatie is een oordeel over het resultaat van de leerling. Is het resultaat wel verdiend? Belangrijk is dat degene die dit evalueert niet van te voren al een positief of een negatief beeld van de leerling heeft. Daarnaast moeten constructen goed gedefinieerd worden. Wanneer iemand ‘’goed is in scheikunde’’ wil dit niet zo veel zeggen. Want wat betekent goed zijn in scheikunde? Heb je dan goede vaardigheden? Veel theoretische kennis?

Beslissing

Na het oordeel over de resultaten kan een beslissing worden gemaakt. Standaarden moeten vooraf kenbaar worden gemaakt aan leerlingen. Ze moeten weten met welke score ze welk cijfer kunnen krijgen. Bij een tentamen kan bijvoorbeeld vooraf aangegeven worden hoeveel fouten de studenten mogen maken om nog een voldoende te krijgen.

Impact

In de laatste stap van het model wordt gekeken naar de impact die de beoordeling heeft op leerlingen en andere participanten. Over het algemeen heeft de Cito-toets bijvoorbeeld een vrij grote impact, leerlingen kunnen op basis van hun cijfer wel of niet aangenomen worden op een school. Dit vergroot de mate van faalangst en is dus een bedreiging van de validiteit. Wanneer de impact echter te klein is, zullen leerlingen sneller ongemotiveerd zijn. Ook dit heeft gevolgen.

Validiteit

Het is vrijwel onmogelijk om een toets op alle punten valide te laten zijn. Het belangrijkste is om je bewust te zijn van de sterke en zwakke punten die een test heeft. Hier kan dan rekening mee gehouden worden tijdens de beoordeling.