Naast de analyse van je gehele toets, kun je je ook verdiepen in de analyse op vraag- en leerdoelniveau. Zo zie je bijvoorbeeld hoe een specifieke vraag heeft bijgedragen aan de betrouwbaarheid van een toets. Maar je kunt ook vergelijken hoe jouw verschillende klassen presteren op bepaalde leerdoelen of vragen. We nemen je mee!
Toetsinzichten:
- Onder Karakteristieken vind je het aantal opgaven, je maximale puntenaantal, de gokscore en je ziet of de toets willekeurig gegenereerd is.
- Bij Metriek zie je hoeveel deelnemers er zijn geweest en wat het slagingspercentage was. Daarnaast zie je de toetsbetrouwbaarheid: de 'KR20/Cronbach's alpha'. Ook vind je hier de standaardafwijking van het puntenaantal en de standaardmeetfout.
- Onder Cijfers zie je het minimum- en maximumaantal punten. Ook is het gemiddelde en de mediaan al voor je berekend. De slagingsgrens is in te stellen bij de cijferberekening.
- Bij Punten en Duur wordt een soortgelijke berekening als bij Cijfers gedaan. Hier is het van toepassing op het aantal punten en de tijdsduur van de toets.
Een paar van de termen hierboven lichten we graag nog even verder toe.
De Gokscore is het aantal punten dat gescoord zou kunnen worden als de leerlingen alle vragen zouden gokken. Meer uitleg over de berekening vind je hier: Gokcorrectie.
De KR20/Cronbachs alpha geeft de betrouwbaarheid van jouw toets weer. Dit wordt berekend op basis van het aantal deelnemers, de standaardafwijking en het aantal (on)juist beantwoorde vragen.
Bij de Standaardafwijking, ook wel standaarddeviatie genoemd, zie je de gemiddelde afwijking van het gemiddeld aantal punten. Zo heb je overzicht over de spreiding van de behaalde scores.
De Standaardmeetfout is een weergave van de nauwkeurigheid van je toets en laat zien hoe waarschijnlijk het is dat de gegeven antwoorden ook overeenkomen met de daadwerkelijke kennis van de deelnemers. Dit wordt berekend op basis van de standaarddeviatie en de KR20-waarde.
Inzichten per vraag in het kort
- We geven een Kwaliteitsindicatie die berekend wordt op basis van de P- en Rit-waarden.
- De P-waarde geeft op een schaal van 0 tot 1 aan hoe moeilijk je vraag is.
- De Rit- en Rir-waarden geven de relevantie van je vraag binnen de toets aan.
- Bij Gemiddelde duur zie je hoe lang er gemiddeld over deze vraag gedaan is.
In de tabbladen daaronder verdiepen we wat verder in de vraaganalyse.
Zo is het bij de Groepsvergelijking mogelijk om verschillende klassen en groepen te vergelijken.
De Rangcorrelatie is erg nuttig om te zien hoe je verschillende leerlingen scoren op deze vraag.
Sommige vraagtypen geven nog eigen berekeningen. Bijvoorbeeld een overzicht van de gegeven antwoorden op meerkeuzevragen, invulvragen, matchvragen en een overzicht van het beoordelingsmodel.
Uitgebreide uitleg achter inzicht per vraag
Hieronder zullen we per vraaginzicht een wat uitgebreidere uitleg geven, voor wie nog dieper in de stof wil duiken!
De Kwaliteitsindicatie geeft advies over de kwaliteit van je vraag.
- 'Makkelijk': de P-waarde ligt boven de 0.9
- 'Moeilijk': de P-waarde ligt onder de 0.1
- Heeft aandacht nodig': de Rit-waarde is lager dan 0.2.
Is geen van bovenstaande van toepassing, dan wordt de vraag als 'Goed' weergegeven.
Je ziet zo in één oogopslag waar je nog verbetering kunt aanbrengen.
De P-waarde geeft de moeilijkheidsgraad van een vraag aan. Deze waarde geeft op een schaal van 0 tot 1 aan hoeveel leerlingen de vraag goed beantwoord hebben. Bij een waarde van 1 hebben alle leerlingen de vraag goed beantwoord, bij een waarde van 0 hadden geen van de leerlingen de vraag goed. Als een vraag een lage P-waarde heeft, kan deze bijvoorbeeld nog wel waardevol zijn in een formatieve toets.
P = (gemiddelde score van de deelnemers / totale punten van de vraag) / totaal aantal leerlingen.
Rir- en Rit-waarden geven aan hoe goed de vraag in een toets past. De vuistregel is hierbij over het algemeen: 'hoger is beter'. Simpel samengevat helpt het je om te zien of de goed scorende leerlingen deze vraag vaak goed hebben en de minder goed scorende leerlingen juist vaak fout antwoorden.
- Een vraag met een hoge Rir-/Rit-waarde helpt dus goed met het onderscheid maken tussen de leerlingen. Als de vraag goed beantwoord is door een leerling, is de kans groter dat er een hoge totaalscore behaald wordt op de toets.
- Bij een lage waarde zegt het beantwoorden van deze vraag dus relatief minder over de verwachte totaalscore die de leerling gaat behalen.
Rit geeft de "item-totaal-correlatie' en zet de vraagscore af tegen de totale score van de toets.
Rir geeft de 'item-rest-correlatie' weer en zet de vraagscore af tegen de totale score van de toets, exclusief de score van deze vraag. De score die hieruit voorkomt is dus preciezer dan Rit, omdat er niet wordt vergeleken met de eigen waarde van de vraag.
Voor het berekenen van deze waarden wordt de Pearson correlatiecoëfficiënt gebruikt om het verband tussen de vraagscore en de totale toetsscore te bepalen. Hieronder vind je de interpretatie van de verschillende uitkomsten.
| De waarde is 0.50 | Perfecte samenhang |
| De waarde is groter dan 0.40 | Zeer goed |
| De waarde zit tussen 0.30 en 0.39 | Goed |
| De waarde zit tussen 0.20 en 0.29 | Twijfelachtig |
| De waarde is lager dan 0.19 | Slecht |
p' is de moeilijkheidsgraad (P-waarde) gecorrigeerd voor gokkans. Het laat zien hoe moeilijk de vraag is, maar corrigeert daarbij voor de kans om het antwoord goed te gokken.
De waarden kunnen uiteenlopen van -1 tot 1. Zit de waarde dicht bij de 1, dan was de vraag (te) makkelijk.
p' = P - (1-P) / (aantal opties voor de meerkeuzevraag - 1)
Gokscore (gokkans)
Gokscore geeft aan hoe groot de kans is dat het antwoord gegokt kan worden. Bij een meerkeuzevraag met vier keuzes waarvan één goede, is er een statistische kans van één op vier (25%) om het antwoord goed te gokken. Dit wordt vertaald in de gokscore.
Meer informatie over de gokscore en gokcorrectie vind je in dit artikel.
Gecorrigeerde gokkans (Rk)
De gecorrigeerde gokkans wordt aangegeven met Rk. Het verschil met de 'gewone' gokkans is dat Rk ook de kwaliteit van je afleiders meeneemt in de berekening.
De gecorrigeerde gokkans geeft aan of de keuzes evenredig verdeeld zijn tussen de 'afleiders' (foute antwoorden). Hoe dichter deze waarde bij de gokkans ligt, hoe beter de verdeling over de afleiders is.
Wijkt de gecorrigeerde gokkans sterk af van de gewone gokkans? Dan adviseren we je om de afleiders onder de loep te nemen.
De Gemiddelde duur geeft de tijd aan die je leerlingen gemiddeld nodig hadden om de vraag te beantwoorden.
De Groepsvergelijking laat je zien hoe de verschillende klassen en groepen gepresteerd hebben op je toets. De groepen worden overzichtelijk onder elkaar gezet, zodat je in één oogopslag kan zien hoe de scores zich tot elkaar verhouden.
De Rangcorrelatie laat zien in hoeverre de vraag qua 'complexiteit' aansluit bij de complexiteit van de toets als geheel. De leerlingen worden eerst op eindcijfer gesorteerd en daarna in vijf groepen verdeeld: dat zijn de kwintielen.
| De lijn loopt steil omhoog | Hier droomt iedere docent van: deze vraag differentieert perfect. Scoren je leerlingen hoger op de gehele toets, dan hebben ze deze vraag vaker goed. |
| De lijn maakt een scherpe knik | Praktijkvoorbeeld: de lijn loopt steil omhoog, maar knikt bij het laatste kwintiel ineens naar beneden. Dan kun je te maken hebben met een strikvraag, waar de hoger scorende leerlingen de vraag overdenken. |
| De lijn loopt horizontaal | De vraag is door iedereen even goed beantwoord. Hierdoor is er weinig onderscheidend vermogen tussen de leerlingen. |
| De lijn loopt steil omlaag | Dit gaat (waarschijnlijk) gigantisch mis: de leerlingen die gemiddeld beter scoren, hebben deze vraag vaker fout! |
Het Meerkeuze-overzicht geeft aan hoe vaak de verschillende antwoordopties (alternatieven) worden gekozen. Dit is in één oogopslag te zien met de groene balkjes maar ook door de a-waarde te bekijken.
De a-waarde laat zien hoeveel van de leerlingen voor dit specifieke alternatief hebben gekozen. Zo kan je makkelijk vergelijken hoe vaak een bepaald antwoord gekozen is. Staat er een antwoord tussen dat bijna niet gekozen is, dan kun je je afvragen of hoe goed deze afleider bij de vraag past. De a-waarde heeft een schaal van 0 tot 1.
De Rat- en Rar-waarden worden op dezelfde wijze als de Rit- en Rir-waarden berekend., maar dan specifiek voor antwoordopties. Ze vertellen je dus eigenlijk hoe goed dit alternatief binnen de toets past. Zo zie je bijvoorbeeld welke afleider je minder goed scorende leerlingen vaker kiezen.
Inzichten per leerdoel:
Hier zie je hoe er op de verschillende leerdoelen en domeinen gepresteerd is. Dit laten we per leerdoel zien.
In de grafiek zie je per interval van 10% hoe er gescoord is op je leerdoelen. Per interval zie je hoe de leerlingen scoren op je leerdoel. Handig: zo weet je waar je de volgende les wat extra aandacht aan kan besteden!
Nakijkersvergelijking:
Heb je met meerdere collega's nagekeken en ben je benieuwd of dit allemaal eerlijk is gegaan? Hier zie je hoe jij en jouw collega's de vragen hebben nagekeken. Zijn de verschillen tussen jullie beoordelingen dusdanig groot? Dan wordt dit door Woots opgemerkt en weergegeven, zodat de betrokken beoordelaars met elkaar in gesprek kunnen gaan.
Als de beoordelingen van de nakijkers overeenkomen en er geen bijzonderheden te zien zijn, dan wordt een 'Goede Overeenkomst' aangegeven. Zo weet je zeker dat jullie op één lijn liggen!
Verschillen de scores sterk? Dan zie je 'Afwijking Gedetecteerd' in het scherm aangegeven. De reden hiervoor wordt ook aangegeven. Zo kunnen jullie met elkaar in gesprek gaan: is de beoordeling niet eerlijk gegaan of is het verschil toevallig ontstaan door de gegeven antwoorden?
Daarnaast wordt in Woots de gemiddelde nakijktijd getoond. Gaat jouw collega bijvoorbeeld veel sneller door een bepaalde vraag heen dan jij? Dan zou je het gesprek aan kunnen over eventuele verschillen in de beoordelingswijze en uitkomst.
Statistieken downloaden of exporteren
Wil jij de statistieken van jouw toets exporteren of downloaden om in een andere omgeving in te zien? Dat kan!
- Log in bij Woots.
- Klik op je programma of gebruik de zoekbalk in de Programma's-sectie.
- Klik op je toets of gebruik de zoekbalk.
- Klik op Instellingen in het menu aan de bovenkant.
- Ga naar de Acties-sectie en klik op Print in de Print inzichten-balk.
- Klik op Exporteren en er wordt een nieuwe pagina geopend met de analyses. Deze pagina kan vervolgens fysiek worden afgedrukt of in een .PDF-indeling door de webpagina af te drukken. Dit kan bijvoorbeeld met de sneltoets ctrl + P op een Windows-computer en cmd + P op een Apple-computer.
Tip: Om het overzichtelijk voor je te houden hebben we niet elke functie tot in detail uitgelegd. Wil je meer weten, bijvoorbeeld over een specifieke berekening of roept het nog vragen bij je op? Onze supportmedewerkers leggen het je graag verder uit (support@woots.nl)!
Opmerkingen
0 opmerkingen
U moet u aanmelden om een opmerking te plaatsen.