Adaptieve Voortgangstoetsing

Arno Muijtjens

Vakgroep Onderwijsontwikkeling en Onderwijsresearch, Faculty of Health, Medicine, and Life sciences,

Universiteit Maastricht

Inhoud

• Voortgangstoetsing

• Adaptieve toetsing

• Project AdaPT

• Betreft complete kennisdomein van de basisarts (vergelijk met eindexamen)

• 4x per jaar afgenomen bij alle studenten geneeskunde (Maastricht, Groningen, Nijmegen, Leiden[en VU Amsterdam])

• 200 meerkeuze items

• Nieuw geconstrueerde toets per afname

Voortgangstoets Geneeskunde

Voorbeeld VTvraag

Een jongen van 15 jaar presenteert zich met recidiverende

buikpijn en bloed en slijm bij de ontlasting. Tevens blijkt hij

pneumaturie te hebben. De meest waarschijnlijke diagnose

is

A. coeliakie;

B. colitus ulcerosa;

C. morbus Crohn;

D. salmonellose.

[Categorie spijsverteringsstelsel]

Blauwdruk VT geneeskunde Disc Discipline Cat Category

AN Anatomy 01 Respiratory System

BC Biochemistry 02 Blood and Lymph System

CH Surgery 03 Musculoskeletal System

DE Dermatology 04 Mental Health Care

EP Epidemiology 05 Reproductive System

FA Pharmacology 06 Cardiovascular System

FY Physiology 07 Hormones and Metabolism

GY Obstetrics and Gynaecology 08 Dermis and Connective Tissue

HG Family medicine 09 Personal and Social Aspects

IN Internal medicine 10 Digestive System

KG Paediatrics 11 Kidneys and Urinary System

KN Ear, Nose, Throat 12 Nervous System and Senses

MC Clinical Genetics 13 Molecular and Cellular Aspects

ME Metamedical Sciences 14 Epistemology and Methodology

NE Neurology 15 Stages of Life

OH Ophthalmology 16 Knowledge of Skills

PA Pathology 17 Preventative Health Care

PS Psychology and Psychiatry

SG Surgery

Blauwdruk VT geneeskunde Disc Categories

01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 Total

AN 2 1 2 1 1 1 1 1 1 1 12 BC 1 1 1 1 1 1 1 1 1 9 CH 1 1 3 1 1 1 2 4 1 2 17 DE 5 5 EP 7 7 FA 1 1 1 1 1 1 1 1 8 FY 1 1 1 1 2 1 1 1 1 10 GY 4 2 1 1 2 10 HG 1 1 1 1 1 1 1 1 1 1 1 1 7 1 20 IN 6 1 2 6 1 2 3 3 1 1 1 1 1 29 KG 1 1 1 1 1 1 1 1 1 1 1 11 KN 1 3 4 MC 1 2 1 4 8 ME 2 4 2 1 9 NE 1 5 1 7 OH 2 1 1 4 PA 1 1 1 1 1 1 1 1 1 1 10 PS 9 5 1 1 16 SG 2 2 4

Total 16 10 13 12 11 15 10 10 12 12 14 19 9 9 7 15 6 200

Feedbackformulier

Voortgangstoets

ID-nummer: *******************************

* Gegevens verwerkt door de *

Jaargroep: 4 * *

* TAAKGROEP TOETSING *

Voortgangstoets (M19901): September 1999 *******************************

________________________________________________________________________________________________________________________________

| |

| RESULTATEN PER CATEGORIE (Procentueel) |

|______________________________________________________________________________________________________________________________|

| | | individueel | studiejaargroep (n=201) |

| | aantal |----------------------------|--------------------------------------------------------|

| Omschrijving | vragen | Goed Fout ? G-F | Goed std Fout std ? std G-F std |

|------------------------------|---------|----------------------------|--------------------------------------------------------|

| 1 Ademhalingsstelsel | 17 | 41 6- 53+ 35 | 45 14 14 10 41 17 31 16 |

| 2 Bloed en lymfstelsel | 10 | 50+ 0-- 50 50++| 41 15 18 13 41 19 24 21 |

| 3 Spier- en skeletst | 20 | 30 20+ 50 10- | 33 14 15 9 53 17 18 15 |

| 4 Geestelijke gez zorg | 13 | 31-- 15 54+ 15- | 49 16 14 10 36 19 35 20 |

| 5 Voortplantingsstelsel | 12 | 17-- 25+ 58+ -8--| 35 14 18 13 46 17 17 21 |

| 6 Hart en vaatstelsel | 22 | 41 18 41 23 | 39 13 22 11 39 17 17 17 |

| 7 Hormonen en metabol | 11 | 18- 9- 73++ 9 | 31 16 18 11 51 19 13 20 |

| 8 Huid en bindweefsel | 14 | 0-- 7 93++ -7--| 29 16 11 11 60 21 18 18 |

| 9 Pers en mtsch aspecten | 12 | 33- 8- 58++ 25 | 47 15 16 11 36 20 31 19 |

| 10 Spijsverteringsstelsel | 17 | 12- 0-- 88++ 12 | 27 15 11 10 62 21 16 15 |

| 11 Nieren en urinewegen | 15 | 0-- 7- 93++ -7--| 24 13 14 11 62 20 9 15 |

| 12 Zenuwst en zintuigen | 24 | 25- 4- 71++ 21 | 37 13 15 11 49 19 22 16 |

| 13 Mol en cellulaire asp | 8 | 13- 0-- 88++ 13+ | 26 16 26 17 48 21 0 24 |

| 14 Wetenschapsl en method | 10 | 30-- 10- 60++ 20- | 52 20 19 13 29 22 33 25 |

| 15 Levensfasen | 8 | 0-- 0- 100++ 0--| 37 21 12 13 51 25 25 24 |

| 16 Kennis over vaardigh | 20 | 25-- 5- 70++ 20- | 42 13 11 8 47 16 31 15 |

| 17 Prev gezondheidszorg | 9 | 33 0- 67+ 33 | 41 17 10 12 49 20 31 21 |

|______________________________|_________|____________________________|________________________________________________________|

________________________________________________________________________________________________________________________________

| Totaal | 242 | 24-- 9- 67++ 16- | 37 9 15 7 48 14 22 8 |

|______________________________|_________|____________________________|________________________________________________________|

- / -- / + / ++ / laag resp. hoog in vergelijking tot totale groep

De norm voor deze toets is: 14.46

Uw procentuele GOED - FOUT score is: 15.70 (Absoluut: 38)

Dit resultaat is: VOLDOENDE

Niet opgenomen vragen: 1,8,9,53,130,133,138 en 201

Sleutelwijzigingen : 17,87,117,125,188,190 en 220

De gebruikte normen liggen ter inzage bij de onderwijsbalie.

Maastricht, 12 oktober 1999

Tegen deze uitslag kunt u, binnen 4 weken na dagtekening, beroep aantekenen bij het

College van Beroep voor de Examens van de UM, Postbus 616, 6200 MD Maastricht

categorie

individueel groep

Feedback

• Longitudinaal and predictief

• Web-gebaseerd & grafisch

• Vraag-georiënteerd

Feedback met ProF

• Referentie: percentielen van peer-group

(“jaargroep”)

• Momentaan & Longitudinaal

• Predictie (lineaire extrapolatie+95%BI)

• Ruisreductie –cumulatieve score

• ProF: zie http://prof.ivtg.nl

Referentie: scoreverdeling in de peer-group

70

50

95

15

5

percentiel:

score student goed

voldoende

onvold.

zwak

excellent

Longitudinale presentatie

Voorbeeld:

start met inspectie resultaten

huidige toets

Vergelijken referentiegroepen tbv

evaluatie curriculum

Mediane score van

4 universiteiten

Mediane score

van 1 universiteit

Voordelen voortgangstoetsing

• Toetsgeorienteerd leergedrag wordt

ontmoedigd

• Iedere leeractiviteit die relevant is voor de

einddoelen van het curriculum wordt

beloond

• Functionele, beklijvende kennis wordt

gemeten

• Groei van kennis wordt gemeten in alle

deelgebieden van het medisch curriculum

• Herhaalde meting van dezelfde kennis

hogere betrouwbaarheid

• Aparte herkansingen niet nodig

• Toets is curriculum-onafhankelijk

• Rijke bron van informatie voor student,

docent, faculteit

• Benchmarking, vergelijking faculteiten

• Veel mogelijkheden voor research

Nadelen voortgangstoetsing

• Lage betrouwbaarheid score in lagere

jaren

• Lage betrouwbaarheid score op

subdomeinen

• Toetstijd is relatief lang

• Moeilijk om minder efficiente

vraagformaten te gebruiken

Organisatie

anatomie

fysiologie

int. geneesk.

alg. heelk.

psychologie

vragen-reservoir

toetscommissie

toetsafname

item analysestudent

commentaar

vragen-bank

Problemen papieren VT

• Logistiek: 4 x per jaar 7500 studenten tegelijkertijd in grote zalen

• Inefficiente kennismeting: alle studenten 200 dezelfde vragen

• Multimediale mogelijkheden: beperkt

• Flexibiliteit tijdstip en plaats: gering

Computergestuurde adaptieve

toetsing (CAT)

• Individuele toets, automatisch aangepast

aan niveau student

• Afname kan op willekeurige plaats en

tijdstip

• Uitgebreide multimediale mogelijkheden

• Vraagtekenoptie niet meer nodig

Afname adaptieve toets

Vraag 1

Vraag 2

Vraag 3

Vraag 4

Vraag 6

Vraag 5

Vraag 7

Kennisniveau/Moeilijkheid Kennisniveau Student

Student

Nodig voor CAT

• Gekalibreerde itembank

moeilijkheid (en andere itemparameters)

dienen bekend te zijn

• Methode&software tbv

– Selectie geschikte vragen

– Kalibratie

– Afname

– Normering

– Rapportage

Project AdaPT

(Adaptive Progress Testing) • Onderzoekt op welke manier CAT

toepasbaar is bij VT en kwaliteit VT verder

kan verbeteren

• Nieuwe aspecten adaptieve toetsing VT:

veelomvattende toets (breed domein)

longitudinale toets

Eindproducten project AdaPT

Procedure om items geschikt voor een

adaptieve digitale toets te selecteren uit

een bestaande itembank

P-correct

Year

P-correct

Year

IN UIT

Prototype digitale adaptieve

voortgangstoets geneeskunde

Vraag 1

Vraag 2

Vraag 3

Vraag 4

Vraag 6

Vraag 5

Vraag 7

Kennisniveau/Moeilijkheid Kennisniveau Student

Student

Oordeel studenten over bruikbaarheid

en kwaliteit van de digitale adaptieve

voortgangstoets

• Voor- en nadelen van digitale adaptieve

toetsing in vergelijking met de papieren

voortgangstoets

• Pakket van eisen voor de opschaling van

een papieren voortgangstoets naar een

digitale adaptieve versie

Eerste stappen in project

AdaPT • Rapportage-categorieen definieren:

17 categorieen 5 rapportage-

categorieen (ong. 40 items per

rapportage-categorie)

1. Circulatie en respiratie

2. Stofwisseling en voortplanting

3. Beweging en sturing

4. Mens en maatschappij

5. Basale en toegepaste kennis

• Selectie geschikte vragen uit bestaande

voorraad

– Toetsen uit 2005-06 en 2006-07

(8 x 200 items)

– Gegevens:

Percentage correct per jaargroep

Onderwerp wanneer voor het eerst behandeld

Toepassingsvraag of kennisvraag

Vraag is hergebruikt in latere jaren

• Op basis van deze gegevens geschikt

meet-model (IRT) kiezen

• In 2012 kalibratie inrichten en uitvoeren

voor deze itemvoorraad

Vragen?

IRT model

0

P(correct|ability)

1

ability

discrimination

difficulty

guessing

P(correct|t)=c+(1-c)/(1+exp(-a(t-b))

t: student’s ability

Item parameters:

c: guessing

b: difficulty

a: discrimination