Post on 18-Jul-2020
transcript
De kansen die comparatief beoordelen biedt
Maarten Goossens
Universiteit Antwerpen
112/11/2018
Comparatief beoordelen
2
Beoordelingsfamilies (Coertjens, 2017)
3
Holistisch beoordelen
“het geheel is meer dan de som van de delen”
Betrouwbaarheid
4
Gray scale Description
1 White
2 Slightly darker than white
3 Between white and gray
4 Almost gray
5 Gray
6 Slightly darker than gray
7 Dark gray
8 Slightly darker than dark gray
9 Almost black
10 Black
Beoordelingsfamilies (Coertjens, 2017)
5
Beoordelingsfamilies (Coertjens, 2017)
Analytisch beoordelen
Criterialijsten, rubrics
“opgedeeld staat netjes”
Betrouwbaarheid
Validiteit
Gray scale Description
1 White
2 Slightly darker than white
3 Between white and gray
4 Almost gray
5 Gray
6 Slightly darker than gray
7 Dark gray
8 Slightly darker than dark gray
9 Almost black
10 Black
6
Analytisch beoordelen
Criterialijsten, rubrics
“opgedeeld staat netjes”
Betrouwbaarheid
Validiteit
Holistisch beoordelen
“het geheel is meer dan de som van de delen”
Betrouwbaarheid
Vergelijkende methoden
Paarsgewijs vergelijken
“vergelijken is puur natuur”
Absoluut (per product)
Comparatief
Beoordelingsfamilies (Coertjens, 2017)
Comparatief beoordelen
7
Welke papers is de beste?
VS
VS
Data
8
Sterke punten Werkpunten
Beoordelaar A Zeer relevante onderzoeksvraag.Deze paper draagt echt nieuwe wetenschappelijke inzichten aan.
Volgens mij kan je nog verder gaan in je praktische implicaties. Denk bv aan…
Beoordelaar B Schitterend gebruik van mixed methode. Ik zou je vervolg onderzoek nog meer in de verf zetten. Kijk eens naar (hupeldepup, 2012)
Beoordelaar C Must read!
Feedback
Data
• Rangorde• Kwaliteitsscores (in logits) met betrouwbaarheidsinterval
• Scale Separation Reliability• Geeft schatting van interbeoordelaars betrouwbaarheid (Verhavert, 2017)
• Misfit data voor beoordelaars • Welke beoordelaars hebben een ‘andere’ kijk (in vergelijking met de gedeelde
consensus van beoordelaars?)
• Misfit data voor representaties• Welke representatie(s) zijn moeilijk te beoordelen?
9
SSR= .80
Rangorde <-> punten
• 2 punten toekennen, en berekenen a.d.h.v. ability
• Voldoende meenemen (+ 1 extra punt)
10
6/2014/20
‘voldoende’ 15/20
Rangorde <-> punten
• Benchmarks
11
6/2014/2012/2010/208/20
Voorbeeld tool
- Maak enkele vergelijkingen:
URL: https://sandbox.d-pac.be
Ga naar ‘Beoordeel’
12
Voorbeeld competenties
o Schrijfvaardigheden:
Argumentatieve teksten
Synthese teksten
Creatieve teksten
Formele brieven
o Onderzoeksvaardigheden:
Wetenschappelijke rapporten
Papers
Bachelor-master proeven
Labo verslagen (tekst + grafieken)
Zelfreflecties
o Probleemoplossing
Wiskunde
Statistiek
ER diagrammen (schema)
13
o Beeldende vaardigheden
Schetsen (image)
Moodboards (image)
Personal branding (poster)
Animatiefilms (movie)
o Spreekvaardigheden
Presenteren (movie)
Interviewen (movie/audio)
o Combinaties
Porfolio’s
Stages (video)
Werkwijze
14
Praktijkvoorbeelden
15
Selectie/summatief beoordelen
• 50 studenten multimedia -> 50 animatics
• 9 beoordelaars• Docenten• Professionals: geluidshuis, software bedrijf, grafische vormgever/illustrator
• Werkbelasting: • 347 vergelijkingen
• 14 vergelijkingen per animatic• 38 vergelijkingen per beoordelaar
• 80 sec. per vergelijking = 50 min.
• Resultaat:• Betrouwbaarheid rangorde .72
16
Peer assessment
• Eenvoudig studenten beoordelen even betrouwbaar als docenten (SSR beide groepen = .77; correlatie = .65)
• Veilig want alles gaat anoniem
• Leerkansen:• Vergelijken• Feedback formuleren• Feedback krijgen
• Sterke en verbeterpunten• Positie in rangorde
• Voorbeelden • Mediërende rol docent
17
Peer assessment leercyclus
18
10 taken
Bespreking Versie 1
Bespreking
Summatief?
Combinatie peer assessment/summatief
19
Studenten:- Rangorde van minst goede tot beste paper via CJ- Gem. 10 min per vergelijking- Feedback = relevant, eerlijk en terecht, hoeveelheid is een
meerwaarde
Combinatie peer assessment/summatief
20
Studenten:- Rangorde van minst goede tot beste paper via CJ- Gem. 10 min per vergelijking- Feedback = relevant, eerlijk en terecht, hoeveelheid is een
meerwaardeTutoren:- 14 fails- Gelijkaardige FB
Combinatie peer assessment/summatief
21
Studenten:- Rangorde van minst goede tot beste paper via CJ- Gem. 10 min per vergelijking- Feedback = relevant, eerlijk en terecht, hoeveelheid is een
meerwaardeTutoren:- 14 fails- Gelijkaardige FB
Laattijdig ingediend->fail ongeacht kwaliteit
Professionalisering
• Voorbeeld Ahovoks• 9 interne beoordelaars
• 16 externe beoordelaars
• 37 teksten
• Pre-test: 5 misfits
• Professionaliseringsdag
• Post-test: 1 misfit
22
Rangorde internen
Data externe 1
Data externe 2
Data externe …
Kwaliteitszorg / peilingsonderzoek
23
Welke uitspraak typeert onze school het beste?
Wij doen de nodige inspanningen opdat elke leerling zich goed voelt op school
Onze lessen sluiten aan bij de voorkennis van de leerlingen.
A B
Welke uitspraak typeert jou het best op dit moment?
Ik vind ‘goed’ vaak niet goed genoeg
Ik doe het liefst alles zelf
A B
Ik kan goed delegerenAls iets mislukt, voel ik me schuldig
Live assessment
• Beoordelen interactieve installaties (Avans)
• Beoordelen afstudeerprojecten architectuur (UA)
24
Live assessment
Procedure
A. Demo/presentatie
B. Beoordelen met D-PAC
C. Punten toekennen
25
Live assessment
• Bevindingen• ‘Doet recht’ aan werken
• Beoordelen snel en simpel
• Elk jury-lid kan zich vinden in punten
• Tijd voor feedback
26
Toekomstmogelijkheden
27
Kwaliteitszorg beoordelingen
• Bijvoorbeeld op departementen/academies• Groeien we over de jaren heen naar elkaar toe als beoordelaars?
• Hoe evolueert dit als er mensen de instelling verlaten/bijkomen?
• Is er genoeg diversiteit?
• Hoe verhouden we ons als docenten tot het werkveld?
• Benchmarks
28
Rangorde jaar 1/ klas A/…
Rangorde jaar 2/ Klas B/…
Leerwinstmonitoring
29
• Benchmarks/schalen hergebruiken• Over opdrachten heen
(zelfde competentie)
• Over jaren heen
Centrale toetsing
30
• Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland
• Individuen, klassen, jaren, scholen,… inschalen op representatieve schaal
bewaken standaard
tendensen en evoluties op ≠ niveaus
succesvolle interventies?
Conclusie
• Comparatief beoordelen genereert rijke data die leerkansen biedt op alle niveaus en zou daarom een plaats moeten krijgen in elk evaluatiebeleid
31
Referenties
• Bouwer, R., Goossens, M., Mortier, A., Lesterhuis, M., & De Maeyer, S. (2018). Een comparatieve aanpak voor peer assessment : leren door te vergelijken. In D. Sluijsmans & M. Segers (Eds.), Toetsrevolutie : naar een feedbackcultuur in het hoger onderwijs (pp. 92–106). Phronese.
• Coertjens, L., 2017: Key-note op D-PAC event. UAntwerpen
• Lundstrom, K., & Baker, W. (2009). To give is better than to receive: The benefits of peer review to the reviewer's own writing. Journal of second language writing, 18(1), 30-43.
• Rollinson, P. (2005). Using peer feedback in the ESL writing class. ELT journal, 59(1), 23-30.
32