Challenge the future

DelftUniversity ofTechnology

Digitale ‘peer review’ in projectonderwijs in de praktijk gebracht. 'Get building and judging!'Dr. Ir. Gillian Saunders-Smits (TUDelft), Drs. Robert Smeenk (Parantion)

2

Programma

14.00h Korte introductie opzet workshop & uitdelen codes

14.05h Oefening 1:Constructie oefening

14.20h Oefening 2:Peer evaluatie invullen

14.25h Uitleg peer evaluaties & rubrics

14.35h Resultaten peer evaluatie bekijken

14.45h Vragen en afsluiting

3

Oefening (1): Constructie

• Splits groepje in tweeen en ga aan weerszijden van de tafel zitten

• Groep 1 krijgt een gebouwd model, Groep 2 de onderdelen

• M.B.V. post-itjes moet groep 1, groep 2 instrueren om het model te bouwen.

• U heeft 15 minuten!

4

OEFENING 2: PEER EVALUATIE

Vul nu m.b.v. de gegeven login gegevens uw peer evaluatie in.

5

Hoe in te vullen ? (1)

• Iphone/Ipad: installeer scorion app uit de App store

• Other devices• Mobile: scorion3.parantion.nl/m• Classic : scorion3.parantion.nl

6

Hoe in te vullen? (2)

• Per teamlid en voor zichzelf het meest van toepassing zijnde hokje invullen voor iedere categorie

• Mogelijkheid tot het geven van een toelichting via commentaar box

• Commentaar kan “private” of “public” worden gegeven

7

http://scorion3.parantion.nl/m

8

http://scorion3.parantion.nl/m

9

http://scorion3.parantion.nl/m

10

http://scorion3.parantion.nl/m

11

http://scorion3.parantion.nl/m

12

Probleem: Beoordeling

• Onder docenten grote behoefte aan assistentie bij beoordelen

• Grootste problematiek:• Wie heeft wat gedaan?• Hoe groot is de individuele bijdrage geweest?• Wat is de kwaliteit van de bijdrage?• Hoe heeft een persoon bijgedragen aan het

groepsproces?

13

Oplossing: Peer & Zelf evaluaties

Peer evaluatie:

Het beoordelen van leden van het eigen project team op hun bijdrage tot het project en de manier waarop die bijdrage tot stand is gekomen.

Zelfevaluatie:

Het beoordelen van de eigen bijdrage tot het project en de manier waarop die bijdrage tot stand is gekomen.

14

Uitvoering & Criteria

• Een Rubric is een scoringsvorm waarbij je iemand punten geeft gebaseerd op van te voren opgestelde criteria.

• Gekozen voor een bestaande set rubrics zoals gebruikt op de United States Air Force Academy met als criteria:

• Job performance• Attitude• Initiative• Communication• Management of Resources

15

Job Performance Att itude Leadership/Init iative Management of

Resources

Communication

Consistently does more than required. Work is of exceptional quality.

Positive and professional attitude which favorably influences other company members.

Takes initiative to seek out work, concerned with getting the job done. Very involved in the technical project.

Uses time effectively in and out of group and works to get others to do the same. All tasks completed on or ahead of schedule.

Oral and written skills excellent. Very effective within the group and to reviewers.

Sometimes does more than required. Work is of high quality. A producer.

Positive attitude toward project and the team.

Readily accepts tasks, sometimes seeks more work. Gets involved in the project.

Uses time effectively in and of group. Completes all tasks on time.

Usually effective.

Performs all assigned tasks. Quality of work is acceptable.

Neutral attitude. Gets involved enough to complete tasks. Does his/her share.

Wastes some time in group, but works hard when a deadline is near. Most tasks completed on time.

Generally gets the point across. Tries to improve in weak areas.

Performs all assigned tasks. Work must be redone or repaired to meet standards.

Negative attitude toward project and/or project.

Tends to watch others work. Gets involved only when necessary. Volunteers to help when it will look good.

Wastes most of group time. Seldom seen doing productive work. Some tasks completed late.

Skills ineffective. Makes an effort to improve.

Performs some assigned tasks. Work must be redone by others to meet standards.

Negative attitude which adversely affects other company members or project.

Lets others do the work; does the minimum he/she thinks is needed to get by.

Does little useful work in group or out; wastes his/her time and others. Work is constantly late.

Skills ineffective. Makes little or no effort to improve.

16

Ervaringen met Peer evaluaties

• Om optimaal gebruik te kunnen maken van peer evaluaties moeten ze min. twee keer per project worden uitgevoerd (halverwege en aan het eind)

• Commentaar functie wordt als zeer nuttig ervaren

• Omdat de resultaten niet in een cijfer wordt omgezet wordt het systeem door studenten geaccepteerd als eerlijk

• Een goede IT infrastructuur is onontbeerlijk om de administratieve lasten voor docenten te

beperken

17

Gebruik tot nu toe

• Systeem wordt breed gebruikt binnen TUDelft

• Meer dan 3300 individuele users

• Gelinkt met centrale Login en met Blackboard

• Systeem is betrouwbaar en stabiel

18

Resultaten http://scorion3.parantion.nl/mGa naar portfolio

19

Wat zijn jullie ervaringen?

20

Vragen?

• www.tudelft.nl• Dr. Ir. Gillian N. Saunders-Smits (G.N.Saunders@tudelft.nl)

• www.parantion.nl• Drs. R.A. Smabers (roel.smabers@parantion.nl)• Drs. R.J. Smeenk (robert.smeenk@parantion.nl)