X@m!
Implementatieproject digitale toetsing RUG
Implementatieplan Detailplanning
Uitvoerder:
Educational Support and Innovation
i.s.m. Faculteiten
25 januari 2013
Versiebeheer Datum Titel en documentnaam Status Opmerkingen
1-10-2012 X@m! – Implementatieplan
(bestand: X@m!– Implementatieplan – goedgekeurd ICT-Cie.docx)
Goedgekeurd door ICT Cie
en CvB
Inclusief begroting op
hoofdlijnen, taken nog
niet toegewezen aan
teams, detailplanning
ontbreekt.
8-1-2013 X@m! – Implementatieplan 2.0 Concept Plan van aanpak verder
uitgewerkt, taaktoedeling
uitgewerkt binnen
randvoorwaarden
toegewezen aanvraag.
Voorgelegd voor advies
aan projectteam.
25-1-2013 X@m! – Implementatieplan 2.0
(bestand X@m! – Implementatieplan 2.0.docx)
Definitief Aanpassingen
doorgevoerd in plan van
aanpak; overige
hoofdstukken herzien.
Inhoud:
Table of Contents
1 Samenvatting................................................................................................................................... 1
2 Algemene informatie ....................................................................................................................... 3
2.1 Projectopdracht ........................................................................................................................... 3
2.2 Stuurgroep ................................................................................................................................... 3
2.3 Projectteam en deelprojectteams ................................................................................................ 3
2.4 Projectadministratie .................................................................................................................... 4
2.5 Website en overige informatiekanalen ......................................................................................... 4
3 Plan van aanpak ............................................................................................................................... 5
3.1 Werkpakket 1: Planning en uitvoering tentamens ........................................................................ 5
3.1.1 Uitgangssituatie ....................................................................................................................... 5
3.1.2 Deelpakketten.......................................................................................................................... 5
3.1.3 Resultaten ................................................................................................................................ 6
3.1.4 Uitvoering in uren, kosten en periode ...................................................................................... 7
3.2 Werkpakket 2: Toetsontwikkeling Nestor ..................................................................................... 7
3.2.1 Uitgangssituatie: ...................................................................................................................... 7
3.2.2 Deelpakketten.......................................................................................................................... 8
3.2.3 Resultaten ................................................................................................................................ 9
3.2.4 Uitvoering in uren, kosten en periode .................................................................................... 10
3.3 Werkpakket 3: Toetsontwikkeling QMP ..................................................................................... 10
3.3.1 Uitgangssituatie: .................................................................................................................... 10
3.3.2 Deelpakketten........................................................................................................................ 10
3.3.3 Resultaten .............................................................................................................................. 13
3.3.4 Uitvoering in uren, kosten en periode .................................................................................... 13
3.4 Werkpakket 4: Toetsinfrastructuur ............................................................................................ 14
3.4.1 Uitgangssituatie: .................................................................................................................... 14
3.4.2 Deelpakketten........................................................................................................................ 15
3.4.3 Resultaten .............................................................................................................................. 16
3.4.4 Uitvoering in uren, kosten en periode .................................................................................... 17
3.5 Werkpakket 5: Management en communicatie .......................................................................... 18
3.5.1 Uitgangssituatie ..................................................................................................................... 18
3.5.2 Deelpakketten........................................................................................................................ 18
3.5.3 Resultaten .............................................................................................................................. 20
3.5.4 Uitvoering in uren, kosten en periode .................................................................................... 20
4 Risicoanalyse ................................................................................................................................. 21
5 Begroting ....................................................................................................................................... 23
5.1 Totaal in uren, kosten en periode............................................................................................... 23
5.2 Kostenverdeling (conform eerdere versie projectplan) ............................................................... 23
6 Standlijnenoverzicht ...................................................................................................................... 24
1
1 Samenvatting Digitaal toetsen wordt sinds september 2012 aangeboden als een standaardvoorziening binnen de RUG.
Er kan worden getoetst in zaal 3 van de Aletta Jacobshal (AJH) op basis van Nestor. Daarnaast zijn
voorbereidingen getroffen om, conform het advies van de projectgroep Idem Dito, Questionmark
Perception (QMP) als standaardvoorziening aan te bieden. Tenslotte is er een inventarisatie gestart van
specifieke wensen en overige vormen van toetsing die momenteel nog niet kunnen worden
ondersteund. Hiervoor moeten aanpassingen aan de computerinfrastructuur binnen de Aletta Jacobshal
en op andere lokaties binnen de RUG worden doorgevoerd.
Voor de overwegingen die hebben geleid tot de keuzes voor implementatie wordt verwezen naar het
Eindadvies Idem Dito (http://www.rug.nl/let/voorzieningen/ictol/projecten/IdemDitoEindadvies.pdf).
Het voorliggende plan betreft de nadere uitwerking van de hoofdlijnen van het implementatietraject,
zoals beschreven in dat advies (pp. 18-21).
De vraag naar digitale toetsing is substantieel. Voor het studiejaar 2012-13 waren in september 2012
124 digitale tentamens ingeroosterd in de AJH. Van 1 oktober 2012 tot 1 januari 2013 zijn 15 digitale
toetsen afgenomen. Dit aantal ligt lager dan gepland, maar het toetsproces is goed verlopen. Voor de
tentamenperiode vanaf januari 2013 zijn weer meer tentamens ingeroosterd en afgenomen. Bovendien
zijn er tussentijdse aanvragen binnengekomen voor nieuwe tentamens. De verwachting is dat het aantal
afnames over 2012-1013 ongeveer op het begrote aantal zal uitkomen. Voor het studiejaar 2013-14
wordt rekening gehouden met een minimale afname van 200 toetsen. Inmiddels zijn ook verschillende
facultaire innovatieplannen door het CvB gehonoreerd. Digitale toetsing speelt een rol in verschillende
hiervan. Dit zal leiden tot een verdere toename in de komende jaren.
De dienstverlening digitale toetsing is ondergebracht bij de afdeling ESI van het CIT. Het functioneel
beheer is belegd bij de medewerkers toetsondersteuning, het technisch beheer bij de medewerkers
onderwijsapplicaties. Om tegemoet te komen aan de vraag naar digitale toetsing vanuit de universiteit is
uitbreiding van het functioneel beheer noodzakelijk, verder zijn aanpassingen aan Nestor nodig en moet
de toetsinfrastructuur worden verbeterd en uitgebreid. Hiervoor is de formatie voor technisch beheer
uitgebreid. Ook zijn middelen vrijgemaakt voor coördinatie en communicatie. Het betreft tijdelijke
uitbreidingen van de formatie van ESI gedurende de projectperiode. Na afloop zal de dienstverlening,
zoals ook nu gebruikelijk is voor de ondersteuning van papieren tentamens, voor een belangrijk deel aan
de faculteiten kunnen worden doorberekend. Daarnaast is de financiering geregeld voor exploitatie en
de aanschaf van Questionmark Perception. Ook hiervoor zal na afloop van het project een definitief
kostenmodel moeten worden opgesteld.
In oktober 2012 heeft het CvB ingestemd met de eerste versie van het projectplan. Het
Managementberaad is in november 2012 akkoord gegaan met de voorstellen t.a.v. matching. De
financiering van het project is hiermee gedekt. In het voorliggende plan is het implementatietraject
afgestemd op de actuele situatie en verder uitgewerkt in een gedetailleerd plan van aanpak, met
bijbehorende uren- en kostenoverzichten.
2
Voor de implementatie van digitale toetsing is door het CvB € 356.250 subsidie verleend. De faculteiten
en CIT (inclusief ESI) dragen samen € 341.136 bij.
ESI maakt ca. 1 fte per jaar vrij uit de formatie ten behoeve van de ondersteuning, en zet de aanvullende
middelen in voor functionele en technische ondersteuning. CIT bekostigt een deel van de personele
ondersteuning uit het lopende UWP 2.0 project. De faculteiten dragen bij aan de technische assistentie
tijdens de toetsafnames en de licentiekosten voor het gebruik van QMP (voorzover ze hier gebruik van
maken).
De kosten voor digitale toetstrainingen en toetsverwerking (toets- en itemanalyse) zullen op de
gebruikelijke wijze worden verrekend met de faculteiten en blijven buiten beschouwing in dit plan.
De grootste investering die faculteiten zullen moeten doen om digitale toetsing mogelijk te maken
betreft de kosten voor docentprofessionalisering, coördinatie en ondersteuning, en de ontwikkeling van
toetsen en itembanken. Hiervoor hebben verschillende faculteiten aanvullende financiering verworven.
Deze kosten blijven in dit implementatieplan eveneens buiten beschouwing.
3
2 Algemene informatie
2.1 Projectopdracht De implementatie wordt uitgevoerd in opdracht van prof. dr. C.G.M. Sterks, directeur CIT. De
projectopdracht kan als volgt worden samengevat:
Het project dient ervoor te zorgen dat:
digitale toetsing op korte termijn breed wordt ingevoerd binnen de RUG (zaal 3 van de AJH moet
optimaal worden benut);
een concreet aanbod aan toetsmogelijkheden wordt gecreëerd waarmee wordt ingespeeld op
de vraag vanuit de faculteiten en waarmee nieuwe vraag wordt gegenereerd;
de toetsing voldoet aan eisen van kwaliteit (inhoudelijk), betrouwbaarheid (bedrijfszekerheid)
en veiligheid (fraudebestendigheid).
2.2 Stuurgroep De voorlopige samenstelling van de Stuurgroep is:
Prof. Dr. Nico Bos, Geneeskunde
Drs. Rob Wagenaar, Letteren
Drs. Rob van Ouwerkerk, GMW
Drs. Louwarnoud van der Duim, ESI
Dr. Sake Jager, projectleider
Voor de andere faculteiten, waar de invoering van digitale toetsing kleinschaliger is of nog op gang moet
komen, wordt een gedeelde vertegenwoordiging in de Stuurgroep nagestreefd. Voorgesteld is om één
vertegenwoordiger aan te wijzen namens Rechten, Godgeleerdheid en Godsdienstwetenschappen en
Wijsbegeerte en één namens Economie en Bedrijfskunde, Ruimtelijke Wetenschappen en Wis- en
Natuurkunde.
2.3 Projectteam en deelprojectteams Het projectteam is samengesteld uit de teamleiders van de verschillende deelprojecten:
Planning en beheer: Drs. Rolf Klein Hegeman
Toetsen met Nestor: Dr. Lisette Bakalis
Toetsen met QMP: Ir. André Rosendaal
Toetsinfrastructuur: UWP 2.0 medewerker CIT
Management en communicatie: Dr. Sake Jager
In verband met advisering en terugkoppeling ten aanzien van toetstraining, -analyse en –evaluatie
neemt Dr. Yta Beetsma eveneens deel aan de bijeenkomsten van het projectteam.
4
De deelprojectteams hebben een wisselende samenstelling. Namens ESI zijn onderstaande
medewerkers reeds betrokken bij de uitvoering van verschillende projecttaken:
Drs. Engelien de Jong, functioneel beheer toetsen
Drs. Dineke van Es, functioneel beheer toetsen
Carlien Vermue, Msc, evaluatie toetsen
Dhr. Peter Fokkinga, applicatieontwikkeling
Dhr. Robert de Haan, communicatie
Mevr. Lisa Loeve, communicatie
Nestorsupport (verschillende student-assistenten)
De teamleiders bepalen de invulling van de overige functies (Nestor-ontwikkeling/-ondersteuning, QMP-
ontwikkeling/-ondersteuning, etc.).
Aan de uitvoering van werkzaamheden wordt ook deelgenomen door medewerkers van andere
afdelingen van het CIT (werkplek- en middleware services, applicatiebeheer) en door medewerkers van
de faculteiten. De namen van de betrokken medewerkers zijn nog niet allemaal bekend.
2.4 Projectadministratie Voor de leden van de stuurgroep, teamleden en uitvoerders binnen de faculteiten is een teamsite
(Edugroep) ingericht: https://www.edugroepen.nl/sites/xam/default.aspx met toegang op basis van de
gebruikersnaam en het wachtwoord aan de RUG. Alle projectdocumenten worden via deze site
ontsloten voor leden van de Stuurgroep, projectteam en deelprojectteams, en eventuele andere
gebruikers / toezichthouders binnen de RUG.
Iedere twee maanden worden uren- en kostenoverzichten opgesteld over de voorliggende periode. ESI
medewerkers administreren de uren in Korade (m.u.v. Nestorsupporters); de overige
projectmedewerkers houden de uren bij in een Excelformulier dat iedere twee maanden door de
projectleiding wordt opgevraagd.
2.5 Website en overige informatiekanalen Informatie over het project wordt vanuit het volgende adres ontsloten:
http://www.rug.nl/science-and-society/centre-for-information-technology/esi/innovation/digitaal-
toetsen/.
Nieuws en informatie zal via MyUniversity en de RUG website onder de aandacht van specifieke
doelgroepen worden gebracht. Ook zullen nieuwsbrieven worden verspreid en de sociale media
LinkedIn, SURFSpace en Yammer zullen worden ingezet om het project onder de aandacht van
specifieke groepen te brengen.
5
3 Plan van aanpak Het PvA beslaat de periode vanaf september 2012 tot september 2014. Aan het eind van deze periode
moet een adequaat aanbod aan toetsmogelijkheden zijn gerealiseerd, betrouwbare toetsing binnen de
AJH en op specifiek aangewezen lokaties daarbuiten zijn geïmplementeerd, en een dienst voor digitale
toetsing zijn ingericht.
De werkzaamheden zijn verdeeld over vier werkpakketten, ingedeeld naar de voornaamste gebieden
waarop acties worden ondernomen. Ten opzichte van het eerder ingediende (en goedgekeurde)
projectplan is één wijziging doorgevoerd. Werkpakket 1 Planning en uitvoering tentamens is toegevoegd
om duidelijker onderscheid te maken tussen het proces van digitale toetsing (dienst in opbouw) en de
ontwikkelwerkzaamheden die nodig zijn om nieuwe functionaliteit te realiseren.
De beoogde resultaten zijn zo concreet mogelijk gespecificeerd op basis van de nu bekende informatie.
De binnen de werkpakketten opgenomen uren- en kostenoverzichten zijn gebaseerd op een globale
inschatting van uren per medewerker per taak. De teamleider bepaalt in overleg met de projectleider
hoe de beschikbare middelen per werkpakket worden ingezet.
In de periode sinds september 2012 zijn de werkzaamheden in hoofdlijnen volgens de hier
gespecificeerde planning opgestart.
3.1 Werkpakket 1: Planning en uitvoering tentamens Verantwoordelijke teamleider: Rolf Klein Hegeman
3.1.1 Uitgangssituatie:
De planning, ondersteuning en afname van de toetsen wordt via een vaste procedure geregeld. De
procedure zal in de loop van het project verder worden geoptimaliseerd. De huidige tijdsinvestering in
de ondersteuning van toetsen is relatief hoog (ca. 8 uur per toets), onder andere omdat extra personeel
wordt ingezet tijdens toetsafnames en omdat extra controles en aanpassingen nodig zijn van toetsen die
door docenten binnen de UWP zijn ontwikkeld (ondermeer vanwege de afwijkende configuratie in de
AJH). De bedoeling is dat het aantal uren aan het eind van het implementatietraject zal zijn
teruggelopen tot ca. 2 a 3 uur per toets. Uiteraard neemt de tijd voor assistentie (aanwezigheid) door
toetsassistenten tijdens de afnames niet af, maar in overleg met faculteiten kunnen de taken worden
uitgebreid met reguliere surveillancetaken.
3.1.2 Deelpakketten
3.1.2.1 Toetsondersteuning
De ondersteuning wordt door ESI uitgevoerd volgens een vastgestelde procedure, waarin o.a. de
volgende zaken zijn geregeld:
6
Er worden intakegesprekken gevoerd met docenten en facultaire coördinatoren; de intakegegevens worden op een standaardformulier vastgelegd. Op basis van de intakes wordt de definitieve planning en taakverdeling voor de toetsondersteuners vastgelegd.
Tijdens de voorbereiding wordt begeleiding geboden bij de ontwikkeling van de toets door de docent(en), docenten krijgen inhoudelijke adviezen ten aanzien van kwaliteits- en uitvoeringsaspecten van de toets, de toetsomgeving in Nestor wordt ingesteld, er wordt een functionele en technische check uitgevoerd na aanlevering van de toets, de instellingen van de toets worden afgestemd met de technisch beheerders, en de docenten krijgen een proefversie van de toets ter controle aangeboden.
Op het moment van afname wordt de toets opengezet voor studenten, tijdens de afname zijn naast de docent, één of twee (bij meer dan 100 studenten) Nestorsupporters aanwezig voor het oplossen van technische problemen; in de beginfase is ook een medewerker toetsondersteuning aanwezig bij het tentamen. Van het toetsverloop wordt door de student-assistent(en) standaard proces verbaal opgemaakt.
Na afloop worden de antwoorden van studenten eenvoudig toegankelijk gemaakt voor docenten. Bij open vragen gaan de docenten aan de slag met correctie van de antwoorden. Op verzoek wordt een analyse van de toetsresultaten uitgevoerd (nog niet beschikbaar voor alle vraagtypen). De docent krijgt assistentie bij het bepalen van de eindscore. De toets wordt gearchiveerd.
Van alle toetsafnames wordt een formatieve evaluatie uitgevoerd aan de hand van online enquêtes voor studenten en docenten, eventueel gevolgd door vervolggesprekken.
3.1.2.2 Verbetering procedures, protocollen en gebruikersdocumentatie
Het verbeteren van het toetsproces en de documentatie ervan is een doorlopende activiteit, waarvoor
structureel tijd is gereserveerd. De huidige toetsprocedure werkt in de praktijk redelijk goed en heeft
ertoe bijgedragen dat grote problemen tijdens de toetsafnames beperkt zijn gebleven. Maar de
procedure vergt relatief veel tijd. Ook de tooling kan verder worden verbeterd. Daarnaast zullen o.a. uit
de evaluaties onder studenten en docenten (3.1.2) verbeterpunten in het toetsproces naar voren komen
die vragen om bijstelling van procedures, protocollen en gebruikersdocumentatie. Ook uitbreiding van
digitale toetsing met nieuwe functionaliteit of nieuwe software maakt geregelde bijstelling
noodzakelijk.
3.1.2.3 Teamoverleg en rapportages
Het projectteam komt minimaal eenmaal per maand bijeen om de voortgang van de werkzaamheden te
bespreken. Tijdens het teamoverleg worden de detailplanningen, procedures, gebruikersdocumentatie
en rapportages besproken en vastgesteld. De data voor de overleggen worden vooraf vastgelegd en van
ieder overleg wordt een verslag gemaakt.
3.1.3 Resultaten
1 Uitvoering van ca. 120 toetsen in jaar 1 en ca. 200 toetsen in jaar 2
2 Adviezen aan docenten t.a.v. ontwerp en resultaten toets
3 Technische ondersteuning bij iedere toets
7
4 Evaluaties onder studenten en docenten na iedere toets
5 Verbeterde procedures en protocollen voor digitale toetsing
6 Adequate administratieve afhandeling van digitale toetsen
7 Gebruikershandleidingen en overig instructiemateriaal
8 Ontwerpen, rapporten en verslagen
3.1.4 Uitvoering in uren, kosten en periode
Planning en uitvoering
tentamens 5.374h € 223.700,00 Mon 3-9-12 Fri 29-8-14
Coördinatie 164h € 8.200,00 Mon 3-9-12 Fri 29-8-14
Toetsondersteuning 4.690h € 189.500,00 Mon 3-9-12 Fri 29-8-14
Intakes 144h € 7.200,00 Mon 3-9-12 Fri 30-5-14
Voorbereiding 1.600h € 72.000,00 Mon 17-9-12 Fri 15-8-14
Afnames 1.986h € 62.300,00 Mon 1-10-12 Fri 29-8-14
Nazorg 232h € 11.600,00 Mon 1-10-12 Fri 29-8-14
Evaluaties 728h € 36.400,00 Mon 5-11-12 Fri 29-8-14
Verbetering procedures, protocollen en
gebruikersdocumentatie 216h € 10.800,00 Sun 2-12-12 Fri 30-5-14
Teamoverleg en rapportages 304h € 15.200,00 Mon 3-9-12 Thu 28-8-14
3.2 Werkpakket 2: Toetsontwikkeling Nestor Verantwoordelijk teamleider: Lisette Bakalis
3.2.1 Uitgangssituatie:
Met ingang van september 2012 worden digitale tentamens afgenomen in de AJH op basis van Nestor.
Voor het toetsen in Nestor wordt gebruik gemaakt van de standaard Blackboard toetsmogelijkheden
aangevuld met een maatwerk buildingblock “Essayvragen”. Studenten komen na inloggen direct terecht
in de voor hen bestemde digitale toets binnen een van internet afgesloten omgeving. Aanvullende
UWP/SWP software (zoals Word, Excel, SPSS, etc) is nog niet beschikbaar. De toetspagina toont een foto
van de ingelogde student en zijn of haar gegevens. Er zijn nog enkele issues met het gebruik van deze
persoonlijke pagina in combinatie met het essay-building block. Item- en toetsanalyse kan op verzoek
door ESI worden verzorgd voor multiple choice items, matching met partiële puntentoekenning en open
8
vragen, op de manier die ook voor papieren toetsen gebruikelijk is. Voor de overige vraagtypen kan nog
geen standaardanalyse worden geboden.
De verdere ontwikkeling en verbetering van Blackboard als toetssysteem voor de RUG wordt langs vier
hoofdlijnen (deelpakketten) uitgevoerd. Teamoverleg en rapportages worden benoemd als afzonderlijk
deelpakket. De teamsamenstelling varieert naar gelang het onderdeel dat wordt ontwikkeld of
verbeterd.
De realisatie wordt uitgevoerd volgens een cyclisch implementatieproces. Een functioneel ontwerp op
basis van eisen en wensen door gebruikersgroepen maakt standaard deel uit van het ontwikkeltraject.
Nieuwe functionaliteit wordt uitvoerig getest alvorens in productie te worden genomen. Functionele
wijzigingen in de productieomgeving kunnen ongeveer vier keer per jaar worden doorgevoerd tijdens
tentamenvrije periodes.
3.2.2 Deelpakketten
3.2.2.1 Verbetering toegang studenten, afscherming en differentiatie
Doel van deze activiteit is om de toegang van studenten tot de toets in Nestor te verbeteren,
afscherming van of juist toegang tot bepaalde bronnen te kunnen regelen en toetsen met verschillende
instellingen en toegangsrestricties door en naast elkaar te kunnen aanbieden. De ontwikkeling van de
bedoelde functionaliteit wordt verricht in nauw overleg met de uitvoerders van WP4. Wijze van
toegang en de instellingen van restricties gelden bij voorkeur ook voor programma’s die vanuit Nestor
worden opgestart, waaronder QMP.
3.2.2.2 Implementatie score-, cijferbepaling en cijferadministratie
Doel van deze activiteit is om de koppeling van het toetsanalysesysteem Ttlyse met Nestor te
verbeteren, en de doorgifte van cijfers naar Progress te automatiseren. De toetsanalyse kan nu alleen
worden toegepast bij MC, matchingvragen en essayvragen, en het gebruik in combinatie met itempools
is lastig. Cijfers kunnen nu alleen na export naar Excel, op papier of via de mail, worden doorgegeven
aan de facultaire onderwijsbureaus voor verdere verwerking.
3.2.2.3 Verbetering en aanpassing vraagtypen
Doel van deze activiteit is om de bestaande vraagtypen te verbeteren en desgewenst nieuwe vraagtypen
te realiseren. Het eerder ontwikkelde building block voor essayvragen zal worden verbeterd. O.a. zijn
verbeteringen gewenst m.b.t. on-screen horizontaal en verticaal nakijken van essays, feedback geven op
gemaakt werk, al dan niet tonen van studentgegevens en vastlegging en optelling van deelresultaten in
het grade center. Bij eventuele aanpassing of uitbreiding van vraagtypen zal een nauwkeurige afweging
worden gemaakt in hoeverre de wijzigingen wenselijk zijn met het oog op de reeds beschikbare
functionaliteit van de 17 bestaande vraagtypen.
9
3.2.2.4 Realisatie beheeromgeving toetscursussen
Digitale toetsen worden standaard afgenomen via een hiertoe ingerichte toetscursus in Nestor. Dit geldt
zowel voor toetsen op basis van de toetsfunctie in Nestor als voor toetsen die worden afgenomen via
externe toetsprogramma’s. Ten behoeve van planning, overzicht en rapportages is het wenselijk om alle
toetsen via een specifieke portal (of beheeromgeving) in Nestor te ontsluiten voor toetsondersteuners,
docenten, coördinatoren, studenten en eventuele andere belanghebbenden. Rubricering van toetsen
(indeling naar faculteit en opleiding) en archivering worden via deze portal gefaciliteerd. Ook eventuele
import- en conversiemogelijkheden van verschillende bronbestanden kunnen via de portal worden
geregeld. De portal biedt verder toegang tot alle relevante informatie m.b.t. digitale toetsing voor
docenten en toetsondersteuners binnen de RUG (overzicht geplande toetsen, gebruikersdocumentatie,
etc.). Voor studenten wordt o.a. gedacht aan overzichten van, en indien gewenst door de opleidingen,
toegang tot eerder gemaakte toetsen. Het conceptueel en functioneel ontwerp en de realisatie van de
portal worden door deze projectactiviteit uitgevoerd.
3.2.2.5 Teamoverleg en rapportages
Het projectteam komt minimaal eenmaal per maand bijeen om de voortgang van de werkzaamheden te
bespreken. Tijdens het teamoverleg worden de functionele ontwerpen, detailplanningen en rapportages
vastgesteld. De data voor de overleggen worden vooraf vastgelegd en van ieder overleg wordt een
verslag gemaakt.
3.2.3 Resultaten 1 Gepersonaliseerde, afgeschermde toegang voor studenten
2 Uitgebreide en verbeterde koppeling met Ttlyse
3 Koppeling / workflow cijferadministratie in Progress
4 Verbeterde/uitgebreide functionaliteit voor essayvragen, evt. realisatie aanvullende
vraagsoorten
5 Beheeromgeving/portal in Nestor
6 Ontwerpen, rapporten en verslagen
10
3.2.4 Uitvoering in uren, kosten en periode
Toetsontwikkeling Nestor 2.364h € 118.200,00 Mon 3-9-12 Fri 29-8-14
Coördinatie 200h € 10.000,00 Mon 3-9-12 Fri 29-8-14
Toegang studenten, afscherming en
differentiatie
164h € 8.200,00 Mon 3-9-12 Fri 1-2-13
Score-, cijferbepaling en
administratie
576h € 28.800,00 Mon 4-2-13 Thu 29-8-13
Verbetering en aanpassing
vraagtypen
536h € 26.800,00 Wed 2-1-13 Fri 27-6-14
Beheer toetscursussen 608h € 30.400,00 Fri 30-8-13 Thu 28-8-14
Teamoverleg en rapportages 280h € 14.000,00 Mon 3-9-12 Fri 29-8-14
3.3 Werkpakket 3: Toetsontwikkeling QMP Verantwoordelijk teamleider: André Rosendaal
3.3.1 Uitgangssituatie
Vanuit Idem Dito is geadviseerd om Questionmark Perception (QMP) aan te schaffen en binnen de RUG
te implementeren als tweede pakket voor digitale toetsing. Belangrijke gebruikers van het pakket zijn
FMW en Letteren. FMW zal vrijwel uitsluitend gebruikmaken van QMP, terwijl Letteren het pakket naast
Nestor zal gebruiken. Bij GMW zal het gebruik worden ontwikkeld door het pakket in te zetten voor het
opbouwen van toetsdatabanken (Innovatieplan) en als repository voor vragen voor de afname van
papieren toetsen. Het gebruik bij de andere faculteiten moet nog op gang komen. Volgens plan wordt
QMP gekoppeld aan de hierboven genoemde Nestoromgeving (toegang en autorisatie, terugkoppeling
resultaten). Voor de betreffende faculteiten moet het gehele digitalisatietraject (aanleveren van vragen
door docenten, onderbrenging in database, aanbrengen topicstructuur/metadata, instellen toetsmatrijs,
uitlevering aan studenten op PC of papier) in samenwerking met toetsexperts van ESI worden
geïmplementeerd.
3.3.2 Deelpakketten
3.3.2.1 Voorbereiding
Deze activiteit is erop gericht om de benodigde software (QMP en benodigde componenten) aan te
schaffen en te implementeren voor gebruik. QMP 5.4 wordt aangeschaft. De hosting en technische
installatie van QMP wordt verzorgd door de leverancier. Aanvullende componenten (Blackboard
11
Building Block, Print-en-Scan module, Authoring Module) worden lokaal geïnstalleerd. Uitgangspunt
voor het contract is een licentie voor 5000 gebruikers over twee jaar. Er wordt gekozen voor een On
Premise contract (eigen licentie, hosting in een datacenter in Nederland), waarbij initieel wordt
uitgegaan van een piekbelasting voor maximaal 150 simultane logins. Bij toetsen met een groter aantal
studenten wordt het inlogmoment verdeeld over twee groepen. In het contract wordt een voorbehoud
gemaakt ten aanzien van het goed doorstaan van een stresstest.
Het Blackboard Building Block is bedoeld voor integratie met Nestor (authenticatie en koppeling van
resultaten aan grade center) en wordt door Nestorsupport geïnstalleerd. De Print-en-Scan module moet
worden aangesloten op de Teleform scanner en software. De authoring module wordt geïnstalleerd op
de lokale PC’s van de toetsmedewerkers met de rol van toetsexpert (beheerders van de topic tree in
QMP). De installatie van deze modules wordt verzorgd in overleg met de afdeling applicatiebeheer van
CIT.
In afwachting van definitieve ondertekening van het contract, richt de leverancier tijdelijk een testserver
in waarop de modules kunnen worden getest.
3.3.2.2 Inrichting functionele ondersteuning
Deze activiteit is bedoeld om de functionele ondersteuning van QMP op te zetten. Het gaat hierbij om
de functionele inrichting van het toetspakket, het vaststellen en inrichten van het ondersteuningsproces
en het opzetten en toerusten van de ondersteuningsorganisatie. Bij de implementatie wordt nauw
samengewerkt met de leverancier. Ook wordt informatie ingewonnen bij zusterinstellingen die ervaring
hebben met het inrichten van het QMP-systeem en de bijbehorende ondersteuning. In het contract met
de leverancier is ondersteuning bij de volgende onderdelen van het implementatieproces opgenomen:
Kick off met stakeholders Training auteurs
Inzet technische implementatie
Ondersteuning functioneel beheerders
Ondersteuning inrichting item-bank (topicstructuur)
Ontwikkeling en beschrijving klant specifieke procedures
Ontwikkeling templates
Stresstesten
Projectleiding & nazorg
Bij de implementatie van QMP in de organisatie wordt ervan uitgegaan dat naast ESI alle faculteiten die
gebruik willen maken van QMP een passende functionele organisatie inrichten. Dit betreft in ieder geval
de faculteiten FMW, Letteren en waarschijnlijk ook GMW. De inrichting van het functioneel beheer
wordt door ESI en de toetsexperts van de faculteiten samen verzorgd. ESI draagt zorg voor het centraal
beheer, de onderlinge afstemming en de overdracht van kennis en uitbreiding van het gebruik van QMP
naar de andere faculteiten. Aan de trainingen in het eerste jaar wordt deelgenomen door de
12
toetsondersteuners van ESI en de betreffende faculteiten. ESI ontwikkelt ook zelf trainingen en
gebruikersdocumentatie. In het eerste jaar werken uitsluitend FMW, Letteren, en GMW met QMP. In
het tweede jaar worden ook de andere faculteiten betrokken bij het gebruik.
3.3.2.3 Ondersteuning bij invoer en afname toetsen
Binnen het implementatieproces neemt de wijze van aanlevering van nieuw toetsmateriaal door
docenten en verwerking hiervan in de centrale database door de toetsexperts een belangrijke plaats in.
Bij het invoeren van toetsvragen in de itembanken wordt onderscheid gemaakt tussen de rechtstreekse
invoer door toetsexperts en assistenten en de indirecte invoer door docent-ontwikkelaars. In de eerste
fase worden bestaande vragensets ingevoerd door specifiek hiertoe opgeleide functionarissen (zie
boven) binnen de hiervoor opgezette topicstructuur. Kort daarna zal worden begonnen met het
inrichten van het proces voor aanleveren van nieuwe vragen door docenten. De docenten zullen
hiervoor o.a. een kort instructieprogramma volgen.
De opbouw van itembanken begint bij FMW met het Ma-onderwijs (M1 blokken bewegen, heelkunde,
geneeskunde, levenscyclus) waarbinnen de eerste pilot zal worden uitgevoerd en het Ba-onderwijs
(IBMG, en BA1, BA2, Ba3) waarvan alle herkansingen in juli 2013 via QMP zullen worden afgenomen. Bij
invoer van vragen bij Letteren wordt prioriteit gegeven aan het inrichten van ca. 30 toetsenbanken bij
de 5 grote propedeuseopleidingen (Notitie Prestatieafspraken/ Innovatiegelden Faculteit der Letteren)
en het verder ontwikkelen van bestaande itembanken (opleiding KCM). Bij GMW worden itembanken
opgebouwd in het kader van het door het CvB gehonoreerde onderwijsinnovatieproject. Dit betreft het
opzetten van toetsenbanken voor ca. 35 vakken in het 1e en 2e jaar van het Ba-programma Psychologie
en Pedagogische Wetenschappen. GMW overweegt ook het gebruik van QMP voor formatieve toetsing.
Bij Letteren en GMW is formatie begroot voor het opzetten van de databanken (resp. 2,5 fte en 1,75
fte). Bij FMW moet formatie worden vrijgemaakt voor het invoeren van de toetsen en de coördinatie.
Deze formatie maakt geen onderdeel uit van het X@m! project.
Het invoeren van toetsvragen bij de overige faculteiten is afhankelijk van de vraag en begint niet eerder
dan september 2013.
De afname van toetsen in QMP wordt stapsgewijs ingevoerd. De eerste pilot wordt uitgevoerd bij een
van de toetsen die iedere 6 weken binnen van het Masterprogramma FMW worden afgenomen. Deze
pilot en eventuele volgende toetsen binnen dit programma worden afgenomen in een computerzaal bij
UMCG. Als dit goed verloopt worden alle herkansingen van het Ba-programma in juli in de AJH
afgenomen. De eerste afnames bij Letteren en GMW volgen na de eerste pilot bij FMW. Deze vinden
eveneens plaats in de AJH. Het is (o.a. i.v.m. roostering) niet te verwachten dat alle te ontwikkelen
toetsen (zie 3.3.3) bij deze faculteiten vóór september 2013 zullen worden afgenomen.
Bij de afnames zal minimaal één papieren afname via print-en-scan module (3.3.1 hierboven) worden
uitgevoerd. Doel hiervan is om te onderzoeken of dit een optie is voor grote aantallen studenten en MC
13
tentamens (mogelijke voordelen: één vragendatabase en resultaten geconsolideerd in één systeem,
ongeacht de wijze van afname).
3.3.2.4 Teamoverleg en rapportages Het projectteam komt minimaal eenmaal per maand bijeen om de voortgang van de werkzaamheden te
bespreken. Tijdens het teamoverleg worden de procedurevoorstellen, detailplanningen en rapportages
besproken en vastgesteld. De data voor de overleggen worden vooraf vastgelegd en van ieder overleg
wordt een verslag gemaakt.
3.3.3 Resultaten
1 Invoering QMP
2 Inrichting ontwikkel- en afnameomgeving QMP
3 Procedures voor aanleveren nieuw toetsmateriaal
4 Methoden voor metadatering en trekking toetsitems uit de database
5 Training en instructie toetsexperts en docenten in gebruik
6 Kennisontwikkeling en functionele ondersteuning QMP
7 Afnames van toetsen in QMP
8 Afnames van papieren toetsen vanuit de QMP databank
9 Rapporten en verslagen
3.3.4 Uitvoering in uren, kosten en periode
Toetsontwikkeling QMP 2.376h € 197.840,00 Thu 1-11-12 Fri 29-8-14
Coördinatie 164h € 8.200,00 Thu 1-11-12 Thu 28-8-14
Voorbereiding 104h € 85.200,00 Thu 1-11-12 Fri 15-2-13
Aanschaf QMP 16h € 80.800,00 Thu 1-11-12 Tue 15-1-13
Inrichting SAAS-server 16h € 800,00 Tue 1-1-13 Fri 1-2-13
Installatie en test
windows-based authoring
tool
12h € 600,00 Wed 2-1-13 Sat 2-2-13
Installatie en test building
block Blackboard
24h € 1.200,00 Wed 2-1-13 Fri 15-2-13
Installatie en test print en
scan connector
36h € 1.800,00 Wed 2-1-13 Fri 15-2-13
Inrichten functionele ondersteuning 976h € 47.840,00 Wed 2-1-13 Fri 29-8-14
14
Training toetsteam 168h € 7.440,00 Wed 2-1-13 Fri 1-3-13
Opzetten mappen en
rechtenstructuur RUG
88h € 4.400,00 Sun 3-3-13 Fri 3-5-13
Metadatering en selecties 480h € 24.000,00 Sun 3-3-13 Fri 29-8-14
Training en begeleiding
toetsondersteuners
faculteiten
240h € 12.000,00 Mon 1-4-13 Fri 27-6-14
Ondersteuning bij invoer en afname
toetsen
916h € 45.800,00 Mon 18-2-13 Fri 29-8-14
Toetsing FMW, LET,
GMW
436h € 21.800,00 Mon 18-2-13 Fri 30-8-13
Toetsing alle faculteiten 480h € 24.000,00 Mon 26-8-13 Fri 29-8-14
Teamoverleg en rapportages 216h € 10.800,00 Mon 7-1-13 Thu 28-8-14
3.4 Werkpakket 4: Toetsinfrastructuur Verantwoordelijk teamleider: CIT-medewerker UWP 2.0
3.4.1 Uitgangssituatie
De AJH is ingericht met 288 op maat gemaakte toetstafels met toetspc’s voorzien van een specifieke,
beveiligde Windows image en policies (op basis van Windows 7). Deze opzet maakt het mogelijk om
digitale toetsen af te nemen vanaf deze toets pc’s waarbij de student na inloggen in de beveiligde
toetsomgeving van Nestor terechtkomt. De toets pc’s met beveiligde omgeving worden op dit moment
alleen in de AJH ingezet en ondersteund. Het afnemen van toetsen met verschillende instellingen binnen
de AJ hal op hetzelfde moment, of een toets met dezelfde instellingen binnen de AJH en daarbuiten, is
met de huidige configuratie niet mogelijk. En de toegang tot, of het uitsluiten van, specifieke websites
kan niet eenvoudig worden geregeld. De image is niet ingericht op basis van UWP of SWP. Plug-ins voor
het lezen van PDF- of Word-bestanden en het afspelen van audio en video zijn nog niet beschikbaar.
Gebruik van standaard UWP/SWP applicaties is niet mogelijk. Ook is het niet mogelijk om onder Linux te
toetsen.
De werkzaamheden worden langs 4 hoofdlijnen uitgevoerd. Nauwe afstemming met de implementatie
van UWP 2.0 is hierbij vereist. In verband hiermee worden de werkzaamheden uitgevoerd onder
eindverantwoordelijkheid van een teamleider verbonden aan het UWP 2.0 project.
15
3.4.2 Deelpakketten
3.4.2.1 Generieke instellingen
Deze activiteit is bedoeld om ervoor te zorgen dat:
toetsen binnen een afgeschermde omgeving kunnen worden afgenomen, desgewenst met toegang tot per toets instelbare secundaire bronnen;
standaardapplicaties kunnen worden aangeboden als onderdeel van het toetsproces;
audio- en video vanaf het RUG videoplatform binnen de toetsomgeving worden geïntegreerd.
Het inrichten van een proxyserver in combinatie met het instellen van de gebruiker- en machinepolicies
dient als basis voor de afscherming. Ten behoeve van het functioneel beheer (door ESI) zal een
beheermodule worden ontwikkeld, waarmee de instellingen kunnen worden bepaald en gewijzigd. De
ontwikkeling van deze module zal in nauwe afstemming plaatsvinden met de ontwikkeling van de
toegang voor studenten binnen Nestor (3.3.1) omdat Nestor dient als main point of entry voor alle
toetsen binnen de AJH.
Applicaties, browser plug-ins, etc. zullen uitsluitend worden aangeboden op basis van UWP 2.0
technieken. Dit betekent dat applicaties gevirtualiseerd zullen worden aangeboden en via RES (Dynamic
Desktop Studio) i.c.m. Citrix en AD zullen worden aangeboden. De beschikbaarheid van applicaties volgt
de binnen het UWP 2.0 project overeengekomen planning en tijdpad. De functionele instellingen van de
applicaties en de wijze van integratie met de toetsapplicaties worden door de functioneel
toetsbeheerders in overleg met eindgebruikers en CIT MWS vastgesteld.
Audio- en videointegratie wordt ontwikkeld i.s.m. medewerkers betrokken bij de implementatie van de
videodiensten van de RUG.
Een evaluatie van elders ontwikkelde systemen / methodieken voor functioneel beheer vormt een
onderdeel van de projectactiviteiten. Dit betreft o.a. WUR: Secure Test Environment (toetsbeheer,
inclusief applicatietoetsen op basis van policies en AD) en TUD: applicatiemanagement (op basis van RES
en Citrix).
3.4.2.2 Specifieke toetsen
Deze activiteit is bedoeld om toetsen, anders dan toetsen in Nestor en QMP, af te kunnen nemen
binnen de beveiligde omgeving. Dit betreft o.a. toetsen onder Linux en elders ontwikkelde toetsen met
specifieke inhoud (taaltoetsen, etc.). Het betreft dus toetsen met een duidelijk andere opzet,
functionaliteit en/of inhoud dan de standaardtoetsen in Nestor en QMP. Uitgangspunt is dat het gaat
om web-gebaseerde toetsen die via een URL kunnen worden aangeroepen.
De toetsen onder Linux betreffen o.a. toetsen Imperatief Programmeren binnen een speciaal hiervoor
ontwikkeld toetssysteem bij de Faculteit Wis- en Natuurwetenschappen. Afgesproken is dat hiervoor
door FWN een virtuele server zal worden opgezet die vanuit de AJH zal worden ontsloten.
16
Andere toetsen zijn nog niet expliciet genoemd, maar gedacht wordt aan toetsen behorend bij bepaalde
onderwijsmethoden, (verplichte) reken en taaltoetsen (lerarenopleidingen) en andere commercieel of
vrij verkrijgbare toetsen.
3.4.2.3 Toetsen buiten AJH
Doel van deze activiteit is om toetsafnames mogelijk te maken:
op andere lokaties binnen de RUG;
met specifieke instellingen voor functiebeperkte studenten;
op eigen devices van de studenten (voor een beperkt repertoire toetsen, met aangepast afschermingsniveau).
Door te toetsen op andere lokaties binnen de RUG kan op termijn alle beschikbare computercapaciteit
optimaal worden benut. Uitgangspunt voor deze opschaling is dat alle PC’s moeten zijn voorzien van
UWP 2.0. Voorwaarde is dat ook op andere lokaties een adequaat afschermingsniveau kan worden
gegarandeerd.
Aanpassingen voor functiebeperkte studenten worden ontwikkeld in nauw overleg met de Faculteit
Rechten die momenteel een pilotproject aan het voorbereiden is op een decentrale lokatie
(Turftorenstraat 2), voorzien van PC’s die identiek zijn aan de in de AJH gebruikte machines. Ook worden
afdelingen met een specifieke taakstelling op dit gebied betrokken, zoals het Studenten Service
Centrum. De betreffende configuraties moeten decentraal kunnen worden aangeboden, maar eveneens
binnen de AJH indien de aard van de beperking (of de computerconfiguratie) dit toelaat.
Tenslotte zullen, in eerste instantie via een pilotproject, de mogelijkheden worden verkend om de
toetsomgeving aan te bieden op eigen devices van de studenten. Uitgangspunt hierbij zal zijn gebruik
van de niet-beheerde versie van de UWP 2.0 op door de studenten zelf meegebrachte laptops of tablets,
met toetsen die zich hiertoe lenen (open boek tentamens, bepaalde soorten essayopdrachten). Een
minimaal vereist afschermingsniveau zal hierbij worden gedefinieerd.
3.4.2.4 Teamoverleg en rapportages
Het projectteam komt minimaal eenmaal per maand bijeen om de voortgang van de werkzaamheden te
bespreken. Tijdens het teamoverleg worden de programmma’s van eisen, systeemontwerpen,
detailplanningen en rapportages vastgesteld. De data voor de overleggen worden vooraf vastgelegd en
van ieder overleg wordt een verslag gemaakt.
3.4.3 Resultaten 1 Afgeschermde toetsomgeving met toegang tot specifieke resources
2 Gebruik standaardapplicaties voor toetsing
3 Geïntegreerde audio en video
4 Toetsen binnen Linuxomgeving
17
5 Toetsen met elders ontwikkelde toetsen (commercieel, niet-commercieel)
6 Toetsen op iedere plek binnen de RUG
7 Toetsen voor studenten met een functiebeperking
8 Toetsen op eigen devices studenten
9 Ontwerpen, rapportages en verslagen
3.4.4 Uitvoering in uren, kosten en periode
Ontwikkeling
toetsinfrastructuur
1.644h € 82.200,00 Mon 3-9-12 Fri 29-8-14
Coördinatie 108h € 5.400,00 Mon 3-9-12 Thu 28-8-14
Generieke instellingen 520h € 26.000,00 Mon 1-10-12 Thu 2-5-13
Toetsinstellingen,
afscherming en beheer
112h € 5.600,00 Mon 1-10-12 Sun 3-2-13
Toetsen icm UWP-
applicaties
248h € 12.400,00 Wed 2-1-13 Thu 2-5-13
Integratie audio- en
videoservices
160h € 8.000,00 Wed 2-1-13 Thu 28-3-13
Specifieke toetsen 176h € 8.800,00 Mon 3-6-13 Fri 27-6-14
Toetsen onder Linux 112h € 5.600,00 Mon 3-6-13 Fri 27-9-13
Gebruik elders ontwikkelde
toetsen
64h € 3.200,00 Mon 2-9-13 Fri 27-6-14
Toetsen buiten AJH 712h € 35.600,00 Mon 2-9-13 Fri 29-8-14
Toetsen op andere lokaties
RUG
304h € 15.200,00 Mon 2-9-13 Fri 29-8-14
Toetsen voor
functiebeperkte studenten
264h € 13.200,00 Mon 2-9-13 Fri 28-2-14
Toetsen op basis van
BYOD
144h € 7.200,00 Mon 3-3-14 Fri 29-8-14
Teamoverleg en rapportages 128h € 6.400,00 Mon 3-9-12 Thu 28-8-14
18
3.5 Werkpakket 5: Management en communicatie Verantwoordelijke teamleider: Sake Jager, ESI
3.5.1 Uitgangssituatie
In mei 2012 is een tijdelijk project manager aangesteld. Deze rol wordt vervuld door S. Jager (ICT en
Onderwijs Letteren, voor het project gedetacheerd bij ESI). De project manager is gevraagd om de
bestaande initiatieven (inrichting toetshal, toetsen met Nestor, resultaten Idem Dito project) samen te
brengen om ervoor te zorgen dat vanaf september 2012 digitale toetsing op ruime schaal mogelijk
wordt. Het opstellen van het voorliggende projectplan maakt hier onderdeel van uit.
De project manager is verantwoordelijk voor de uitvoering en bewaking van het implementatietraject.
Naast aansturing van het projectteam, gaat het hierbij om overleg met de opdrachtgevers, het leggen en
onderhouden van contacten met de faculteiten (klanten), overleg met verschillende partijen die bij de
implementatie betrokken zijn (roosteraars, facilitair managers), het verzorgen van de interne en externe
communicatie en het uitvoeren van evaluaties en voortgangsrapportages. Het opzetten van een
passende organisatiestructuur maakt eveneens onderdeel uit van de taken.
De de huidige projectmanager draagt zijn werkzaamheden uiterlijk 1 juli 2013 over aan zijn opvolger.
De werkzaamheden binnen WP5 zijn verdeeld over de volgende activiteiten:
3.5.2 Deelpakketten
3.5.2.1 Interne communicatie en disseminatie
Overleg met stakeholders. Digitale toetsing is een nieuwe dienst in opbouw binnen de RUG. Overleg met
verschillende stakeholders is essentieel om aan te sluiten bij onderwijsbeleid en andere ontwikkelingen.
ESI voert daarom minimaal eenmaal per jaar gesprekken met (vertegenwoordigers van) de
faculteitsbesturen. Verder vindt geregeld overleg plaats met roosteraars, technisch ondersteuners (CIT),
facility managers en demand managers over verbetering van processen en voorzieningen.
Website en nieuwsbrieven. Er wordt een communicatiemedewerker aangesteld die verantwoordelijk is
voor de nieuwsgaring en informatieverspreiding met betrekking tot digitaal toetsen. De
belanghebbenden binnen de universiteit en belangstellenden daarbuiten worden via verschillende
kanalen op de hoogte worden gehouden van de mogelijkheden van digitale toetsing en de bereikte
resultaten (nieuwsbrieven, website, sociale media). In overleg met de webplatformredacteur van ESI
(Koos Winnips) en de portalbeheerder van CIT (Dick Prins) worden binnen het ESI-deel van de portal
informatieve webpagina’s opgezet ter ondersteuning van digitaal toetsen. Ook wordt vier keer per jaar
een digitale nieuwsbrief verstuurd naar belangstellenden binnen de RUG. Verder worden
geïnteresseerden via o.a. LinkedIn, SURFShare en Yammer op de hoogte gehouden van de nieuwste
ontwikkelingen.
19
Bijeenkomsten en presentaties. ESI verzorgt informatie- en kennismakingsbijeenkomsten digitaal
toetsen op lokatie bij faculteiten of centraal binnen de RUG. In juni 2013 en juni 2014 worden
universiteitsbrede voorlichtingsbijeenkomsten georganiseerd waarbij de resultaten door betrokken
docenten, studenten en ondersteuners worden gepresenteerd.
De werkzaamheden worden uitgevoerd volgens een nader uit te werken communicatieplan.
3.5.2.2 Externe communicatie en disseminatie
De leden van het projectteam leveren een actieve bijdrage aan nationale en –incidenteel-
internationale bijeenkomsten, conferenties en netwerken die relevant zijn voor de invoering van digitale
toetsing aan de RUG. Hiertoe behoren o.a. de bijeenkomsten in het kader van de SIG Digitaal Toetsen
van SURF. Doel van de deelname is tweeledig. Enerzijds gaat het om kennisvermeerdering en het leggen
van contacten met uitvoerders van digitale toetsing elders om te profiteren van elders opgebouwde
ervaringen en expertise. Anderzijds om de door de RUG behaalde resultaten te delen met
belangstellenden elders.
Een deel van de website (zie boven) wordt ingericht voor externe doelgroepen.
Teamleden verzorgen incidenteel publicaties in vakbladen en andere media gericht op digitale toetsing
(bijvoorbeeld in het tijdschrift Examens).
3.5.2.3 Organisatieopbouw
Het inrichten en optimaliseren van de werkprocedures is een onderdeel van de organisatieopbouw.
Hiertoe behoren ook het opzetten en het onderhoud van de administratie van digitale toetsing (van
aanmelding tot het archiveren van toetsen en toetsresultaten) volgens de hiervoor geldende richtlijnen
voor onderwijs en examens.
Verder bereidt de projectmanager, in overleg met het Louwarnoud van der Duim, de organisatievorm
en personele invulling voor van de eenheid die belast is met digitale toetsing.
Tenslotte zorgt de projectmanager voor een goede overdracht van taken en en eventueel het inwerken
zijn opvolger als leider van het project.
3.5.2.4 Teamoverleg en rapportages
Het projectteam komt eenmaal per maand bijeen om de voortgang van de werkzaamheden te
bespreken. Tijdens het teamoverleg worden de programmma’s van eisen, systeemontwerpen,
detailplanningen en rapportages vastgesteld. De data voor de overleggen worden vooraf vastgelegd en
van ieder overleg wordt een verslag gemaakt.
De project manager rapporteert tweemaal per jaar over de voortgang van het project naar de
opdrachtgever, ICT Cie en CvB. Een afschrift hiervan gaat naar de faculteiten.
20
3.5.3 Resultaten
1 Teamsite
2 Projectwebsite
3 Publicaties via websites en andere kanalen
4 Twee RUG-brede voorlichtingsbijeenkomsten
5 Presentaties tijdens lokale, nationale, evt. Internationale bijeenkomsten
6 Vakpublicaties
7 Dienst(onderdeel) digitaal toetsen met dienstenportefeuille en personeelsplan
8 Rapportages en verslagen
3.5.4 Uitvoering in uren, kosten en periode
Management en
communicatie
1.488h € 75.400,00 Mon 3-9-12 Fri 29-8-14
Projectleiding 780h € 39.000,00 Mon 3-9-12 Fri 29-8-14
Exploitatie € 5.000,00 Mon 3-9-12 Fri 29-8-14
Interne communicatie en disseminatie 412h € 16.600,00 Mon 3-9-12 Fri 29-8-14
Overleg stakeholders 60h € 3.000,00 Mon 3-9-12 Fri 30-5-14
Verzorgen bijeenkomsten
en presentaties
136h € 6.000,00 Wed 1-5-13 Mon 30-6-14
Website en nieuwsbrieven 216h € 7.600,00 Sun 13-1-13 Fri 29-8-14
Externe communicatie en
disseminatie
112h € 5.600,00 Sun 3-3-13 Fri 29-8-14
Deelname aan
conferenties, bijeenkomsten
en netwerken
112h € 5.600,00 Tue 10-6-14 Fri 27-6-14
Publicaties 0h € 0,00 Sun 3-3-13 Fri 29-8-14
Organisatieopbouw 40h € 2.000,00 Sun 3-2-13 Fri 28-6-13
Teamoverleg en rapportages 144h € 7.200,00 Mon 3-9-12 Fri 29-8-14
21
4 Risicoanalyse
Risicobeschrijving Kans Impact Acties om risico’s te beperken
Te weinig personeel
beschikbaar / vrijgemaakt
Middel Middel Risico is hoogst voor technische ondersteuners. Zal leiden
tot vertraging bij invoering nieuwe mogelijkheden. Impact
kan worden beperkt door vooral standaardmogelijkheden
toetsprogrammatuur te benutten. Functioneel beheer
(ondersteuning bij voorbereiding en afname toetsen) is
belegd bij meerdere medewerkers die elkaar kunnen
afwisselen. Capaciteit FB is op beoogd niveau gebracht.
Draagvlak / belangstelling
is gering
Laag Hoog Er is al flinke belangstelling. Commitment op opleidings-
/managementniveau creëren. Koppeling maken met
toetsbeleid. Individueel gebruik door docenten
stimuleren. Project in publiciteit brengen. Technisch
betrouwbare dienst leveren.
Kwaliteitsvoordelen
worden onvoldoende
benut
Middel Laag Aansluiting zoeken bij professionaliseringsbeleid (BKO) en
maatregelen in kader van nieuwe taakstelling
examencommissies (betere inzage). Kwaliteitskenmerken
toetsen na afloop terugkoppelen naar docenten,
specifieke meerwaarde digitaal toetsen benutten
(toetsmatrijs, gebruik multimedia).
Efficiencyvoordelen
worden onvoldoende
benut
Laag Hoog Gebruik gesloten toetsen bevorderen, hergebruik van
items mogelijk maken, efficiencyvoordelen
essaytentamens op de computer benutten en voor het
voetlicht brengen.
Roostering digitaal
toetsen is een probleem
Laag Hoog Vroegtijdige inroostering van digitale toetsen door
facultaire roostermakers; vast contactpersoon voor
naplaatsingen binnen roosterorganisatie RUG aan laten
wijzen; op termijn: spreiding digitale toetsing over
meerdere geschikte lokaties RUG en wellicht op eigen
devices studenten.
Er kan geen opvolger
worden gevonden voor de
tijdelijke projectleider
Middel Middel Delegeren van uitvoerende taken over meerdere
teamleiders. Aanstelling van nieuwe projectleider vóór
vertrek huidige. Overdracht van opgebouwde ervaringen,
kennis, documentatie en contacten.
ToetsPC’s werken niet
goed
Middel Hoog Harde afspraken met leveranciers over
servicevoorwaarden. Voorbereiding digitale toetsen
continueren bij (tijdelijke) problemen toets PC’s. .
Desnoods afname op andere lokaties of met vervangende
22
PC’s (eventuele kostenpost). Impact zeer hoog omdat
vertrouwen in digitale toetsen ernstige schade kan
oplopen.
Toetsprogrammatuur
werkt niet goed
Laag Middel Programma’s zijn binnen RUG en elders uitgebreid
beproefd. Risicospreiding door twee verschillende
toetsprogramma’s. Zwakke punten programma’s zijn
bekend. Nadruk leggen op organisatie ipv programmatuur.
Technische infrastructuur
is niet adequaat
Laag Middel De gekozen infrastructuur (RES, AD, beheer via policies) is
ook elders in gebruik. Waar mogelijk elders ontwikkelde
tools en technieken inzetten. De gekozen infrastructuur is
niet specifiek voor toetsing (aangepaste versie UWP 2.0).
Eventuele vertraging in oplevering betekent vertraging in
realisatie nieuwe functies, geen stopzetting van huidige
manier van toetsen.
23
5 Begroting
5.1 Totaal in uren, kosten en periode
Totaal 13.246h € 697.340,00 Mon 3-9-12 Fri 29-8-14
Planning en uitvoering tentamens 5.374h € 223.700,00 Mon 3-9-12 Fri 29-8-14
Toetsontwikkeling Nestor 2.364h € 118.200,00 Mon 3-9-12 Fri 29-8-14
Toetsontwikkeling QMP 2.376h € 197.840,00 Thu 1-11-12 Fri 29-8-14
Ontwikkeling toetsinfrastructuur 1.644h € 82.200,00 Mon 3-9-12 Fri 29-8-14
Management en communicatie 1.488h € 75.400,00 Mon 3-9-12 Fri 29-8-14
5.2 Kostenverdeling (conform eerdere versie projectplan) Onderstaande kostenverdeling is conform de verdeling waarmee CvB en MB akkoord zijn gegaan. Om
binnen het budget te blijven is het exploitatiebudget met € 5000,- verlaagd. De huidige herziene
begroting wijkt slechts gering af van de eerder ingediende (verschil van -€46). De overeengekomen
verdeling kan hiermee worden gehandhaafd, met dien verstande dat de kosten van QMP waarschijnlijk
iets lager zullen zijn dan hier begroot en dat de bijdrage in de kosten voor technische toetsassistenten
over de faculteiten pas achteraf kan worden vastgesteld.
Eenheid Bedrag Toelichting
CvB (ICT-fonds) € 356.250 Personeel, bijdrage QMP en exploitatie
CIT – ESI € 160.000 Toetsondersteuners
CIT – Infrastructuur (UWP
2.0)
€ 65.600 Technische ondersteuning inrichting infrastructuur
LET € 20.000 Bijdrage QMP, naar rato werkelijke kosten
FMW € 30.000 Bijdrage QMP, naar rato werkelijke kosten
GMW € 10.000 Bijdrage QMP, naar rato werkelijke kosten
Alle faculteiten € 55.536 Technische assistentie tijdens afname toets, naar rato gebruik, op basis van
prognose aantal toetsen, verrekening achteraf
Totaal € 697.386 € 46 hoger dan in voorliggende plan