CONNECTING THE DOTS!

METHODE EN AANPAK VU STUDENT ANALYTICS

16 JUNI 2017, V1

HO-LINK

CONNECTING THE DOTS....

2

Project

Manager

V

CONNECTING THE DOTS....

3VProject

Manager

V

STUDENT ANALYTICS AAN DE VU – DOET DE VU AAN BIG DATA?

VOLUME

VVARIETY

VVELOCITY

VVALUE

V600+externe

uren

4.440interne

uren2x 10 weken

doorlooptijd

787kenmerken

23bronnen

7 jaar aan data

176.908 eerstejaars inschrijvingen

4.400.000resultaten

21,8GB aan

data

begeleiding

381studenten

wekelijksefrequentie van data

752 bestanden

3academische

jaren

jun

i 2

01

7

6wetenschappelijke

projecten

voorlichting

62.000studenten

7 beleidsrapporten

12 beleids-

dashboards

79presentaties

WIE HEB JE NODIG? – SLEUTELROLLEN IN STUDENT ANALYTICS (1)

5

Business

User

Database

administrator (DBA)

Data

Scientist

Privacy

Officer

Project

ManagerProject

Sponsor

Business

Intelligence

Analyst

Data

Engineer

Security

Officer

Het VU Student

Analytics project

kent de volgende

rollen

V

Theo

OTIR-team

+ Weten-

schappers

OTIR-team

VU-IT

Externe partijenOTIR

-team

V

WIE HEB JE NODIG? – SLEUTELROLLEN IN STUDENT ANALYTICS (2)

6

Social Learning Cycle in de information space – Boisot 1999

5

6

Concreet Niet verspreid

Verspreid

Abstract

Ge

cod

ific

eerd

Nie

t g

ecod

ific

eerd

12

3

4

4. Verspreiding

van informatie

Rapportages, dashboards,

datasets voor wetenschappelijk gebruik

Formeel

Informeel

5. Absorptie

Ontvangst van inzichten

via meerdere kanalen

Medewerkers (docenten

en beleidsmedewerkers),

studenten,

6. impact

nieuwe beleid,

transacties in

systemen,

OER, strategie,

begeleiding, onderwijs

systeeminrichting

3. Abstractie

Analyse van data en

creëren van inzichten

Analyses,

Werksessies

1. Verzameling

Verzameling van data en

feedback van gebruikers

SIS,

Studielink,

NSE, CRM, etc2. Codificering

Engineering van data

naar datasets

Rapportages, dataCombinatie van data,

definitie van variabelen

WAT HEB JE NODIG? - HET NEGENVLAK VOOR INFORMATIEMANAGEMENT

7

Het negenvlak helpt bij

het in kaart brengen van

het raakvlak tussen

organisaties en hun IT

voorziening

Het negenvlak voor

informatiemanagement -

Rik Maes (1999),

naar Toon Abcouwer

& Jan Truijens (1997)

Strategie

Instelling

Informatie

&

communicatie

strategie

IT strategie

Processen

&

procedures

Data

&

Informatie

Systemen

Onderwijs

&

Onderzoek

Persoonlijke

informatieWerkplek

BusinessInformatie

& communicatieTechnologie

Beleid

richten

Structuur

inrichten

Uitvoering

verrichten

Inspireren

Informeren

NEGENVLAK - INFORMATIEMANAGEMENT & ANALYTICS

8

Strategie

Instelling

Informatie

&

communicatie

strategie

IT strategie

Processen

&

procedures

Data

&

Informatie

Systemen

Onderwijs

&

Onderzoek

Persoonlijke

informatieWerkplek

BusinessInformatie

& communicatieTechnologie

Beleid

richten

Structuur

inrichten

Uitvoering

verrichten

• Analytics strategie

• BI strategie

• Aanlevering van

bestanden

• Automatisering / SLA’s

• Beveiliging

• Versiebeheer software

• Installatie van software

bij ontwikkelaars en

eindgebruikers

• Hardware• Monitor voor begeleiders

• Klankbordgroep

• Trainingsprogramma

• Voorlichting over privacy & beveiliging

• Pilot in onderwijs

• Beleidsvorming &

kwaliteitszorg

• Gebruik in

wetenschappelijk

onderzoek

• Onderwijsagenda

• Instellingsplan

• Bekostiging

• Overleg met OCW

• Toestemmings-

verklaring

• Levering aan

- begeleiders

- beleidsmedewerkers

- wetenschappers

• Privacy beleid

• Stuurgroep

• Communicatie (intern) & extern

• Ethische uitgangspunten

• Datakwaliteit

• Validiteit methoden

• Documentatie

• Stijlgids

• Issuetracking / Scrum

1 2

3

4

5

76 8

9

Geslacht

Leeftijd op 1 oktober

Land van herkomst VO

Gezinssamenstelling

Profielkeuze

Vooropleiding en onderwijsinstelling

Tussenjaren / Jaren sinds diploma

Verblijfsjaren

Voorlichting en introductie

Matching

Eindexamencijfers

Uitslagen taaltoets VU

Studieprestaties aan de VU

Honours en Cum Laude

Studenttevredenheid

Uitval en diplomarendement

Studiesucces & tevredenheid

Stroominformatie

Geografische spreiding (GIS)

Kwaliteit scholen

Achtergrond scholen

1. DATA – DATA EN KENMERKEN DIE ZIJN GEANALYSEERD

9

Instroom

Vooropleiding & aansluiting

Demografie

Als basis voor verschillende soorten analyses, beleidsontwikkeling en wetenschappelijk

onderzoek zijn de volgende soorten data verzameld, waarvan het grootste gedeelte is

gebruikt voor analyses van studiesucces in de bachelor:

Bijzondere persoonsgegevens

Opgenomen in de dataset voor wetenschappelijk onderzoek, maar niet gebruikt in analyses binnen het

project:

• Eerste generatie & etniciteit, geboorteland

• Functiebeperking

1. DATA – VALIDITEIT METHODIEK

10

VOORSPELMODEL BACHELOR

UITVAL NA 1 JAAR

BIJLAGE III – STUDENT ANALYTICS 2016

VERSIE 5, 6 MAART 2017

Martijn Meeter

Hoogleraar

Onderwijskunde VU

Sandjai Bhulai

Hoogleraar

Data Analytics VU

Wetenschappelijke bijlage

voorspelmodel

Data

ScientistWetenschappelijke toetsing

Methodiek en uitkomsten gevalideerd door wetenschappers VU

1. DATA – DOCUMENTATIE (1)

11

Productvisie - verantwoording selecties

en scope van de data

Inhoudsopgave

I. Inleiding

II. Context

III. Scope

IV. Ontwerpcriteria

V. Verantwoording

keuzes

VI. Procedures levering

datasets

Business

UserProject

Sponsor

1. DATA – DOCUMENTATIE (2)

12

Documentatie analyseset (codebook)

Beschrijving per variabele & mogelijke waarden

Data

Scientist

1. DATA – DOCUMENTATIE (3)

13

Stijlgids

Afspraak over codering van bestanden en het maken van code

Data

Scientist

Business

Intelligence

Analyst

Data

Engineer

1. DATA – ISSUETRACKING / SCRUM

14

SCRUM & JIRA

Dagelijkse stand-up / sprints / JIRA

Data

Scientist

Business

Intelligence

Analyst

Data

Engineer

2. SYSTEMEN – AANLEVERING VAN DATA

15

Verrijkt 1CHO bestand

Een imitatie van het 1CHO

bestand voor gebruik in het najaar

Analysesets

Gecombineerde data, één regel

per inschrijving. Resultaten met

één regel per vak

Dashboards

Op basis van subsets van de

analysesets

Modellering

• Tabellen per sleutel/niveau

Manipulatie:

• Transformeren, schonen,

filteren

• Start met

inschrijvingstabel,

toevoegen van additionele

informatie.

Brondata

Databestanden zijn

gepseudonimiseerd

en op een beveiligde

netwerkschijf gezet.

Datamodel &

datamanipulatieResultaten

De data is vervolgens

in een model gevat

en verder bewerkt*

Inschrijving

Student Resultaat

Bronnen

• DUO

• CBS

• MIVU / SAP SLM

• Selligent

• NOA (Matching)

• Introductie

• Taaltoets & bijspijker

• NSE

• Alumni

Vervolgens zijn 4 views op

de data gemaakt voor

verschillende doeleinden*

*Zie voor een toelichting op selecties

en keuzes bijlage X

Brondata is verzameld, gecombineerd, opgeschoond en getransformeerd en omgezet naar nieuwe

datasets en rapportages

Extracten voor wetenschappers

Op basis van subsets van de

analysesets

2. SYSTEMEN – AANLEVERING VAN DATA

16

Database

administrator (DBA)

Systemen

Geautomatiseerde aanlevering & beveiligingsplan

Privacy

Officer

Security

Officer

2. SYSTEMEN – VERSIEBEHEER SOFTWARE

17

Systemen

Versiebeheer software

Data

Scientist

Business

Intelligence

Analyst

Data

Engineer

V

3. INSTELLING - WAT BETEKENT HET VOOR DE VU?

18

De VU Meer instroom van goed gemotiveerde studenten en

betere relaties met toeleverende scholen met een

unieke positionering.

Hogere tevredenheid onder studenten en docenten.

Meer baten door een gezonder evenwicht in

bekostiging.

Project

Sponsor

V

3. INSTELLING - WAT BETEKENT HET VOOR DE VU?

19

Meer instroom van goed gemotiveerde studenten en

betere relaties met toeleverende scholen met een

unieke positionering.

Hogere tevredenheid onder studenten en docenten.

Meer baten door een gezonder evenwicht in

bekostiging.

De VU

Project

Sponsor

V

3. INSTELLING - WAT BETEKENT HET VOOR STUDENTEN & DOCENTEN?

20

Studenten

& docentenBetere aansluiting van studenten vanuit hun vooropleiding.

Betere mogelijkheden om actief te reflecteren op het eigen

studiesucces en daarbij passende begeleiding te vinden.

Beter inzicht in studenten en hun achtergrond voor

begeleiding.

Bron: Ad Valvas

Business

User

V

3. INSTELLING - WAT BETEKENT HET VOOR ONDERZOEKERS EN OOP?

21

Onderzoeker

& beleidsmakers

Beter inzicht in studenten en hun achtergrond.

Ondersteuning kunnen bieden die aansluit bij de

daadwerkelijke vraag van studenten en de behoefte van

de onderwijsorganisatie.

Mogelijkheden voor het doen van eigen onderzoek op

rijke analysesets onder voorwaarden.

BEVINDINGEN – SELECTIEVE WERKING

4

Mogelijke effecten van invoer van het BSA bij alle opleidingen die vanaf 2011 een

BSA invoerden

1. Verbetering van de selectieve functie van het 1e jaar; studenten vallen eerder uit ten

opzichte van de totale uitval.

2. Toename van het gemiddeld aantal behaalde studiepunten in het 1e jaar.

3. De verdeling van BSA adviezen over de jaren heen min of meer constant.CORRELATIE EINDEXAMENCIJFER NEDERLANDS & TAALTOETS

Uit een regressieanalyse van het

inschrijvingsjaar 2014 blijkt dat er een

significant verband is tussen het

eindexamencijfer Nederlands en de

taaltoets, maar dit verband is zwak.

P < 0,0001, R2 = 0,155

Dit kan erop duiden dat de twee variabelen

andere aspecten van de Nederlandse taal

toetsen en elkaar aanvullen als het gaat

om uitval; het kan ook liggen aan een

achterliggende, nog onbekende variabele*.

Er zijn studenten met een redelijk

eindexamencijfer Nederlands die ook in

aanmerking komen voor bijscholing.

Deze groep kunnen we met de taaltoets

identificeren.

16

Inschrijvingsjaar

2014

* Om hier uitspraken over te kunnen doen is nader

onderzoek nodig.

Business

User

4. PROCESSEN & PROCEDURES - TOESTEMMING

22

De aanpak voor begeleiding kent

drie stappen

We vragen studenten eerst

toestemming om hun hun

persoonsgegevens te mogen

gebruiken voor proactieve en

gerichte begeleiding.

Bij studenten die toestemming

hebben gegeven prioriteren we na

iedere periode begeleiding en

advies op basis van een kans op

uitval.

Vervolgens baseren we het advies

en de verdere begeleiding op het

tot dan toe getoonde

studiegedrag (op de dimensies

academische zelfmanagement/

motivatie en prestatie).

%

56Kans op uitval

Toestemming

1

2

3

ADVIES

Privacy

Officer

5. INFORMATIE & COMMUNICATIE – PRIVACY & LEVERING

23

Business

User

Privacy

OfficerLevering: PIA & doelbinding

Per type bestand is bepaald aan wie het geleverd mag worden,

en voor welk doel. Dit is vooraf gegaan door een Privacy Impact Assessment

5. INFORMATIE & COMMUNICATIE – STUURGROEP

24

Stuurgroep

Een brede samenstelling van verschillende rollen

Business

User

Data

Scientist

Privacy

Officer

Project

Sponsor

Data

Engineer

Security

Officer

Leden

• Hoofd Student- en

Onderwijszaken

• Privacy Officer

• IT dienst

• 2 Wetenschappers

• Tutor

• Studieadviseur

• Opleidingsmanager

• Student (USR)

• Hoofd centrale

studentbegeleiding

Vergaderingen

1x per 6 weken een

vergadering

Project

Manager

5. INFORMATIE & COMMUNICATIE – ETHIEK

25

Code of conduct

Waar staat de VU voor in het gebruik van Student Analytics

Project

Sponsor

Business

User

PRIVACY & ETHISCHE UITGANGSPUNTEN

CODE OF CONDUCT STUDENT ANALYTICS 2017

VERSIE 1, 15 MEI 2017JUNI 2017, V2

6. ONDERWIJS & ONDERZOEK – PILOT

26

Business

User

Privacy

OfficerPilot

Een gecontroleerd experiment bij 3 faculteiten waaraan

ruim 800 studenten deelnemen en ca 25 begeleiders

Bron: Ad Valvas

Data

Scientist

6. ONDERWIJS & ONDERZOEK – BELEIDSVORMING

27

Business

User

Onderzoeksrapporten

en dashboards

Onderzoeken naar instroom,

studiesucces, introductie,

voorlichting, BSA, Taaltoets

Data

Scientist

Business

Intelligence

Analyst

CORRELATIE EINDEXAMENCIJFER NEDERLANDS & TAALTOETS

Uit een regressieanalyse van het

inschrijvingsjaar 2014 blijkt dat er een

significant verband is tussen het

eindexamencijfer Nederlands en de

taaltoets, maar dit verband is zwak.

P < 0,0001, R2 = 0,155

Dit kan erop duiden dat de twee variabelen

andere aspecten van de Nederlandse taal

toetsen en elkaar aanvullen als het gaat

om uitval; het kan ook liggen aan een

achterliggende, nog onbekende variabele*.

Er zijn studenten met een redelijk

eindexamencijfer Nederlands die ook in

aanmerking komen voor bijscholing.

Deze groep kunnen we met de taaltoets

identificeren.

16

Inschrijvingsjaar

2014

* Om hier uitspraken over te kunnen doen is nader

onderzoek nodig.

6. ONDERWIJS & ONDERZOEK – KWALITEITSZORG

28

Business

User

Kwaliteitszorg

Mogelijkheden voor kwaliteitszorg beginnen te ontstaan

Data

Scientist

Business

Intelligence

Analyst

6. ONDERWIJS & ONDERZOEK – WETENSCHAP

29

Wetenschappelijk onderzoek

Onderzoek naar diversiteit, effecten van matching en begeleiding,

studiesucces studenten Geneeskunde, calculerend studeren,

studiesucces studenten met een functiebeperking

Data

Scientist

Datasets zijn geleverd aan

- Martijn Meeter

- Chris van Klaveren

- Ilja Cornelisz

- Maurice Krul

- Mark de Jong

- Ulviye Isik

- Theo Bakker / Sander Begeer

7. PERSOONLIJKE INFORMATIE - PILOT

30

Pilot

Een gecontroleerd experiment bij 3 faculteiten waaraan

ruim 800 studenten deelnemen en ca 25 begeleiders

Business

User

7. PERSOONLIJKE INFORMATIE – TRAINING (1)

31

Training Data Science

Datacamp abonnement, inkoop training Highland Statistics,

literatuur, wekelijkse verdiepingssessie, Tableau training,

informatiesessie privacy, onderlinge review van werk

Data

Scientist

Business

Intelligence

Analyst

Data

Engineer

7. PERSOONLIJKE INFORMATIE – TRAINING (2)

32

Het Student Analytics onderzoek 2016 is met een externe consultancy partij uitgevoerd

voor de zomer van 2016. Parallel daaraan is gewerkt aan het verhogen van analytics

inzichten, kennis en vaardigheden van de VU. In 2017 wordt het project zelfstandig door

de VU uitgevoerd door beleidsmedewerkers kwaliteitszorg en wetenschappelijk

personeel.

Tijd

Aa

nd

ee

l

VU: zelf doen

Extern: Kennisoverdracht, voordoen

VU: meedoen

Student

Analytics

2016

Inzichten en

Compenties

Extern + VU: Samendoen

Q1 2016 Q4 2017

8. WERKPLEK – HARDWARE & SOFTWARE

33

Werkplek

i7-6700 3.40GHz machine met Windows 7 Enterprise 64-bit en 16GB,

R, R-studio, Bitbucket/SourceTree/GIT, Tableau Desktop Professional/

Tableau Reader, Tableau Powertools, MS OfficeData

Scientist

Business

Intelligence

Analyst

Data

Engineer

9. IT STRATEGIE – ANALYTICS (1)

34

We willen weten welke factoren bepalend zijn in

studiesucces voor alle studenten en die gebruiken voor

evidence based beleid en begeleiding

VISIE EN STRATEGIE

ANALYSE VAN DATA

We weten op hoofdlijnen wat de

huidige werkpraktijk is, hoe

processen en systemen zijn

ingericht, en wat onze huidige

manier van denken en werken is.

ANALYSE VAN WERKPRAKTIJK

De totstandkoming van de analysesets

willen we verder verbeteren. Alle

analyses wil de VU zelfstandig uitvoeren.

De uitkomsten van de analyses willen we

verankeren in onze processen &

procedures en informatiesystemen.

Daarmee willen we betere voorlichting en

begeleiding structureel faciliteren.

BORGEN

EN VERANDEREN

De resultaten monitoren we

om onze organisatie verder te

verbeteren en onderwijsbeleid

evidence based te ontwikkelen.

MONITOREN EN

VERBETEREN

STUDIE-

SUCCES

We hebben (historische en nieuwe)

studentdata geanalyseerd voor de BA.

Dit breiden we uit naar analyses op PM

en MA

Voortbouwend op SA2016 wil de VU – door verbreding in Student Analytics 2017 –

aansluiting, voorlichting en begeleiding optimaal en onderscheidend vormgeven in

BA, PM en MA

Ook weten we welke werving,

voorlichting en begeleiding

optimaal kan aansluiten bij de

daadwerkelijke potentie en behoefte

van onze studenten.

Deze inzichten willen we verbinden aan

de huidige werkpraktijk in BA, PM en

MA.

VOORLICHTING

EN BEGELEIDING

EVIDENCE BASED

Project

Sponsor

9. IT STRATEGIE – ANALYTICS (2)

35

1 2 3 4 5

1

1 2 3

instroom

Bachelor

instroom

instroom

Premaster

MasterAansluiting

Uitval 1-2-3

& voorspelmodel jr 1 Diploma 3-4-5

0

2

3

Voorspelmodel diploma

Uitval en rendement

& voorspelmodel

4

Uitval en rendement

& voorspelmodel

doorstroom

of arbeidsmarkt

arbeidsmarkt

5

5

1

1

1

Instroom-

prognosemodel

We hebben 9 thema’s geïdentificeerd in de studieloopbaan waar analyses op uitgebreid

kunnen worden: 1) instroomprognose, 2) afstuderen bachelor, 3) premaster, 4) master,

5) doorstroom en aansluiting arbeidsmarkt, 6) aansluiting VWO, A) internationalisering,

B) excellentie en talent, en C) diversiteit.

VWO

6

Internationalisering Excellentie en talent DiversiteitA B C

Gerealiseerd in SA2016

Project

Sponsor

9. IT STRATEGIE – BUSINESS INTELLIGENCE & ANALYTICS

36

Student AnalyticsVerkennen en ontdekken,

voorspellen, actiegerichte

inzichten

fore-sightinsighthindsight

Business intelligenceFeiten begrijpen,

rapportage verleden

en huidige prestatie

Data extractie

& integratiePrestaties meten

& rapporteren

Visualisaties

Segmentatie

& statistisch clusteren

Voorspellende

modellen

Optimalisatie, simulatie

& scenario analyse

Management-

informatie (MIVU)

Met inzet van Student Analytics wil de VU evidence based, actiegericht inzichten

ontwikkelen voor verbetering van instroom, doorstroom en uitstroom van studenten ten

gunste van begeleiding, beleidsvorming en wetenschappelijk onderzoek.

Project

Sponsor

CONTACTGEGEVENS

37

Theo Bakker

Strategisch Beleidsadviseur Studiesucces & Projectleider Student

Analytics

Student- en Onderwijszaken, Vrije Universiteit

t.c.bakker@vu.nl | 06-25637172

Toestemming voor gebruik van gegevens uit deze publicatie

Gebruik van gegevens uit deze publicatie is uitsluitend

toegestaan onder voorwaarde dat het artikel waarin deze

gegevens worden opgenomen door de VU gecontroleerd kan

worden op feitelijke onjuistheden en deze – indien geconstateerd

– worden aangepast.

Daarnaast dient vermeld te worden dat het materiaal afkomstig is

van de VU.