Centre for Innovation

The Hague

Research Innovation

Learning Innovation

Entrepreneurship

MOOCs @ Universiteit Leiden

Marja Verstelle

Coordinator Learning Innovation and MOOC projectleader at Centre for

Innovation The Hague

en

ICTO Programmamanager Universiteit Leiden

Topics

1. Waarom MOOCs?2. Organisatie3. Wie waren de deelnemers en wat

vonden zijn ervan?4. Lessons Learned5. Blik op de toekomst

Topics

1. Waarom MOOCs?2. Organisatie3. Wie waren de deelnemers en wat

vonden zijn ervan?4. Lessons Learned5. Blik op de toekomst

gestart zijn

Scenario building zomer2012:Hoe ziet het onderwijs van 2035 aan de Campus Den Haag er uit?

Eerste experiment: één MOOC:

Intro EU law

• deal met Coursera

• lengte MOOC 5 weken

• studietijd per week 5-8

• Statement of Accomplishment

(Basic en Advanced Track)

• peer assessment

Waarom deze eerste MOOC?

• leren over leren

• potentieel van MOOCs verkennen

• nieuwe studenten aantrekken?

• geschikt als pre masters?

• exposure universiteit en vakgebied

Sept 2012: experimentele overeenkomst met CourseraNov 2012: aankondiging eerste MOOCFebr 2013: Leiden Coursera partner; 3 MOOCs p/jJuni-juli: eerste MOOC gedraaidSept: tweede MOOC start

9

MOOC program Leiden: vier

sporen1. 6 MOOCs produceren

in 2013-2014: impact onderzoeken

2. Evaluatie en visieontwikkeling

3. Experimenten met MOOC–concepten in on campus education

4. Onderzoek naar effectiviteit van MOOCs en effecten op leren

Statistics

Course Enrollments Status

The Law of the European

Union: An introduction

>43.0000 Finished first run

june-july

Terrorism and

Counterterroris:

comparing theory and

practice

>18.000 Starts sept 30

Waarom Coursera?

- Reputatie en bereik- Ready to start platform met goede support- Interesante functionaliteit zoals automated peer

grading- Uitwisseling met top ‘s werelds topuniversiteiten- Contract gebaseerd op non-exclusiviteit, geen long

term commitment

How did you hear about the

MOOC?

%

News articles/press coverage 9,12%

Coursera website 69,92%

website 2,37%

Search engines 3,13%

Blogs 1,90%

From friends/social networks 20,07%

Topics

1. Waarom MOOCs?2. Organisatie3. Wie waren de deelnemers en wat

vonden zijn ervan?4. Lessons Learned5. Blik op de toekomst

Organisatie

MOOC production team @ Centre for Innovation

- Project management / liaison Coursera

- Creative producer

- Camjo & student assistants

- Instructional Design

- Quality control, copyrights, legal

MOOC academic team

- Professor

- Master student and/or PHD

Steering Committee

− Deans and directors, Vice-rector

− Call for proposals

Coursera standaard

studio advies:

Ervaringen met videoproductie

Ervaring: per docent optimale setting:

Interactie en feedback

- Quizzes- Peer assessment- Forum

- proces moderator & junior docenten

- informele leiders > next run TA’s- Weekly videochats- Facebook group (gestart door deelnemers)- Course wiki (gevuld door by deelnemers)- Deelnemers als respondenten en co-

researchers

Topics

1. Waarom MOOCs?2. Organisatie3. Wie waren de deelnemers en wat

vonden zijn ervan?4. Lessons Learned5. Blik op de toekomst

“Actually, although I am saying I am finding this

tough it is refreshing to be challenged. In reality the

first Coursera course I am doing that really is

Bachelor level.”

“I find myself reading my notes in my spare time to

reinforce what has been taught so far.”

COMMUNITY SPIRIT

EAGERNESS TO LEARN

GRATITUDE

“I must be loving this course because I check it

before I check my e-mails and Facebook (!)”

ENJOYING

Wie waren de

deelnemers?

Top 10 participating

countries

%

US 13,4%

The Netherlands 8,2%

Spain 6,7%

UK 4,4%

Ukraine 3,2%

Germany 3,2%

Greece 3,1%

Brazil 2,9%

Italy 2,8%

India 2,8%

Total: 153 countries

Age?

Education?

Intro EU Law Cursus

• Precourse survey n=6600

• Postcourse survey n=1350

This was my first ever MOOC. It has been interesting, informative, educational and challenging!

== Joshua Makalintal , 16, highschool, Austria

I even mentioned at work that I'm amazed at how much I've learnt in less than two weeks - I wouldn't have thought it were possible to learn so much so quickly.

== Colin Ormesher, 47, Civil Servant Ministry of Justice, UK

Not one single unnecessary digression, not one sentence off the course of the lecture. In that sense and in all other means, I feel that this course had a greatest respect for my time as a student. I have given significant time to it and I gained an immense amount of knowledge.'

== Olga Suihkonen, 43 Theater and Film artist, Serbia, resident of Finland

The active presence of the Staff has been a great support.

== Valeria Hernández Reyes, 28, Environmental Engineer, Mexico

Leeftijd 16-85, uit 153 landen

16% students

Q: What do you hope to get out of the MOOCs you are enrolled on?

Excellent 36,34%

Very good 43,56%

Good 13,86%

Satisfactory 3,69%

Poor 2,54%

Q: Please rate your overall experience with this course

Q: Overall did you get what you wanted out of the course?

MOOCs vragen anderen benadering van

‘rendement’; twee voorbeelden:

Na de eindtest deadline nog > 2000 enrollments en

worden per dag nog tientallen quizzes gedaan

Voorbeeld 1: citaat op forum

Voorbeeld 2:

Topics

1. Waarom MOOCs?2. Organisatie3. Wie waren de deelnemers en wat

vonden zijn ervan?4. Lessons Learned5. Blik op de toekomst

Lessons learned eerste MOOC

- Incourse textbook: gratis maar keerzijdes

- Moeilijkheidsgraad

- Forum modereren: proces en inhoud kan

gescheiden

- Antwoorden op eindtest openbaar maken?

- Peer assessment

- 5 open vragen met antwoordmodel

- 3 peers nakijken: cijfer en commentaar

- daarna jezelf nakijken

- mediaan van peers / afgerond met eigen score

Hoe kijk je duizenden werkstukken na?

Geautomatiseerde peer grading

What made the peer assessment exercise

most worthwhile for you?

Some examples of the responses:

- The assessment was purposeful and challenging. I considered it an

excellent piece of personal development.

- Real feedback.

- the commentaries of my peers were very useful to improve my way of

writing and the way I expose my analysis. It is always better to know the

constructive opinion of others.

- Although I failed the peer assignment, reading the model answer and

grading my fellow students allowed me to see exactly where I had gone

wrong in my own answer, which gave me a correct understanding.

- To see how oher people are doing and responsibility to evaluate someone's

else work...

- How the person attack the problem...different perspective

And what was less worthwhile about the

peer assessment exercise?

Some examples of the responses:

- Some students weren't concerned about grading their peers properly.

- The assesment by only two peers did not reflect adequately the score.

- I think the scheme could be improved.

- I was a little disappointed that it focussed on the legal tongue so much,

rather than on the general understanding of EU structures.

- See my own fault

- It was not clear for me from the begining what was expected from me.

Thus this tool rarely used in Ukraine in teaching process, unfortunately.

therefore, it took me more then I expected how to do it.

Lessons learned peer assessment

- Wordt gewaardeerd

- Voorlopig optioneel houden en alleen mee

laten tellen voor Advanced Track

- Meer dan 3 peers per essay

- Vooraf goede voorbeelden bieden

- Training: meer en kleinere opdrachten

Onderzoeksartikel

Topics

1. Waarom MOOCs?2. Organisatie3. Wie waren de deelnemers en wat

vonden zijn ervan?4. Lessons Learned5. Blik op de toekomst

Stelling: Een Utrechtse student volgt een online

cursus van een andere universiteit, en wil

vervolgens in Utrecht tentamen doen of vrijstelling

krijgen

1. Dat gaat nooit gebeuren

2. Misschien over een paar jaar

3. De eerste zal niet lang op zich laten wachten

4. Het gebeurt al

Harvard Business School doesn’t teach entry-level

accounting anymore, because there is a professor out

at Brigham Young University whose online

accounting course “is just so good” that Harvard

students use that instead. When outstanding becomes

so easily available, average is over.

Bron: Tom Friedman, New York Times , 6/3/2013

Stelling:

Docenten geven MOOCs of videolectures

als zelfstudie op, en organiseren tijdens

de colleges interactieve werkvormen:

flipping the classroom

1. Dat gaat nooit gebeuren

2. Misschien over een paar jaar

3. Het zal niet lang op zich laten wachten

4. Het gebeurt al

Dank voor uw aandacht

Vragen en discussie