Learning Analytics

og Big Data- et kritisk perspektiv

Thomas Ryberg

Professor

Inst. for kommunikation, AAU

ryberg@hum.aau.dk

@tryberg - twitter

Agenda

• Kort om mig – hvorfor dette oplæg, hvad er mit bias

– Ikke maskin-stormer – networked learning og læring og

sociale medier

– Handler egentlig generelt om #edtech

– Hvorfor kritik? Hvorfor Big Data? Ikke kritik af konkrete

initiativer men mere af forestillinger!

– Polemisk og kritisk oplæg – men bølgen er der og vi

skal diskutere den kritisk (mens vi kan)

#EDTECH -

UDDANNELSESTEKNOLOGI

Stærke stemmer der taler om nært forestående, radikale forandringer

– Game-changers, DISRUPTION, paradigme-skifte, 2.0, med på vognen

Stor afstand mellem:

De faktiske kvalitative forandringer teknologi har medført inden for

uddannelse og den faktiske udviklingshastighed

Samme tog kører til perronen uden at være vidende om, at det har

været der før og er kørt i ring

#E D T E C H er B IG B U S IN E S S

Full of:

Men også potentiale…

“There must be an industrial revolution in education in

which educational science and the ingenuity of

educational technology combine to modernize the

grossly inefficient and clumsy procedures of

conventional education.”

- Sidney Pressey, 1924, inventor

of the Automatic Teacher, the first

electronic device used in schools

The motion picture is destined to revolutionize

our educational system and...in a few years it will

supplant largely, if not entirely, the use of

textbooks.

—Thomas Edison, 1922

Prof. C. C. Clark of New York University conducting a class from his home (1935)

Source: http://www.smithsonianmag.com/history/predictions-for-educational-tv-in-the-1930s-107574983

“The scene will be a

commonplace one tomorrow,

without a doubt, when television

will be as indispensable to our

every day home life as the radio

program receiver is today.” (The April 1935 issue of Short Wave

Craft magazine)

1954

http://www.idealearninggroup.com/blog/history-of-elearning-e-is-for-evolutionary

Umiddelbar feedback, selv-drevet

læring, adaptiv læring – ofte hørt ifht

nye læringsteknologier - også learning

analytics – det er ikke så nyt….

LEARNING ANALYTICS OG

BIG DATA

Learning analytics

• “Learning analytics is the measurement, collection,

analysis and reporting of data about learners and

their contexts, for purposes of understanding and

optimising learning and the environments in which it

occurs”

https://en.wikipedia.org/wiki/Learning_analytics

• Educational data mining, academic analytics, learner

modelling – ældre tradition

• Læs mere om LA på: solaresearch.org – SOLAR –

society for learning analytics research

Hvorfor kritik

• Big Data, Learning Analytics ligger i krydsfeltet mellem

forskning og Big Business

– Big Data og Learning Analytics er i øjeblikket buzz-words

– Det betyder ikke de er meningsløse, tomme eller

uinteressante – men det betyder vi skal være varsomme

• Der er brug for at vi er kritiske i edtech! Vi har alt for høje

forventninger ifht hvad der realistisk sker

• Der er noget særlig persuasivt og tillokkende ved Big

Data, Learning Analytics og visualisering af data – det

bekymrer mig! Vigtigt at være kritisk

Seeing is believing: The effect of

brain images on judgments of

scientific reasoning

• McCabe, D. P., & Castel, A. D. (2008). Seeing is believing: The effect of brain images on judgments of scientific reasoning. Cognition, 107(1), 343–352. http://doi.org/10.1016/j.cognition.2007.07.017

White paper:

Open Learning Analytics: an integrated & modularized platform

http://solaresearch.org/OpenLearningAnalytics.pdf

Tænkt eksempel på ‘student dashboard’

Men…hvordan skal vi afkode det?

Hvilke forståelser ligger under?

• Vi må være forsigtige i at antage, at fordi noget er

mere visuelt interessant, at det også:

– A: Er mere sandt og bedre reflekterer/repræsenterer

en kompleks underliggende virkelighed

– B: Folk kan læse data og agere på det på meningsfuld

og god vis

Big Data changes the definition of

knowledge?• De værktøjer vi får i hånden ændrer

vores tilgang til og forståelse af ”verden”

– Tid (kronometer) – måler ikke noget,

men strukturerer meget af vores

samfund og forståelse

– Fødselstal, scanninger, diagnoser –

producerer viden men også ‘angst’ og

nye foki

– Images og scans som persuasive –

”personlighedstest”, læringsedderkopper

Big Data changes the definition of

knowledge?• Ændrer hvad vi forstår som ‘videnskabelighed’,

‘data’, sandhed, nytte osv.

– Hvid-kittel knæfaldet – videnskab og videnskabelse én tilgang ‘pure data driven research’

– Nem adgang til bestemte typer af data producerer bestemte fortolkninger og måder at se verden på

– Men læring et menneskeligt fænomen(erfaringer, følelser, meningsfylder, politik, idealer) – alt det hvorom ‘science’ does not always speak…det rodede

• Dashboards med data – nye måder at producere bestemte subjekter – ”de bliver hvad vi måler”

– Kan man ‘måle’ en kompetence? Ligesom temperatur?

Claims to objectivity and accuracy

are misleading• Forestiling om kvantitativ forskning som mere

objektiv og videnskabelig – blottet for subjektivitet

og fortolkning – “data taler for sig selv”

• Men analyse er fortolkning – “making sense of

data”

• Data ‘er’ ikke derude – data produceres

(craftes) – de vælges, (ud)renses (data-

wrangling) og andre bestemmer hvilke data

der ér tilgængelige (fx. API)

• Vi “måler” ikke bare noget – vi konstruerer

As a large mass of raw information, Big

Data is not self-explanatory. And yet the

specific methodologies for interpreting the

data are open to all sorts of philosophical

debate. Can the data represent an

‘objective truth’ or is any interpretation

necessarily biased by some subjective

filter or the way that data is ‘cleaned?’.

(2010, p. 13) (boyd & Crawford)

Too often, Big Data enables the practice of

apophenia: seeing patterns where none

actually exist, simply because enormous

quantities of data can offer connections that

radiate in all directions (boyd & Crawford)

https://pushingheboundaries.wordpress.com/2017/09/03/learing-

in-moocs-the-undemocratisation-of-learning/

Database pedagogies (Williamson)• Adaptive learning systems (som

man har arbejdet med siden70’erne!!!!!)

• Skræddersyet, individuel læring

• “Læser”, modellerer, forudser, tilretter sig til eleven

• Automatiseret management & governance

• Men måler og vejer eller producerer metrics bestemte subjekter?

• Hvilke forståelser af pædagogik, læring og individer er i spil –hvilke forståelser træder i forgrund – hvilke i baggrund?

every child has a ‘digital tutor’ that is responsive to

their interests, their prior conceptions and

achievement and the potential for ‘intelligent online

platforms that can use data gathered from learners to

become smart enough to predict, and then

appropriately assist and assess, that learner’s

progression to mastering the concept being taught

(Williamson)

The aim of some learning analytics

developments is to create automated

pedagogic systems, or what might be termed

database pedagogies. These database

pedagogies can include automated messages

which provide brief and simple nudges or fully

automated intelligent tutoring systems: the

automatic production of personalized

pedagogies (Williamson)

database devices are based on the logic that the subject is

made up of unique combinations of distributed

transactional metrics that reveal who they are and their

capacities, problems and needs. An individual is not simply

a child or youth, but rather a combination of needs and

services. (Citation in Williamson)

Forskellige pædagogiske

forståelser

2 hovedparadigmer inden for

uddannelsestænkning

• Angelsaksisk curriculumtænkning (John Biggs)

• Kontinental (Skandinaviske tænkning) didaktisk

tænkning (Wolfgang Klafki)

Venligst udlånt af Ulla Konnerup, AAU

Klafki

• Dannelse

• Personlige, faglige kompetencer

• Selvstændighed og kritisk tænkning i forhold til tilegnelse af et

videns- og kompetencefelt

“Yde eleverne hjælp til at udvikle deres medbestemmelse og solidaritetsevne”

“Sammenhængen mellem undervisning og læring forstås som

interaktionsproces”Klafki, Wolfgang (2001). Dannelsesteori og didaktik. Århus: Klim.

Klafki, Wolfgang (1983). Kategorial dannelse og kritisk-konstruktiv pædagogik. Udvalgte artikler og indledning ved Sven

Erik Nordenbo. Nyt Nordisk Forlag Arnold Busck.

Wolfgang Klafki, (Hg.). (1988). Verführung Distanzierung Ernüchterung. Kindheit und Jugend im Nationalsozialismus.

Autobiographisches aus erziehungswissenschaftlicher Sicht. Wienheim und Basel: Beltz Verlag.

Venligst udlånt af Ulla Konnerup, AAU

Angelsaksiske tænkning

• Ingen ækvivalent begreb til dannelse

• Curriculum tænkning, der bygger på teori om

instruktion og undervisningsforskning

På forhånd intenderede læringsmål, der ved hjælp af effektiv

undervisning tilstræber et fastlagt og måleligt læringsindhold hos

den studerende, hvor effektivitet udmønter sig som et syn på

forståelse som en opadgående lineær bevægelse

(Wiberg 2011)

Venligst udlånt af Ulla Konnerup, AAU

MINE BEKYMRINGER

Forståelser af læring

• Hvad hvis læring ikke er tilegnelse af det eksisterende,

men opdagelse og skabelse af det nye?

• Hvordan måler vi hvad der ikke eksisterer/er skabt

endnu?

• Måle det vi forstår så lidt om – kreativitet,

forandringsprocesser, følelser, gruppedynamik?

• Er læring en lineær proces fra en begyndelse til en ende?

En fastsat diagram over udvikling – et ‘skill-tree’?

– Læringsmålsstyring – hvem definerer målene

• ”Teaching to the PISA test”

Forståelse af læring og bevidsthed

• Kan vi dekomponeres til et antal tællelige enheder, som aggregeret på forskellige vis kan kaldes kompetencer eller dannelse? F.eks. Learning dispositions

• Enhederne er ord, begreber, teori, abstraktioner, akademiske distinktioner som er med til at producere og konstruere forståelser af hvad vi er – de er ikke en 1:1 model af virkeligheden (den er for kompleks)

• Det tror jeg vi glemmer en gang imellem i vores fascination af data og visualiseringer og begreber

• Kan vi sige noget om folks personlighed ved at stikke et termometer i røven af dem?

database devices are based on the logic that the subject is made up of unique combinations of

distributed transactional metrics that reveal who they are and their capacities, problems and

needs. An individual is not simply a child or youth, but rather a combination of needs and

services. (Citation in Williamson)

White paper:

Open Learning Analytics: an integrated & modularized platform

http://solaresearch.org/OpenLearningAnalytics.pdf

Tænkt eksempel på ‘student dashboard’

Er ‘resiliens’ nu en ting? Det er det ved at blive

Pædagogisk værktøj eller

administrativ-politisk styring

• Systemer bliver solgt som nye værktøjer til medarbejderne

– som noget der skal hjælpe dem i deres praksis (de

varme hænder).

– Patientjournaler, research repositories, skoleportaler

– Argumenterne tager udgangspunkt i praksis…men glider det

over til at løse ledelesens og administrationens problemer

med at levere tal til andre

– Min bekymring er, at vi starter i argumenterne om læring og

praksis, men at vi ender med kontrol, administration,

dokumentation – ledere der skal aflevere tal til andre ledere,

administrative håndtryk til kvalitetsikring

Nye systemer som lærerne ikke

kan bruge….• 20 års IKT-pædagogisk forskning:

– Investér i udviklingen af underviserne…politikere: Yeeeaaah Ipads (den uhellige tre-uenighed)

• Måske tænke i en it-pædagogisk filosofi, der hedder: reduce, reuse, recycle i stedet

• Hvis det er svært for undervisere at benytte eksisterende IT på en pædagogisk god måde, løser vi så det problem ved at tilføje dashboards, der kræver en PhD i data science?

– Sundhedsmålinger, trivsel etc.etc. til lærerne fra STIL? Hvordan skal det analyseres og fortolkes

– Tal og dashboards giver altså ikke sig selv

– Er data bedre end lærernes dømmekraft?

– Bekymring: Det vi kan måle kommer i fokus og bliver det vi fokuserer på.

Opsummerende

• Learning Analytics og Big Data er ikke bare neutrale værktøjer, data og

systemer – de indeholder bestemte forståelser og måder at se verden

på.

• De skaber også bestemte subjekter, praksisser, rationaliteter og idealer

• Hvilke syn på læring og pædagogik følger med værktøjerne og

metoderne – hvilke implicitte pædagogikker er indskrevet i kildekoden

• Hvilke kompetencer kræver det at forstå og afkode de data vi

producerer – forstår vi faktisk, hvad vi opererer på?

• Specielle pædagogikker der understøttes af denne tænkning?

• Hvem får indflydelse på udvikling og implementering af systemerne?

Lærere eller administration?

Hvilke spørgsmål bør vi stille

• Læring eller data først? Hvad er vores forståelse/ideal omkring læring (læring som identitet, transformativ?)– Kan vi måle det? Hvad er begrænsningerne?

– Hvilke data har vi adgang til? Hvilke har vi ikke?

– Data-driven eller problem-driven – løser vi et problem/har et spørgsmål eller har vi nogle data, der leder efter ét

– Hvad er det vi vil forstå – er analytics svaret?

• Et par vigtige spørgsmål at reflektere over– Hvem måler hvem – og med hvilket formål?

– Hvem bestemmer målene? Lærere? Staten? Elever?

– Er man målt eller måler?

– Hvem ejer data, hvem ejer retten til at bestemme mening og analyse?

– Hvem har kompetencerne til at læse målingerne?

– Hvem bliver ‘bemyndiget’, hvem bliver ‘marginaliseret’?

Referencer

• boyd, danah, & Crawford, K. (2012). Critical Questions for Big Data. Information, Communication & Society, 15(5), 662–679. http://doi.org/10.1080/1369118X.2012.678878

• Bygholm, A., & Nyvang, T. (2013). IKT-støttet læring og kvalitet – erfaringer fra uddannelserne i Humanistisk Informatik på Aalborg Universitet. In Y. Nordkvelle, T. Fossland, & G. Netteland (Eds.), Kvalitet i fleksibel høyere utdanning – nordiske perspektiver. Akademika Forlag.

• Dalsgaard, C. (2006). Social software: E-learning beyond learning management systems. European Journal of Open, Distance and E-Learning. Retrieved from http://www.eurodl.org/materials/contrib/2006/Christian_Dalsgaard.htm

• Jones, C., & Dirckinck-Holmfeld, L. (2009). Analysing Networked Learning Practices. In L. Dirckinck-Holmfeld, C. Jones, & B. Lindström (Eds.), Analysing NetworkedLearning Practices in Higher Education and Continuing Professional Development(pp. 10–27). Rotterdam: Sense Publishers.

• Weller, M. (2007). Virtual learning environments : effective development and use. London: Routledge.

• Williamson, B. (2014). Policy networks, database pedagogies, and the new spaces of algorithmic governance in education. In S. Bayne, C. Jones, M. de Laat, T. Ryberg, & C. Sinclair (Eds.), Proceedings of the Ninth International Networked Learning Conference (pp. 547–554).

HISTORISKE UDFORDRINGER

I LEARNING ANALYTICS

Frederik Kobbelgaard, videnskabelig assistent, eLL

Manglende fokus på learning

sciences

• Manglende fokus på

– Kognition

– Meta kognition

– Pædagogik

Kilde: (Ferguson, 2012)

Manglende forståelse for kontekst

• Det meste læring foregår som blended learning, dette

understøtter LA dårligt da der historisk kun er målt på

digitale spor.

Kilde: (Ferguson, 2012)

Manglende fokus på den

studerendes perspektiv

• LA har historisk fokuseret kraftigt på undervisere og

administration som modtager af data.

Kilde: (Ferguson, 2012)

Hvad sker der lige nu?

• Der er kommet langt større fokus på etik, dog stadig

med problemer (Arnold & Sclater, 2017)

• Der er kommet et større fokus på den studerende

som stakeholder, både i form af artikler og en

konference med fokus på dette (“Learning & Student

Analytics Conference (LSAC): Implementation,

Institutional Barriers and New Developments”, 2017)

• I takt med at fokus er blevet flyttet, er historisk stærke

områder nu begyndt at blive negligeret (Ferguson &

Clow, 2017)

HVAD BRUGES LEARNING

ANALYTICS TIL LIGE NU?

PeerPilot

• Har bygget et HR system der

hjælper firmaer med at ansatte

nye medarbejdere ud fra en

analyse af ansøgerens evner

• Analysere ansøgere på tre

parametre:

• Engagement, indflydelse og

collaborative evner

Kilde: “http://peerpilot.com/”, u.å.

PeerPilot brainstorming session

Hvad kan vi lære af PeerPilot?

• Skaber egen data på brugeres præmisser, uden at

invadere deres privatliv

• Fremtidige perspektiver

– Kan understøtte evaluering af samarbejdsevner,

hvorved eleven får mulighed for selv-refleksion.

FREMTIDEN SER LYS UD.MEN OGSÅ SKRÆMMENDE!

Multimodal Learning Analytics

• Basalt set learning analytics hvor flere

modaliteter/kilder sammenkobles

• Teknologien er der – men er stadig under hastig

udvikling (Blikstein & Worsley, 2016; Worsley, 2012)

– Tekst og verbal analyse

– Håndskrift og sketch analyse

– Bevægelse og gestik analyse

– Neurofysiologisk analyse

– Eye-tracking

Hvad skal det til?

• Der er brug for viden omkring mindskelse af

kompleksitet (Kilińska & Kobbelgaard, 2017)

• Der er brug for mere viden omkring etiske aspekter

• Der er brug for bedre, og ikke mindst billigere

teknologiske løsninger

Hvorfor bruge multimodal analyse når

der er så mange problemer?

• Giver os mulighed for at få et bedre billede af en reel

situation

• Kan give os muligheder for at understøtte studerende

i helt andre kontekster end det er muligt i dag

Kilder:

• Arnold, K. E., & Sclater, N. (2017). Student Perceptions of Their Privacy in Leaning Analytics Applications. I Proceedings of the Seventh International Learning Analytics & Knowledge Conference (s. 66–69). New York, NY, USA: ACM. https://doi.org/10.1145/3027385.3027392

• Blikstein, P., & Worsley, M. (2016). Multimodal Learning Analytics and Education Data Mining: Using Computational Technologies to Measure Complex Learning Tasks. Journal of Learning Analytics, 3(2), 220–238. https://doi.org/10.18608/jla.2016.32.11

• Ferguson, R. (2012). Learning analytics: drivers, developments and challenges. International Journal of Technology Enhanced Learning, 4(5–6), 304–317. https://doi.org/10.1504/IJTEL.2012.051816

• Ferguson, R., & Clow, D. (2017). Where is the Evidence?: A Call to Action for Learning Analytics. I Proceedings of the Seventh International Learning Analytics & Knowledge Conference (s. 56–65). New York, NY, USA: ACM. https://doi.org/10.1145/3027385.3027396

• http://peerpilot.com/. (u.å.). Hentet 6. september 2017, fra http://peerpilot.com/

• Kilińska, D., & Kobbelgaard, F. V. (2017). The devil is in the detail: A study on quantifying socially shared metacognitive regulation of learning in face-to-face group work - Det Digitale Projektbibliotek, Aalborg Universitet(Masters Thesis). Aalborg University. Hentet fra http://projekter.aau.dk/projekter/da/studentthesis/the-devil-is-in-the-detail-a-study-on-quantifying-socially-shared-metacognitive-regulation-of-learning-in-facetoface-group-work(ad5a263e-9982-4d33-97f1-a3d644a0f61f).html

• Learning & Student Analytics Conference (LSAC): Implementation, Institutional Barriers and New Developments. (2017). Hentet 6. september 2017, fra http://www.lsac2017.org/

• Worsley, M. (2012). Multimodal Learning Analytics: Enabling the Future of Learning Through Multimodal Data Analysis and Interfaces. I Proceedings of the 14th ACM International Conference on Multimodal Interaction (s. 353–356). New York, NY, USA: ACM. https://doi.org/10.1145/2388676.2388755