24
Impulsreferat – Evaluation und Assessment Evaluation von Informationskompetenz – ein Framework 26.06.2009 Kirsten Scherer Auberson
Impulsreferat – Evaluation und Assessment Evaluation von Informationskompetenz – ein Framework 26.06.2009
Kirsten Scherer Auberson
1
“Wir ertrinken in Informationen, aber hungern nach Wissen.”
John Naisbitt(*1930)
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
2
1. Methoden der Zuwachsmessung
2. Probleme gängiger Methoden
3. Empfehlungen
4. Gütekriterien
5. Framework zur Konzeption einer IK- Zuwachsmessung: Ein Vorschlag
AGENDA
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
3
Herkömmliche MethodenSelbsteinschätzung der ProbandenWiederholung von Tests (Pre-/Posttests)Einsatz von Kontrollgruppen
→
Zuwachsmessung nur über Punktmessung möglich
1. Methoden der Zuwachsmessung
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
4
1. Methoden der Zuwachsmessung
Standardisierte, aktuelle MessverfahrenInformation Skills Survey ISSSAILSiSkills
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
5
2. Probleme gängiger Methoden
Probleme bei diesen Ansätzen
Herkömmliche MethodenSelbsteinschätzung der ProbandenWiederholung von Tests (Pre-/Posttests)Einsatz von Kontrollgruppen
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
6
2. Probleme gängiger Methoden
Probleme bei diesen AnsätzenSelbsteinschätzungen der ProbandenVerzerrte Selbstwahrnehmung Verfälschung, sofern als Grundlage einer Bewertung
Wiederholung von Tests (Pre-/Posttests)
Große Gefahr der Wiedererkennung von Fragen →
Verfälschung der Ergebnisse
Einsatz von KontrollgruppenBenachteiligung der nicht geförderten Gruppeentspricht nur in seltenen Fällen den tatsächlichen Rahmengegebenheiten
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
7
2. Probleme gängiger Methoden
Probleme bei diesen MessverfahrenInformation Skills Survey ISSSAILSiSkills
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
8
2. Probleme gängiger Methoden
Probleme bei diesen MessverfahrenInformation Skills Survey ISSSelbsteinschätzungSAILSMultiple Choice, WissenstestiSkillsSehr Technologielastig, zu starker SW-Bezug
→
für den englischen Sprachraum entwickelt→
politische & kulturelle Referenzen
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
9
3. Empfehlungen
Empfehlungen IBei der Selbsteinschätzung durch ProbandenEinsatz retrospektiver Tests zur Vermeidung bzw. Abschwächung der VerzerrungKombination mit Pre-/Posttestverfahren, damit Differenzen zwischen Pretest und retrospektivem Test ersichtlich und somit eine verzerrte Selbstwahrnehmung bzw. Erinnerung deutlich werdenSelbsteinschätzung nicht zur Bewertung einsetzen Selbsteinschätzung anonym erheben, zur Vermeidung von bewussten Verfälschungen durch ProbandenParallel durchgeführte Prüfungen unter Aufsicht von kompetentem Fachpersonal zur Identifizierung von Unterschieden zwischen Selbsteinschätzung und tatsächlich demonstriertem Verhalten
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
10
3. Empfehlungen
Empfehlungen IIBei der Wiederholung von Tests (Pre-/Posttests)Adaption der Fragen, zur Verringerung der Wiedererkennung bei Pre-/PosttestverfahrenFragensätze, die ausgetauscht werden könnenFragen mit mehreren Lösungen bzw. Lösungswegen
Bei Befolgung dieser Empfehlungen, Kein Einsatz von Kontrollgruppen erforderlichlassen sich nachvollziehbare Ergebnisse erhebenhandelt sich jedoch um ein relativ aufwändiges Verfahren, das entsprechend gut geplant werden muss.
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
4. Gütekriterien
Kritische Punkte der EvaluationReliabilität
Messung & Ergebnis zuverlässig replizierbar
→
Wiederholbarkeit und ZuverlässigkeitValidität
Messkriterien entsprechen der Messgrösse
→
GültigkeitNützlichkeit / Angemessenheit
Aufwand vs. Nutzen
→
Zweckmässigkeit
11
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
12
5. Framework zur Konzeption einer IK- Zuwachsmessung: Ein Vorschlag
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
13
5. Framework zur Konzeption einer IK- Zuwachsmessung: Ein Vorschlag
• Hypothese?• Operationali-
sierung?
InformationsbedarfIdentifikation & Definition des Forschungsgegenstands„Übersetzung“Aufschlüsselung in messbare Sachverhalte und/oder Merkmale
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
14
5. Framework zur Konzeption einer IK- Zuwachsmessung: Ein Vorschlag
• Ziele der Evaluation operationalisiert
ZweckZweck & Gründe für ZuwachsmessungUmfang der Messung→
Weiterverarbeitung der
Testergebnisse
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
15
5. Framework zur Konzeption einer IK- Zuwachsmessung: Ein Vorschlag
• Diagnose• Rückmeldung• Lernentwicklung• Bewertung
ZielDiagnose, Rückmeldung oder LernentwicklungMesszeitpunkte
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
16
5. Framework zur Konzeption einer IK- Zuwachsmessung: Ein Vorschlag
• Auf Kurs-, Studiengang- oder Hoch- schulebene?
• Messmethode
Reichweite der MessungStufe innerhalb der HochschuleErgebnisRessourcenbedarf
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
17
5. Framework zur Konzeption einer IK- Zuwachsmessung: Ein Vorschlag
• Fähigkeiten• Wissen• Persönliche
Haltungen
Informationskompetenz - AspektWas soll gemessen werden?Messmethode
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
18
5. Framework zur Konzeption einer IK- Zuwachsmessung: Ein Vorschlag
• Ressourcen? • Absicht?
MethodenwahlAbsicht, Ebene, Lernaspekt beachtenMethodeRessource
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
19
5. Framework zur Konzeption einer IK- Zuwachsmessung: Ein Vorschlag
• Planung bzw. Einbindung in Curriculum
HäufigkeitZweck, Absicht und Ebene beachtenHäufigkeitCurriculum-Planung
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
20
5. Framework zur Konzeption einer IK- Zuwachsmessung: Ein Vorschlag
• Kriterien- oder normen- referenzierte Bewertung?
BewertungKriterien- oder NormreferenziertBewertungsmodell
Infoliteracy.ch Evaluation von Informationskompetenz - ein FrameworkKirsten Scherer Auberson
21
5. Framework zur Konzeption einer IK- Zuwachsmessung: Ein Vorschlag
• Entwicklung von Fragen und Aufgaben mit Bewertungsmodellen
EntwicklungFragen & AufgabenBewertungsmodelleTesting & Re-Testing→
Reliabilität, Validität & Nutzen
22
“Information ohne Reflexion ist geistiger Flugsand.”
Ernst Reinhard (*1932)
