Načini iskanja, vrednotenja in organiziranja virov in literature
pri pripravi doktorske disertacije
Mateja PongracPrenosljive spretnosti za doktorske študente
Izpopolni UM, Univerza v Mariboru
17. 11. 2020
Iskanje virov in literature – KJE?
KJE? Knjižnice in/ali splet
Klasični in elektronski informacijski viri (UM:NIK, DKUM, raziskovalnivodiči, Goolge učenjak, specializirane podatkovne zbirke, npr.
- Web of Science (AHCI, SCI, SSCI)
- Academic Search Complete, JSTOR (multidisciplinarne)
- Proquest D&T, Proquest Ebook Central
- Biomed Central, Medline, PubMed (medicina, biologija …)
- MathSciNet (matematika)
- IEEE Xplore (elektrotehnika, elektronika, računalništvo, informatika, transport,energetika …)
- Science Direct (kemija, biologija, fizika …)
- Agris (biotehnika, živilstvo, kmetijstvo, agronomija …)
- Business Source, EcoLit, Gvin (ekonomija …)
- ERIC (vzgoja in izobraževanje)
- EuroLex (pravo)
- GALE LRC, MLA (književnosti, literarna teorija, jeziki …)
Iskanje virov in literature – KAJ?
KAJ?
kakšne vrste virov potrebujete: knjige, e-knjige,(strokovne ali znanstvene) članke, raziskave, zaključnadela, standarde, patente?
klasični ali elektronski viri in literatura?
katere vrste virov prevladujejo na vašem področju? Jenabor najdenih virov dovolj ali preveč obsežen? Sorecenzirani, ažurirani?
so dostopna polna besedila ali le povzetki?
objavljeni v odprtem dostopu?
Iskanje virov in literature – KAKO?
ključne besede (KW) (nahaja se kjerkoli v besedilu)
predmetne oznake (SU) (opredeljuje vsebino dokumenta)
uporaba Boolovih operatorjev (or, and, not)
sinonimi/sopomenke
krajšanje besed (*)
Iskanje virov in literature – KAKO?
Tudi pri izvedbi disertabilnosti priporočamo sodelovanjemed doktorandom, mentorjem in bibliotekarjem –tutorjem ali drugim strokovnim sodelavcem.
Priporočila za analizo virov in utemeljitev izvirnosti temedoktorske disertacije (red. prof. dr. Ren in UKM; PF terFKBV)
Vrednotenje virov in literature
Vrednotenje izbrane virov in literature:
je pomembno, saj le-tako dobite najbolj relevantne vire in
literaturo (zastopanost vodilnih raziskovalcev tega
področja),
iskalniki dajejo povezave do virov in literature na osnovi
iskalnih zahtev, saj ne vedo, kaj točno potrebujete,
https://hullunilibrary.files.wordpress.com/2019/01/drowning.png
Vrednotenje virov in literature
iskalniki tudi ne poznajo nivoja vašega razumevanja, zato
morate na osnovi svojih potreb sami ovrednotiti najdene
vire in literaturo,
raznolikost in aktualnost izbrane literature,
določanje glavnih spoznanj teme, idej, teorij in konceptov že
znanega na vašem raziskovalnem področju,
prepoznavanje še ne raziskanih tem na našem področju,
pripravo za uporabo obstoječih idej v novih raziskavah
Metode vrednotenja literature
CRAAP metoda,
sistematični pregled literature,
5 W+H oz. 5 K+Z (kdo, kaj, kdaj, kje, kako + zakaj)
ABCDE …
https://www.teodesk.com/wp-
content/uploads/2019/05/ABCDE-method-nove-boje-02-
2048x1365.png
https://masterstart.com/blog/wp-
content/uploads/2019/05/5w-1h-png-1.png
CRAAP metoda
skupina knjižničarjev na California State University
C – Currency (aktualnost)
R – Relevance (relevantnost/ustreznost)
A – Authority (strokovnost)
A – Accuracy (natančnost)
P – Purpose (namen)
Primeren za vse vrste virov, predvsem spletne strani
CRAAP metoda
C – currency (aktualnost - čas)
kdaj je bil vir objavljen? Je to za vašo raziskavo sploh pomembno?
potrebujete novejše ali starejše vire?
so povezave do virov in literature ažurirane in delujoče?
so bili podatki spremenjeni, ažurirani?
CRAAP metoda
R - Relevance (relevantnost/ustreznost – pomen)
so informacije skladne z vašo temo?
komu so namenjene? Je njihova zahtevnost za vas primerna?
nivo informacij: so smiselne in primerne za vašo raziskavo?
so informacije primerljive z ostalimi viri?
bi se počutili suverene, če bi projekt/disertacijo osnovali na osnovi tega vira?
CRAAP metoda
A – Authority (avtorstvo, strokovnost - vir)
kdo je avtor informacij in kdo jih je objavil (založnik)?
potrjujejo avtorjeve reference, da je strokovnjak na tem področju? Kakšna je stopnja njegove izobrazbe? Je na to temo objavil več raziskav?
lahko z avtorjem navežete stik po e-pošti, telefonu?
ali URL pove karkoli o avtorju oz. viru (.com, .edu, .gov, .net)
CRAAP metoda
A – Accuracy (natančnost – zanesljivost, resničnost, korektnost, metode)
je raziskava/članek/disertacija izvirna ali le „predelava“? Je osnovana na dokazih?
se informacije ujemajo z ostalimi viri, ki ste jih našli oz. z vašim lastnim znanjem?
vsebuje bibliografijo s preverljivimi viri?
je raziskava/članek/disertacija recenzirana?
je raziskava/članek/disertacija napisana nevtralno, nepristransko?
so v besedilu tipkarske in slovnične napake?
CRAAP metoda
P – Purpose (namen - razlog)
kakšen je bil avtorjev namen pri objavi informacij?
ja namen informacij, da kaj proda oz. vpliva na mnenje ali ima res zgolj izobraževalni namen?
izražajo informacije dejstva, mnenja ali so uporabljene v oglaševalne namene?
imajo informacije dvoumen pomen ali so objektivne?
so informacije iz kateregakoli vidika (političnega, verskega …) sporne ali pristranske?
ali informacije zavajajo, so predstavljene na senzacionalistični način?
Etična raba virov in literature
skladno z Zakonom o avtorskih in drugih pravicah –copyright („copyright ≠ right to copy“)
karkoli ni opremljeno z referenco se razume kot rezultat lastnega raziskovanja
Poročilo detektorja podobnih vsebin ob oddaji v DKUM
https://encrypted-tbn0.gstatic.com/images?q=tbn%3AANd9GcQiOwoFDW1ganxx96S3nXyW4NJRMH9C_2z90w&usqp=CAU
Sistematični pregled literature – SPL
Renata Močnik, UKMPrenosljive spretnosti za doktorske študente
Izpopolni UM, Univerza v Mariboru
17. 11. 2020
23
Definicije
SPL je raziskovalna metoda, ki predstavlja identifikacijo,ocenjevanje in interpretacijo vseh dosegljivih raziskav, kiodgovarjajo na zastavljena raziskovalna vprašanja zdoločenega področja.
Povzeto po: Kitchenham, B. and Charters S. Guidelines for Performing Systematic Literature Review in Software Engineering. Keele: Schoolof Computer Science and Mathematics, University of Keele. 2007
SPL je predpisana metodologija, ki zagotavlja sistematičen pregled, transparentnost, združevanje in ocenjevanje študij o določeni temi ali vprašanju. Cilj je zmanjšati pristranskost, povezana s posameznimi študijami.
SPL je raziskovalni članek, ki definira relevantne študije, predstavlja dodano vrednost glede kvalitete in z uporabo znanstvene metodologije združuje njihove rezultate.
Povzeto po Jesson, J., Matheson, L. and Lacey, M. Doing you literature review: Traditional and Systematic Techniques. London: SAGE. 2011
24
Klasični pregled literature Sistematični pregled literature
namen podati široko sliko in opis raziskovalnega
področja
združuje rezultate študij, ki odgovarjajo na
določeno raziskovalno vprašanje
obseg široka slika ozek fokus
Načrtovanje
iskanja
literature
nedefiniran način iskanja literature omogoča
raziskovanje in kreativnost
jasno zasnovan, dokumentiran in sledljiv proces
identifikacija
študij oz.
dokumentov
obsežno iskanje (lahko je tudi sistematično)
objavljene literature, ki temelji na znanju in
kreativnosti raziskovalca
zelo strogo in izčrpno iskanje vse objavljene in
sive literature
izbor študij
oz.
dokumentov
izbor študij oz. dokumentov po presoji
raziskovalca
izbor po predhodnih kriterijih za vključitev in
izključitev posameznih študij
ocenjevanje
kakovosti
študij oz.
dokumentov
temelji na presoji raziskovalca kontrolni seznam za oceno kakovosti posameznih
študij
analiza in
sinteza
opisna, dolgovezna v obliki tabele in kratkih povzetkov
Vir: Povzeto po Jesson, J., Matheson, L. and Lacey, M. Doing you literature review: Traditional and Systematic Techniques. London: SAGE, 2011
25
Prednosti SPL
Poiščemo, zberemo in organiziramo literaturo, ki se tiče našega znanstvenega vprašanja – celovit pregled,
seznanimo se z izsledki drugih raziskovalcev,
spoznamo avtorje, ki pišejo o tej temi,
rezultati niso pristranski,
zaradi preglednosti lažje vidimo vrzeli v obravnavani temi,
seznam zlahka dopolnjujemo in posodabljamo,
lahko ga objavimo kot članek ali kot disertacijo
Slabosti SPL Ogromno vloženega časa
26
Kdaj se odločiti za SPL?
Da se izognemo podvajanju raziskav, se moramo vprašati ali je SPL sploh potreben.
Vprašalnik CASP (Critical Appraisal Skills Programme)
https://casp-uk.net/casp-tools-checklists/
27
Bodimo sistematični – delajmo po korakih
Povzeto po: https://research-repository.griffith.edu.au/handle/10072/49021
1.
F
A
Z
A2.
F
A
Z
A3.
F
A
Z
A
28
I. FAZA – NAČRTOVANJE1. korak – opredelitev teme
Ustreznost
Originalnost
Raziskovalni naboj
Inventivnost
29
2. korak: določitev raziskovalnih vprašanjNajpomembnejši korak v SPL, saj raziskovalna vprašanja usmerjajo celotno metodologijo
Osnovna vprašanja
(5K + Z)
Poglobljena vprašanja
novinci strokovnjaki
P I C O C
Kdo?
Kje?
Zakaj?
Kdaj?
Kaj?Kako?
30
Population
(objektraziskovanja)
Intervention
(izvedba)
Control,
comparison(primerjava)
Outcome of
interest (rezultati)
Context
(ozadje, v katerem je bila raziskava izvedena)
Npr.: Vloga zaposlenega (tester, analitik);kategorija zaposlenega(novinec ali izkušeni inženir); področje aplikacije (IT sistem ali kontrolni sistem, veliko ali majhno podjetje…).
Metodologija, orodje,tehnologija, procedura…
Primerjava podaja metodologijo za izvedbo.
Izboljšanaproduktivnost, zanesljivost, nižji stroški, manj porabljenega časa…
Akademsko, industrijsko okolje; sodelujoči v raziskavi, npr. študenti, akademiki…
2. korak: določitev raziskovalnih vprašanjP I C O C – Kriterij za ciljno usmerjena vprašanja
Vir: Kocbek, M., Analiza sprejetosti standarda BPNM na osnovi sistematičnega pregleda literature, Maribor, 2012.
31
3. korak: določitev ključnih besed –v sodelovanju z mentorjem in knjižničarjem
1. Sinonimi
2. Fraze
3. Ključne besede
4. Kombinacije ključnih besed
5. Predmetne oznake
6. Uporaba Boolovih operatorjev
7. Poskušanje s testnim iskalnim nizom
8. Upoštevanje zakonitosti iskanja
32
4. korak: iskanje literature
1. E-zbirke za točno določena področja
2. Multidisciplinarne baze
3. E-knjige
4. Kontaktirati knjižničarja
5. Referenčni viri
6. Siva literatura
33
4. korak: primer iskalnega niza
Vir: Kocbek, M., Analiza sprejetosti standarda BPNM na osnovi sistematičnega pregleda literature, Maribor, 2012, str. 29.
34
5. korak: branje in vrednotenje literature (vključitveni in izključitveni kriteriji)
Cilj SPL je najti čim več primarnih študij, ki se navezujejo na raziskovalna vprašanja in so pridobljene na nepristranski način.
Vrednotenje po CRAAP metodi.
Kriteriji za ocenitev kakovosti (vrednotenje) primarnega dokumenta oz. študije:
znanstvene študije, objavljene v akademskih časopisih ali revijah
ali ima študija oz. trditev kakšne omejitve
ali prihaja iz zanesljivega vira
kakšno je avtorjevo stališče
35
Vir Dokumentacija
Digitalne zbirke (baze) Ime Iskalni nizDatum iskanjaČasovni interval iskanja
Revije Naslov revijeČasovni interval iskanjaIskana področja
Prispevki s konferenc Ime konference Prevod imena (če je potreben)Kraj in datum konferenceIme revije, v kateri je prispevek objavljen
Neobjavljene študije Kontakti raziskovalne skupine ali posameznikaSpletni naslov raziskovalca in datum
Drugi viri Posebni pogoji za dostopDatum iskanjaURL naslov
Dokumentiranje primarnih dokumentov
Vir: Kocbek, M., Analiza sprejetosti standarda BPNM na osnovi sistematičnega pregleda literature, Maribor, 2012, str. 20
36
II. FAZA – IZVEDBA 6. korak: kreiranje osebne zbirke podatkov
Za oblikovanje lahko uporabimo:
katerokoli orodje citiranje
dokumente strukturirano hranimo v oblaku
Excelove tabele, Wordove tabele (vsak dokument = vrstica, kategorije/podkategorije = stolpci – ali obratno)
38
6. Korak: Osebna baza podatkov – struktura kategorije/podkategorije; bolje preveč, kot premalo
1. Podatki o gradivu (bibliografski podatki)
2. Geografska zastopanost glede na izvor dokumentov
3. Detajli o vrednotenju posameznih študij
4. Uporabljene metode
5. Predmet raziskave
6. Spremenljivke
7. Rezultati
39
7. in 8. korak: vnesemo 10 % literature, testiramo kategorije
Na osnovi te vnesene literature bomo testirali naše kategorije, jih najverjetneje še spreminjali in prilagajali, dokler ne bomo dosegli optimalnih pogojev.
40
9. korak: : vnesemo preostalih 90 % literature
10. korak: kreiramo tabele povzetkov za končno poročilo.
41
III. FAZA – POROČANJE11. – 15. korak
Četudi gre za sistematični pregled, ima na koncu standardno obliko
POGLAVJE VRSTNI RED IZVAJANJA
Povzetek 7
Uvod 2 (cilji) 5/6 ostalo
Metode 1
Rezultati 3
Diskusija 5/6
Zaključki 4
Reference 8
Vir: https://www.youtube.com/watch?v=zAENZ4uQTs4
42
III. FAZA – POROČANJE11. korak: opis metode
katere ključne besede smo uporabili
v katerih bazah smo iskali
po kakšnih kriterijih smo dokumente vključevali in izključevali
opis kategorij (koliko kategorij, kako smo dokumente kategorizirali)
analiza in sinteza podatkov
43
12. korak: Opis rezultatov
Rezultati naj dokumentirajo (kvantitativno)
koliko dokumentov smo uporabili
kdo jih je objavil
katere raziskave so bile uporabljene
katere metode so bile uporabljene
kaj smo ugotovili
kaj manjka (vrzeli)
44
13. korak: Uvod
Pri uvodu prehajamo od širokih, najbolj splošnih,
do najpodrobnejših
ugotovitev.
14. korak: Diskusija in povzetek
15. korak: Pregled in odpravljanje napak
45
Časovna razporeditev dela
Vir: Povzeto po Jesson, J., Matheson, L. and Lacey, M. Doing you literature review: Traditional and Systematic Techniques. London: SAGE, 2011