De Campbell collaboration en systematic reviews

Monika Smit

WODC 27 november 2012

Waar ga ik het over hebben?Waar ga ik het over hebben?

Liever geen ‘cherry picking’ ….Liever geen ‘cherry picking’ …. Campbell collaborationCampbell collaboration De systematic review (sr) werkwijzeDe systematic review (sr) werkwijze Verschillen met ‘narrative reviews’Verschillen met ‘narrative reviews’ Een sr over mensenhandelEen sr over mensenhandel ConclusiesConclusies

3

Het probleem van cherry pickingHet probleem van cherry picking

Er is vaak zo veel (qua mogelijk relevante Er is vaak zo veel (qua mogelijk relevante

disciplines, onderzochte onderwerpen en disciplines, onderzochte onderwerpen en publicaties daarover)publicaties daarover) Uitkomsten zijn lang niet altijd eenduidigUitkomsten zijn lang niet altijd eenduidig Hoe vind je daarin je weg?Hoe vind je daarin je weg? Wat gebruik je wel en wat niet?Wat gebruik je wel en wat niet? (Hoe) kan je de informatie op waarde schatten?(Hoe) kan je de informatie op waarde schatten?

De Campbell Collaboration

Internationale organisatie gericht op voorbereiden, updaten en dissemineren van systematic reviews over effectiviteit van interventies

Geinspireerd door Cochrane Collaboration (gezondheidszorg)

Genoemd naar Donald Campbell Start: 2000 Gebieden: crime & justice, education, social

welfare/social work Reviews worden gebruikt om ‘evidence-based‘

beleid en praktijk te promoten en te ondersteunen

Aanpak van systematic reviews a la Campbell

Expliciete doelen Gedetailleerde info over bronnen en

zoekstrategie Alle relevante studies, gepubliceerd en

ongepubliceerd Studies in meerdere talen Expliciete criteria voor wel/niet

meenemen studies Richten op compleet zijn maar focussen

op kwalitatief goede studies

Aanpak (vervolg)Aanpak (vervolg)

Waar mogelijk gebruik van kwantitatieve technieken (meta-analyses) bij analyseren van resultaten

Gestructureerd en expliciet rapporteren van alle beslissingen en conclusies

Streng review proces vanuit Campbell Open access: reviews digitaal beschikbaar Geregeld updates

Zoekstrategieëen

Brede search van on-line databases Gebruik van trefwoorden Gebruik van eerdere reviews Gebruik van bibliografieën bij gevonden

rapporten Contacten met ‘leading researchers’ Doornemen van tijdschriften

Vermelde kenmerken van studies

Onderzoekers Locatie van onderzoek Volledige referenties van gebruikte rapporten Financiering/mogelijke conflicterende belangen Onderzoeksdesign Kenmerken experimentele groep Sample grootte: aanvankelijk en uiteindelijk

(attritie?) Hypotheses en interventies Details over de implementatie van de

interventie

Vermelde kenmerken: vervolg

Programma leveranciers Beschrijving controle condities Definitie en meting van variabelen Follow-up periode na interventie Voor- en nametingen Belangrijkste resultaten Statistische informatie: effect groottes,

betrouwbaarheidsintervallen, statistische significantie

Methodologische kwaliteit Belangrijkste probleem: gebrek aan info in

rapporten

Verschil met ‘narrative reviews’Verschil met ‘narrative reviews’

Waarschijnlijk biasedWaarschijnlijk biased Weinig of geen details over methodes gebruikt om Weinig of geen details over methodes gebruikt om literatuur te zoekenliteratuur te zoeken Weinig informatie over waarom studies wel of niet Weinig informatie over waarom studies wel of niet zijn meegenomenzijn meegenomen Vooral puttend uit gemakkelijk beschikbare Vooral puttend uit gemakkelijk beschikbare artikelen en boeken (meest in het Engels)artikelen en boeken (meest in het Engels) Vaak eenmalige exercitie die snel achterhaald isVaak eenmalige exercitie die snel achterhaald is Onvoldoende info om resultaten en conclusie te Onvoldoende info om resultaten en conclusie te kunnen repliceren of controlerenkunnen repliceren of controleren

10

Voorbeelden van gepubliceerde (Campbell) systematic reviews

Hot Spots policing (2007) Improved street lighting (2008) Early family/parent training programs (2008) Cross-Border Trafficking in Human Beings:

Prevention and Intervention Strategies for Reducing Sexual Exploitation (2011)

Interview and interrogation methods and their effects on true and false confessions (2012)

The effects of women’s self-help group programs on women’s empowerment (2012)

http://www.campbellcollaboration.org/crime_and_justice

Systematic Review grensoverschrijdende Systematic Review grensoverschrijdende mensenhandel: preventie en interventies mensenhandel: preventie en interventies gericht op het terugdringen van uitbuiting in gericht op het terugdringen van uitbuiting in de seksindustriede seksindustrie

Monika Smit (WODC) Monika Smit (WODC)

Peter van der Laan (NSCR)Peter van der Laan (NSCR)

Pauline Aarten (NSCR)Pauline Aarten (NSCR)

Inge Busschers (NSCR)Inge Busschers (NSCR)

Financiele ondersteuning: Campbell Financiele ondersteuning: Campbell NoorwegenNoorwegen

MensenhandelMensenhandel

Werving, transport of onderbrengen van Werving, transport of onderbrengen van personenpersonen

Gebruikmakend van middelen als misleiding, Gebruikmakend van middelen als misleiding, dwang of misbruik van eigen machtspositie dwang of misbruik van eigen machtspositie of andermans kwetsbare positieof andermans kwetsbare positie

Met het oogmerk van uitbuitingMet het oogmerk van uitbuiting

UN Anti-Trafficking Protocol (2000)UN Anti-Trafficking Protocol (2000)

Waarom een systematic review Waarom een systematic review over mensenhandel?over mensenhandel?

Groeiende aandacht voor fenomeen Groeiende aandacht voor fenomeen mensenhandelmensenhandel

Ernst van het misdrijfErnst van het misdrijf Vele anti-mensenhandel initiatieven Vele anti-mensenhandel initiatieven

en vele publicatiesen vele publicaties Wat werkt wel en wat niet?Wat werkt wel en wat niet?

Centrale vragenCentrale vragen

Welke interventies gaan vergezeld van Welke interventies gaan vergezeld van empirisch onderzoek? empirisch onderzoek?

Welke onderzoeken zodanig rigoreus Welke onderzoeken zodanig rigoreus opgezet dat ze iets zeggen over het effect opgezet dat ze iets zeggen over het effect van de interventies? van de interventies?

Wat zijn de resultaten uit deze studies?Wat zijn de resultaten uit deze studies?

Inclusie criteriaInclusie criteria Evaluaties van beleid en interventies gericht Evaluaties van beleid en interventies gericht

op voorkoming of bestrijding van op voorkoming of bestrijding van grensoverschrijdende mensenhandel met het grensoverschrijdende mensenhandel met het oogmerk van uitbuiting in de seksindustrieoogmerk van uitbuiting in de seksindustrie

Interventies gericht op individuele daders en Interventies gericht op individuele daders en criminele groepen, of (potenticriminele groepen, of (potentiëële) slachtoffersle) slachtoffers

Studies waarin wordt gerapporteerd over de Studies waarin wordt gerapporteerd over de effectiviteit van initiatieven, ondersteund met effectiviteit van initiatieven, ondersteund met empirische dataempirische data

ZoekstrategieZoekstrategie

DatabasesDatabases Professionele contactenProfessionele contacten Bibliotheek van de Nationaal Rapporteur Bibliotheek van de Nationaal Rapporteur

MensehandelMensehandel WebsitesWebsites Referenties in artikelen, boeken, Referenties in artikelen, boeken,

rapporten, en papers rapporten, en papers

VoortsVoorts

Gepubliceerd en ongepubliceerd materiaalGepubliceerd en ongepubliceerd materiaal Vanaf 2000 tot medio 2009Vanaf 2000 tot medio 2009 WereldwijdWereldwijd Talen: Deens, Duits, Engels, Frans, Talen: Deens, Duits, Engels, Frans,

Italiaans, Nederlands, Noors, Spaans en Italiaans, Nederlands, Noors, Spaans en ZweedsZweeds

Wat kwamen we tegen?Wat kwamen we tegen?

Veel aandacht voor mensenhandel: Veel aandacht voor mensenhandel: internationale verdragen, nationale internationale verdragen, nationale wetgeving, mondiale initiatieven, nationale wetgeving, mondiale initiatieven, nationale actieplannen in veel landen, veel betrokken actieplannen in veel landen, veel betrokken actoren, veel publicaties, veel interventies actoren, veel publicaties, veel interventies

Bezorgdheid: systematic review past niet bij Bezorgdheid: systematic review past niet bij onderzoek op dit terreinonderzoek op dit terrein

Interesse in de review, bereidheid tot Interesse in de review, bereidheid tot bijdragenbijdragen

Maar ……Maar ……

Vooral wetgeving, actieplannen en Vooral wetgeving, actieplannen en beschrijvingen van interventies beschrijvingen van interventies

Voor zover ‘evaluatie’ veelal ervaringen van Voor zover ‘evaluatie’ veelal ervaringen van deelnemers of aanbieders van interventiesdeelnemers of aanbieders van interventies

Meeste bevatten geen empirische data laat Meeste bevatten geen empirische data laat staan info over effectgroottes staan info over effectgroottes

Sommige gaan over gerelateerde onderwerpen Sommige gaan over gerelateerde onderwerpen zoals geweld tegen vrouwen of zoals geweld tegen vrouwen of kindersextoerismekindersextoerisme

Source Source Citations Citations reviewed reviewed

Studies retrieved Studies retrieved and reviewed and reviewed (title + abstract)(title + abstract)

Electronic Databases (69)Electronic Databases (69) 973973     3030

BNRM library (Reference manager)BNRM library (Reference manager)   3080 3080     1010

Professional contacts (over 800) Professional contacts (over 800)   306 306     1313

Cross-referencing of bibliographies Cross-referencing of bibliographies     3939     99

Internet (110 sites)Internet (110 sites)     around 15,000 around 15,000     8282

TotalTotal     19,39819,398     144144

ResultatenResultaten

20 studies leken bruikbaar voor de review20 studies leken bruikbaar voor de review Maar: waren toch geen evaluaties, gingen Maar: waren toch geen evaluaties, gingen

niet over effecten, betroffen niet over effecten, betroffen mensenhandel iha, of geen mensenhandel iha, of geen grensoverschrijdende mensenhandelgrensoverschrijdende mensenhandel

Geen enkele studie met voor- en nameting Geen enkele studie met voor- en nameting en controlegroepen controlegroep

Over effecten weten we dus eigenlijk nietsOver effecten weten we dus eigenlijk niets

ResultatenResultaten Diversiteit aan doelen: ‘awareness raising, Diversiteit aan doelen: ‘awareness raising,

vergroten kansen op arbeidsmarkt, vergroten kansen op arbeidsmarkt, attitudeverandering, verbetering samenwerking attitudeverandering, verbetering samenwerking in opsporing en vervolging in opsporing en vervolging

Diversiteit doelgroep: slachtoffers, daders, Diversiteit doelgroep: slachtoffers, daders, handhavers, wetgevers, ‘de samenleving’, handhavers, wetgevers, ‘de samenleving’, ‘Johns’ ‘Johns’

Initiatief komt van: overheden, internationale Initiatief komt van: overheden, internationale organisaties, ngo’sorganisaties, ngo’s

Vaak link met andere beleidsdoelen zoals Vaak link met andere beleidsdoelen zoals uitbannen van prostitutie en strijd tegen illegale uitbannen van prostitutie en strijd tegen illegale migratiemigratie

Resultaten (vervolg)Resultaten (vervolg)

Toename van evaluatieonderzoekToename van evaluatieonderzoek Geen onderzoek met voor- en nametingen Geen onderzoek met voor- en nametingen

en controlegroepenen controlegroepen Resultaten worden vaak gerapporteerd als Resultaten worden vaak gerapporteerd als

betrouwbaar en valide ondanks betrouwbaar en valide ondanks methodologische tekortkomingenmethodologische tekortkomingen

Zelden aandacht voor lange Zelden aandacht voor lange termijneffectentermijneffecten

Conclusies nav deze srConclusies nav deze sr

Geen info over effectenGeen info over effecten Empirisch evaluatieonderzoek ontbreektEmpirisch evaluatieonderzoek ontbreekt Typisch voorbeeld van blindelings Typisch voorbeeld van blindelings

implementeren van beleidimplementeren van beleid Toch frequent nieuwe anti-Toch frequent nieuwe anti-

mensenhandelinterventies. Risico: mensenhandelinterventies. Risico: geldverspilling en ‘collateral damage’geldverspilling en ‘collateral damage’

Geldschieters zouden (deugdelijke) evaluatie Geldschieters zouden (deugdelijke) evaluatie een voorwaarde moeten maken bij het een voorwaarde moeten maken bij het financieren van projectenfinancieren van projecten

ConclusiesConclusies Systematic reviews hebben grote voordelen (beperkte Systematic reviews hebben grote voordelen (beperkte

tijd, gebruik maken van wat er is, niet ‘misleid’ worden tijd, gebruik maken van wat er is, niet ‘misleid’ worden door resultaten die weinig empirische basis hebben) door resultaten die weinig empirische basis hebben)

M.n. van belang als je naar effecten van interventies wilt M.n. van belang als je naar effecten van interventies wilt kijkenkijken

Maar zoekstrategie en wijze van verantwoorden zijn van Maar zoekstrategie en wijze van verantwoorden zijn van breder belangbreder belang

Soms ‘lege reviews’: weinig info over effecten, wel over Soms ‘lege reviews’: weinig info over effecten, wel over interventies en de hiaten in onderzoekinterventies en de hiaten in onderzoek

Boodschap aan u: promoot gebruik van sr’s, wijs Boodschap aan u: promoot gebruik van sr’s, wijs onderzoekers op zoek naar literatuur erop, hanteer en onderzoekers op zoek naar literatuur erop, hanteer en promoot zo mogelijk de Campbell wijze van zoeken naar promoot zo mogelijk de Campbell wijze van zoeken naar literatuur en verantwoorden van de gevolgde werkwijzeliteratuur en verantwoorden van de gevolgde werkwijze