1
Systematic reviews –benefits and pitfalls
Yngve Falck-YtterDeutsches Cochrane Zentrum
Statistische Methoden in Evidenz-basierter Medizin und Health Technology Assessment
Freiburg, 20. November 2003
2
Inhalt
Warum brauchen wir systematische Reviews?
Evidence-based medicine / HTA
Benefits and pitfalls of meta-analysis
Klinisch-methodische Aspekte
Kritische Beurteilung der Qualität von SR
Crossing the quality chasm. IOM 2000 3
Hintergrund
Klinische Entscheidungen: 20 – 40% basiert auf
Erkenntnisse aus klinischer Forschung?
Schnell expandierendes medizinisches Wissen
Wenig transparenter, fehlerhafter und langsamer
Transfer von Wissen in die Praxis
4
ErkenntnistransferInformationen zu medizinischen Fragestellungen
• Klinische (kontrollierte) Studien• Epidemiologische (Beobachtungs-) Studien• ....
Behandelnde ÄrzteGesundheitsbehörden, KrankenkassenPatientenKlinische Forschung
Evi
denz
-Pro
dukt
ion
Evi
denz
-Nut
zung
?
Searched November 15, 2003 in PubMed: RCT[pt] 5
RCT Zitationen in MedlineRandomized controlled trial citations in Medline
Total: 175,140
38 186 212 268 288 350 369 455 557 626926
14571766
20492258252030272799
35033829
4402
5609
67367150
75458216
9469
10359
1137510940
11652
10981
7043
1226 1238
4495
1068110299
10148
0
2000
4000
6000
8000
10000
12000
14000
1965
1967
1969
1971
1973
1975
1977
1979
1981
1983
1985
1987
1989
1991
1993
1995
1997
1999
2001
2003
Num
ber o
f hits
6
Informationsflut vs. LesezeitJedes Jahr ca. 2 Mio. Artikel in 25.000 FachzeitschriftenGastroenterologie: Weltweit ~ 270 Zeitschriften250.000 bis 1 Mio. abgeschlossene Studien19 Artikel pro Tag, 365 Tage pro Jahr Davidoff 1995
Durchschnittliche ärztliche Lesezeit: < 40 Min. pro Woche
Lau J et. al. N Engl J Med 1992;327:248-54 7
Example streptokinase in acute MI
(OR, 95% CI)
Lau J et. al. N Engl J Med 1992;327:248-54
8
Antman E et. al. JAMA 1992;268:240-48
9
Antman E et. al. JAMA 1992;268:240-48
10
Evidence-based Medicine
Evidence-based medicine is the integration of best research evidence with clinical expertise and patients values.
Sackett D, Straus S, Richardson W, Rosenberg W, Haynes B. Evidence-based Medicine – how to practice and teach EBM. Churchill-Livingstone 1997
Oxford Centre of Evidence Based Medicine; http://www.cebm.net 11
Level of evidence
Level of evidence
Studies on therapy / harm
I Randomized controlled trials
II Cohort studies
III Case-control-studies
IV Case-series
V Expert opinion
12
Für EBM nötig...
Systematische Identifikation von Evidenz(unter Einbezug medizinischer Datenbanken)
LösungsansätzeI Primärliteratur: Originalartikel (Klassische EBM)II Sekundärliteratur: z.B. Journal Club, Journal WatchIII Zusammenfassen: Synthese von mehreren Artikeln
aus Primärliteratur (Narrativ oder systematisch), „Clinical Evidence“, „Cochrane Library“
Searched: September 15, 2003 (meta-analysis[mh] OR meta-analysis[pt] OR meta-anal*[tw])
13
Meta-analysen und Systematic Reviewsin Medline
6 3 12 19 17 25 32 54113
254335
436539 564
699803
883
11311185
1381
17901906
1991
0
200
400
600
800
1000
1200
1400
1600
1800
2000
1980
1981
1982
1983
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
Num
ber o
f hits
Egger M, Smith DS. BMJ 1995;310:752-54 14
Meta-analysisYusuf S.Circulation 1993
ISIS-4Lancet 1995Funnel
plot: i.v. Mg im
AMI
Reporting bias
Egger M, Smith DS. BMJ 1995;310:752-54 15
Meta-analysisYusuf S.Circulation 1993
ISIS-4Lancet 1995
Egger M, Smith DS. BMJ 1995;310:752-54 16
17
Verzerrungen (Bias): Quellen
Publikationsbias (File Drawer Problem)• öfter Nicht-Veröffentlichung von „negativen“ Studien• schnellere und mehrfache Publikationen sign. Ergebnisse
Language bias• Systematische Unterschiede bei Publikationen im englisch-
vs. nichtenglisch-sprachigem RaumRetrieval bias• Keine sichere Methode für das Auffinden von
veröffentlichten Studien
Egger et al. Lancet 1997;350:326-29 18
Veröffentlichungen deutsch vs. englisch
Glaxo 1997 19
Retrieval Bias
Accessibility of published data (April 1997)
51%
46%
3%
0% 10% 20% 30% 40% 50% 60%
Papers published in journals NOTscanned by EMED/MEDL
Abstracts / grey literature
Papers published in journals scanned byEMED/MEDL
Bassler D et al Monatsschrift Kinderheilkunde 2001 20
Zugriff auf Studien (RCT, CCT)
0 00 0
348
94
4116
3672
827
0
50
100
150
200
250
300
350
400
MonatsschriftKinderheilkunde
Klinische Pädiatrie Kinderarzt PädiatrischePraxis Kinderarzt
Anz
ahl S
tudi
en (1
970-
1999
)
Handsuche
...davon in Medline
... mit richtigemPublikationstyp
Egger et al. Systematic Reviews 2001 21
Problemfeld: “Heterogeneity”
22
Wichtig: Meta-Analysen immer kritisch beurteilen!
Vorsicht bei Meta-Analysen, wo…• Studien nicht eindeutig beschrieben sind• Studien nicht kritisch beurteilt wurden• Heterogenität nicht untersucht wurde• Keine Sensitivitätsanalysen vorgenommen wurden
Immer zu bedenken: • Meta-Analysen können nie die Verzerrungen (Bias) der
zugrunde liegenden Studien kompensieren• Mit anderen Worten: Müll rein → Müll raus
23
24
Lösungsansätze
Standardisierung der Reports von ReviewsQUORUM Statement, Moher et al. Lancet 1999
Standardisierung der Reports von klinischen StudienCONSORT Statement, Begg et al. 1996/2001
Standardisierung der Reports von DiagnosestudienSTARD Statement, Bossuyt et al. Ann Int Med 2003
25
Lösungen: Prospektive Registrierung von Studien
26
Archie Cochrane
1979
“It is surely a great criticism of our profession that we have not organised a critical summary, by speciality or subspecialty,
adapted periodically, of all relevant randomised controlled trials.”
27
Preparing, maintaining and promoting the accessibility of systematic reviews of the effects of
health care interventions
28
Colorectale Chirurgie: Spülen oder nicht spülen?
Outcome: Anastomotic leakage
29
Spülen oder nicht spülen?
Outcome: Wound infection
30
Lösungsansätze: Cochrane
Systematische Reviews (z.B. Cochrane)• Erfassung aller für die Fragestellung relevanten Literatur
• Datenbanken: Medline, Embase etc.• Handsuche: z.B. Studien in Cochrane CENTRAL database
• Gegensatz: narrative Reviews• Cochrane: Titel → Protokoll → Review• Transparenz
31
Epidemiologische Studien, Datenbanken, FallserienKlinische Studien (randomisiert, kontrolliert, prospektiv)
Systematic Reviews (Wirksamkeit)
Health Technology Assessment (HTA)
LeitlinienDMP
Patienten-Informationen
AusschüsseUmfassende Bewertung
Management im klinischen Alltag
Inte
rnat
iona
l
Inte
rnat
iona
l
Nat
iona
l
Nat
iona
lSR
/ M
A
Entscheidungs-hilfen
32
Missverständnisse und Missbrauch
Vorwurf: Plagiat
Kochbuch-Medizin
Marketing Instrument
Äpfel mit Birnen vergleichen
33
Zusammenfassung
Systematische Reviews / Meta-Analysen können zeitnah Forschungsergebnisse zusammenfassen und die Präzision einer Aussage verbessernMethodisch korrektes Vorgehen notwendigSind alle Studien eingeschlossen? Publication Bias?
Vorsicht bei Meta-Analysen mit nur kleinen Studien
Quellen und Ausmaß klinischer und methodischer Heterogenität identifizieren und bewerten
34