Date post: | 22-Dec-2015 |
Category: |
Documents |
View: | 219 times |
Download: | 2 times |
Critical Critical AppraisalAppraisal
What is the EBD Process?
Dr. Shahram Yazdani 77
Medicine is a science of Medicine is a science of uncertainty and an art of uncertainty and an art of
probabilityprobabilitySir William OslerSir William Osler
Crude Induction-Deduction
Large amount of observations in a controlled condition
Proposing a theory
Deduction
Other observations
P<0.05 is Ideal !!
Where It comes from?
But What does it mean?
Medical evidence increasing at epidemic rates: we all need EBP skills to keep up-to-date
Bastian, Glasziou, Chalmers (2010) 75 Trials and 11Systematic Reviews a Day: How Will We Ever Keep Up? PLoS Med 7(9)
Medical evidence increasing at epidemic rates: we all need EBP skills to keep up-to-date
MEDLINE 20102,000 articles / day
Bastian, Glasziou, Chalmers (2010) 75 Trials and 11Systematic Reviews a Day: How Will We Ever Keep Up? PLoS Med 7(9)
About 1/3 of worthwhile evidence is
eventually refuted or attenuated
About 10% of published evidence
is worth reading
About 1/2 of relevant evidence is
not implemented
Best Evidences
•In Best Journals !!•That’s Easy!!
در علم مقاالت
.....پزشکی
CATCritical Appraisal Tools
• Formalized guidelines for the critical appraisal
• The highest level of evidence for an intervention is considered to be a systematic review of a number of high-quality randomized controlled trials (RCTs)
•Level of Evidence
• systematic review• Confirmed RCT• Unconfirmed RCT• Cohort studies• Case-Control observational studies• Case Series• Case Report• Expert Opinion
Searching Searching for critical appraisal checklists randomized controlled trials .
About 54,900 results (0.26 seconds)About 54,900 results (0.26 seconds)
JADAD ScaleCASPPEDro
RAMboCONSORT
http://www.phru.nhs.uk/Pages/PHD/resources.htm
Five steps in EBMFive steps in EBM
1. Formulate an answerable question2. Track down the best evidence 3. Critically appraise the evidence for:
– Relevance– Validity– Impact (size of the benefit)– Applicability
4. Integrate with clinical expertise and patient values
5. Evaluate our effectiveness and efficiency – keep a record; improve the process
GATE: a Graphic Appraisal Tool for Epidemiology
1 picture, 2 formulas &
3 acronyms
A picture: the GATE frame
the shape of every epidemiological study
©
Participants
Exposure Group Comparison Group
OutcomesTime
P
E C
O
T
The PECOT acronym: the 5 parts of every epidemiological study
All epidemiological studies can be hung on the GATE frame
P
E C
OT
P
E
C
O
T
Recruitment
Allocation
Maintenance
Measurement of outcomes
blind or
objective
The RAMMbo* acronym: assessing study bias
* Paul Glasziou
37
P
E C
OT
P
E
C
O
T
* Paul Glasziou
The 2nd acronym = RAMBO* : assessing non random error (i.e. bias)
Recruitment
Allocation
Maintenance
Blind or
Objective outcomes measurement
37
38
P
E C
OT
P
E
C
O
T
3rd appraisal task: assess the degree of bias by applying the RAMBO acronym
Recruitment
Allocation
Maintenance
Blind or
Objective outcomes measurement
39
RAMBO
E C
OT
were Recruitment processes appropriate to study goals?P
• Study setting & eligibility criteria well described?e.g. Recruit random/representative sample OR consecutive eligibles OR volunteers from advertisements• Participants representative of eligibles?• Prognostic/risk profile appropriate to study question?
P
Study setting
Eligible people
40
EG CG
OT
RCT: Allocate randomly by investigators (e.g drugs)
EG CG
OT
Cohort: Allocate by measurement (e.g. smoking)
RAMBO: A is for Allocation
were EG & CG similar at baseline?
Was Allocation to EG & CG
successful?
41
RAMBO
EG CG
OT
were Participants Maintained as allocated?
did most participants remain in allocated groups (EG & CG)
P
Participants &/or investigators blind to exposure (and comparison exposure)?
Compliance high & similar in EG & CG?Contamination low & similar in EG & CG?Co-interventions low & similar in EG & CG?
Completeness of follow-up high & similar in EG & CG?
42
RAMBO
EG CG
OT
Were outcomes measuredBlind or Objectively?
P
If outcome measurements not Objective (eg. automated or definitive) were investigators Blind to exposure (and comparison exposure)
Bias% تصادفات 95در
جاده ای مقصر ماشینهای شخصی
هستند!
اهداف و طراحیآیا هدف تحقیق به وضوح بیان شده ؟•
آیا نحوه ی طراحی تحقیق برای این کار مناسب •
بوده ؟
آیا طراحی به درستی انجام شده ؟•
نمونه
آیا نمونه با دقت انتخاب شده ؟•آیا نمونه معرف جمعیت مورد بررسی ؟•آیا تعداد نمونه به درستی محاسبه شده ؟•
عوامل تاثیر گذار غیر قابل کنترل آیا محققین تاثیر سوگیری ، شانس و عوامل •
مغشوش کننده بر روی نتایج را در نظر گرفته اند؟
آیا بیماران مورد درمانهای دیگری نیز قرار •گرفته بودند یا بیماری دیگری نیز داشتند ؟
گروه کنترل
آیا نیاز به گروه کنترل بوده؟
آیا گروه کنترل در نظر گرفته شده ؟
آیا گروه کنترل به درستی انتخاب شده؟
کورسازی و تصادفی کردنآیا نمونه ها به صورت تصادفی در گروههای مختلف •
تقسیم شده؟
آیا تصادفی کردن به دقت اجرا شده؟•
آیا تصادفی کردن به صورت کور بود؟•
آیا درمان کور یا دوسو کور بود؟•
اندازه گیری و تست های آماری
آیا چیزهایی که مورد اندازه گیری قرار گرفتند •ارتباط کلینیکی با موضوع داشته اند ؟
آیا اندازه گیری ها بادقت و درستی انجام شده •بودند؟
برای اندازه گیری و یا تشخیص Gold Standardآیا یک •وجود داشته؟
آیا جزئیات به دست آمده از تستهای آماری مورد •استفاده قرار گرفته اند ؟
آیا تستها مناسب بوده اند ؟•آیا تجزیه و تحلیل آماری انجام شده در مورد درمان •
به صورت کور انجام شده؟
تکمیل مطالعه و مشکالت پیش بینی نشده
از دست رفته قابل قبول بوده؟Follow-upآیا تعداد موارد •
آیا تالش الزم برای بازیافت موارد از دست رفته صورت •
گرفته؟
مجموعه اطالعات تا چه میزان کامل بوده؟•
آیا متدولوژی در حین مطالعه در پاسخ به شرایط پیش •
بینی نشده تغییر یافته ؟
آیا محققین مشکالت را پذیرفته و برای حل آنها تالش •
کرده اند؟
یافته ها
یافته های مطالعه چه بوده اند ؟•
آیا تحقیق به اهداف خود رسیده؟•
نویسندگان چه استنتاجی داشته اند ؟•
تفسیر
آیا محققین نتایج به دست آمده را به درستی تفسیر •نموده اند ؟
آیا محققین تالش کردند تا کمبود اطالعات راجبران کنند ؟•آیا محققین استنتاجهای غیر قابل دفاعی داشتند ؟•
اشتباه در تفسیر •آیا اطالعات مهمی مورد چشم پوشی یا غفلت قرار •
گرفته بودند؟آیا از اطالعات غیر قابل اطمینان استنتاج خاصی به دست •
آمده است؟
قابلیت تعمیم
آیا استنتاج های به عمل آمده، قابلیت •تعمیم به گروه گسترده تری از بیماران
را دارند ؟
آیا استناج به دست آمده برای بیماران •من مناسب است؟