ارزشيابي صالحيت باليني
دكتر محمدرضايوسفيMD-MPH- MS.c Medical education
عضوهیئت علمی
مرکز مطالعات و توسعه آموزش پزشکی دانشگاهدفترتوسعه آموزش باليني
Workshop for Workshop for assessing clinical assessing clinical
competencecompetence
2
Evaluation is for
Improvement
Not
Provement
Professional Competence
• The habitual and judicious use of communication, knowledge, technical skills, evidence based decision making, emotions, values, and reflection to improve the health of the individual patient and the community.
کارگیری “ دانش، به مدبرانه و مهارتهای عادت گونهباليني، یارتباطات استدالل عملي، مهارتهاي ،
بازانديشي و ارزشها حرفه اي عواطف، فعاليت درجامعه و فرد به خدمت جهت در "روزمره،
4Epstein and Hundert, Designing and assessing professional competence. JAMA 287:226, 2002
What is Clinical CompetencyWhat is Clinical Competency??
The ability to handleThe ability to handle
a complex professional task bya complex professional task by
integrating knowledge, skills and attitudesintegrating knowledge, skills and attitudes..
Rice et al., Competency-based objectives for clinical training. Can. J. Med. Technol. 57:136, 1995
نگرش
مهارت شنا خت
دان)(ش
عملیReferenceReferenceVan der Vleuten, C. The assessment of professional competence: developments,research and practical implications Van der Vleuten, C. The assessment of professional competence: developments,research and practical implications Advances in Health Science Advances in Health Science Education Education 1996, Vol 1: 41-671996, Vol 1: 41-67
تلفیق دانش، مهارت عملی و
نگرش های حرفه ای در ضمن انجام یک وظیفه بالینی
پیچیده
DoesDoes
Showshow
Showshow
Knows howKnows how
KnowsKnows
Miller GE. The assessment of clinical skills, competence, performance Acad Med, 1990; 65(Suppl.):S63-S67 .
Behavior Skills
& attitudes
Knowledge
What is the best way to evaluate Clinical Competency?
Miller’s Pyramid of Competenc
Knowledge tests: MCQs
Clinical based tests: MCQ
Competency assessment: OSCE
Performance assessment: Masked SP
A simple model of competence
Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
Knows
Shows how
Knows how
Does
Pro
fess
iona
l aut
hent
icity
Pro
fess
iona
l aut
hent
icity
Written, Oral orComputer based assessment
Performance or hands on assessment
Model of competence
Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S67.
Pro
fess
ion
al
au
then
ticit
y
Behaviour~ skills/attitudes
Cognition~ knowledge
climbing the pyramid
Knows
Shows how
Knows how
Does
Knows Factual tests: MCQ, essay type, oral…..
Knows how (Clinical) Context based tests:MCQ, essay type, oral…..
Shows how Competence assessment in vitro:OSCE, …..
DoesPerformance assessment in vivo: Masked SPs, Video, Portfolio…..
Validity of testing formats
Professional practice assessment
Knowledge assessment: MCQs...
Problem-solving assessment: PMP، MCQs,..
Performance assessment: OSCEs, long/short cases, etc
Miller’s Pyramid for Assessing Clinical Competence
Does
Knows
Shows How
Knows How
Knowledge
Performance
Competence
Action
MCQs
PMPs
OSCE
Work
Expanding our toolbox..…
Knows
Shows how
Knows how
Does
Knows
Knows how
Established technology of efficient written or computer-based high fidelity simulations (MCQ, Key Feature, Script Concordance Test, MEQs….)
Expanding our toolbox..…
Knows
Knows how
Does
Knows how
Shows how
Established technology of structured high fidelity in vitro simulations requiring behavioural performance (OSCE, SP-based testing, OSPE….)
Expanding our toolbox..…
Knows
Shows how
Knows how
Does
Shows how
Does
Emerging technology of
appraising in vivo performance (Work-
based assessment: Clinical work-sampling, Mini-CEX,
Portfolio, practice visits, case orals….)
Expanding our toolbox..…
Knows
Shows how
Knows how
Does
“Domain independent ”
skills“Domain specific”
skills
Emerging technology of appraising in vivo performance (self-, peer, co-assessment, portfolio, multisource feedback, learning process evaluations……)
ACGME Core Competencies(The 6 Competencies)
1. Patient Care
2. Medical Knowledge
3. Professionalism
4. Interpersonal & Communication Skills5. Practice-Based Learning and Improvement
6. Systems-Based Practice
16
آزمونها انواع
تکوینی- 1 (:Formative)آزمونهایخدمت )• محل هاي خوراند( Workplaceارزيابي پس با
(feedback )آموزشی دوره درطول مناسبدانشجو • یادگیری وتجربیات تحصیلی پيشرفت•. گيرد مي قرار ارزيابي مورد دانشجو يك رفتار و عملكرد تمام
تجمعی- 2 (Summative ) :آزمونهايساالنه • ارتقائ يا ترم آخر امتحان از ردي يا قبولي نشانگر
باشد . مي دستياري•. باشد مي دانش حيطه در فقط ارزيابي
What are assessment tools?
محدود پاسخمحدود پاسخrestrictedrestricted
گسترده پاسخگسترده پاسخextendedextended
تشريحي
كوتاه پاسخ
صحيح-غلط
جور كردني
چندگزينه اي
باز
بسته
كتبي
Assignments انجام تكاليف
Cu
ed q
ues
tion
s
Un
cued
qu
esti
ons
کتبی آزمونهای
آزمونهای کتبی
:کاربرد
آزمون هاي عمليPractical
Lab-based practicalLab-based practical
DOPSDOPS
What are assessment tools?
PBA(Procedure – based Assessment) PBA(Procedure – based Assessment)
آزمون هاي باليني Clinical
CBD یاCSR (Chart Stimulated Recall )
OSCEs
GRF
Mini-CEX
What are assessment tools?
شفاهي Structured
Unstructured
What are assessment tools?
ارزيابي هاي در محل خدمتWorkplace Based Assessment)(
• Mini-CEX) Clinical Evaluation Exercise)
• CBD یا CSR (Chart Stimulated Recall)• DOPS ) Direct Observation Of procedural Skills)• PBA (Procedure – based Assessment) • 360°ارزیابی ( Mini-PAT (• OSCE (objective structured clinical examination) • GRF(Global Rating Form )
Climbing the Pyramid
Knows
Shows how
Knows how
Does
Knows Knowledge Tests:
Knows how (Clinical) Context Based Tests:essay type, oral
Shows how Competence Assessment :OSCE
DoesPerformance Assessment :Video, Real patient( Mini-CEX – DOPS-…)
MCQ
ارزشیابی صالحیت بالینی
به وسیله آزمون بالینی ساختارمند عینی
( OSCE) (Objective Structured Clinical Examination)
What’s in a name?
OObjectivebjective
SStructuredtructured
CClinicallinical
EExaminationxamination
OSCE
OSCE
Objective Structured Clinical Examination
عینیساختارداربالینیآزمون
يک آزمون آسکی آزمون• است صالحيت بالينیارزيابی
در عينیکه بصورت ايستگاههای مختلف
سازماندهی شده و تقريبا هر يک آزمون چهار ضابطه
عادالنه را داراست.
مقياس • يك با داوطلبين قرار یکسان همه سنجش مورد. گيرند مي
. ارزشیابی می شوندبا یک معیار همه دانشجویان •
OOSSCEsCEs - - SStructuredtructured
است دار نظام ايستگاه هر برنامه و .تدابيرگیری • همان درهرایستگاه، ابزاراندازه ایستگاه ویژه
است تنظیم .شدهویژه درهرایستگاه • بالینی مهارت یک
گیرد قرارمی .موردارزشیابی
مهارت هاي ويژه اي كه در هر ايستگاه موردگيرند شامل موارد زير است: آزمون قرار مي
o History takingHistory takingo Interpersonal communicationInterpersonal communicationo Clinical examinationClinical examinationo ProceduresProcedures
OSCE مهارتهای بالینی انجامآزمون توانایی .است
• Students have to demonstrate their skills, not just describe the theory
Clinical Examination
مهارتهای و ای حرفه رفتار ارزشیابیارتباطی
بیمارنما • حضور با هایی ایستگاهکنید، فرایند• ارزشیابی محتوا را را نه
دانشجو اینکه چگونهمثال نه کرد چهصحبت.گفت
بالینی مهارتهای ارزشیابیرا توانمندی• مهارت انجام فرایند و دانشجو
کنید، ارزیابینتیجه را نه .کار
Competencies: The SIX DomainsCompetencies: The SIX Domains
Objective Structured Clinical Examination
Medical authorities & faculties started to implement the OSCE exams for clinical and communication skills assessment of medical students, clerks, interns, residents, and graduates since the 1980s.
It is a standardized method of clinical evaluation that eliminates bias.
www.OSCEhome.com
Objective Structured Clinical Examination
OSCE is a form of performance-based testing used to measure candidates’ clinical competency.
During an OSCE, candidates are observed and evaluated as they go through a series of stations in which they interview, examine and treat standardized patients )SP( who present with some type of a medical problem.
www.OSCEhome.com
Objective Structured Clinical Examination
“The OSCE is an approach to the assessment of clinical competence in which the components of competence are assessed in a planned or structured way with attention being paid to the objectivity of the examination”. Harden, 1988
www.OSCEhome.com
Objective Structured Clinical Examination
The curriculum tells the staff what to teach...
The OSCEs tells the students what to learn !
And that is the point…. What OSCE candidates should learn? What candidates can do rather than what they
know.
www.OSCEhome.com
Objective Structured Clinical Examination
The application of their knowledge rather than the recall of knowledge.
The ‘WHAT’ to ask and do.The ‘HOW’ they ask and do.The ‘WHEN’ they ask and do.How do they organize themselves.How do they communicate with
patients.
www.OSCEhome.com
Objective Structured Clinical Examination
• The OSCE has offered a strikingly new and exiting way of making valid assessment of clinical performance of medical student ,resident, and fellows .
What is the purpose of the OSCE?
• Provide feedback on performance
• Evaluate basic clinical skill
• Measure minimal competency
M. Mohammadi MD
• It is some sort of student It is some sort of student evaluation that examinee evaluation that examinee will go through several will go through several stationsstations to be evaluated to be evaluated in clinical fields by in clinical fields by special rating scales and special rating scales and checklists.checklists.
What is OSCE?What is OSCE?
• Clinical skillClinical skill
• Practical attitudesPractical attitudes
• Practical knowledgePractical knowledge
OSCE is Useful to Evaluate:
OSCE is Useful to Evaluate:
OSCE =Performance-Base assessment (Skill Based Assessment):
Actual Performance of clinical skillsActual Performance of clinical skills
isis
observed in order to adjudicate the observed in order to adjudicate the competence of Health professionalscompetence of Health professionals
What is the format What is the format of OSCEof OSCE??
What is the format What is the format of OSCEof OSCE??
• It consists of several It consists of several Stations Stations
• (12-20 each lasting 5 (12-20 each lasting 5 to 15 minutes not to 15 minutes not more than 30 seconds more than 30 seconds rest between each).rest between each).
What is the What is the format of OSCEformat of OSCE??
What is the What is the format of OSCEformat of OSCE??
OSCE
رعایت • آزمون این طراحی هنگام باید که نکاتینمود:
:blueprintتهیه –تعیین اهداف آموزشی مهمی که باید مورد ارزیابی •
قرار گیرند.
تعداد کافی ایستگاه:–تعداد ایستگاه بیشتر از زمان هر ایستگاه اهمیت دارد. •
برنامه ریزی دقیق و منظم –پیش بینی وقایع احتمالی–
OSCE
: آزمون برگزاری نحوه ایستگاههای پشت سر هم و در هر ایستگاه یکtask
مشخص12 دقیقه15 تا 5 ایستگاه و هر ایستگاه 20تا
از شده طرحريزي ايستگاه 9نقشهOSCE
21 43
6
5
89 7
Start Start
End End
امتحان پروسه تعیین
1010998877665544332211
1010998877665544332211
ایستگاهها:
است روش: Observer .الزم ً معموال
نیست و Observe .الزم سؤاالتمعموال : تفاسیر ً
What is the What is the stations’ contentsstations’ contents??
What is the What is the stations’ contentsstations’ contents??
What is the What is the stations’ contentsstations’ contents??
What is the What is the stations’ contentsstations’ contents??
• Case historyCase history• Physical Physical
examexam• Real patientReal patient• Standardize Standardize
pt.pt.• Simulated pt.Simulated pt.
• History takingHistory taking• Clinical Clinical
procedureprocedure• RadiographsRadiographs• Slide Slide
presentationpresentation• … …
OSCE
:محتوای ایستگاه ها ،فیزیکی معاینه حال، شرح و اخذ تفسیر مشاوره بیمار، آموزش
بیمار، و اطالعات باال فک قدامی دندانهاي پروسیجرمانندکشیدن
مانکن روی ای وتنه موضعی حسی وبی و...پایین
unmanned ایستگاه های mannedایستگاه های
گیجگاهی – مفصل فکی اختالالتOPGگرافی
محتوایایستگاه ها:
محتوای ایستگاه ها:
روي • باال فک موضعی حسی بی مانکن تزریقروي • پایین فک ایی تنه حسی بی مانکن تزریق
و بیمار مشاوره آموزش
- لثه های بیماری اکلوژن مال
اکلوژن مال
بیمار تاریخچه گرفتن
How do you evaluate How do you evaluate the examineethe examinee??
How do you evaluate How do you evaluate the examineethe examinee??
•ChecklistChecklist•Rating scaleRating scale•Short answered Short answered questionsquestions
• ……
ارزیابی : چگونگیOSCE
معیارهای ارزیابی از قبل و بر اساس اهداف –آموزشی تعیین می شوند.
از یک چک لیست استاندارد شده برای –ارزیابی استفاده می شود.
Who are theWho are the Raters Raters??
Who are theWho are theRaters Raters ??
Who are the Who are the RatersRaters??
• Simulated pt.Simulated pt. • Standardized pt.Standardized pt.• Clinical staffClinical staff • Non clinical staffNon clinical staff• Non expert ratersNon expert raters
OSCE
•: کنندگان ارزیابیناظر متخصص–ناظر غیرمتخصص–بیمار(نما)–
OSCE is suggested the first best method for evaluation of:
• Interviewing• Counseling & educating pt’s & families• Performing procedures• Physical examination• Preventive health services• Creation of therapeutic relationship with patients• Listening skills• Respectful & altruistic behaviors
• Sensitive to cultural, age, gender & disability issues
چند مثال براي فعاليتهايي كه مي توانيم براي ايستگاهها در نظر
بگيريم : معاينه يك بيمار واقعيمعاينه بيمار استاندارد شده آموزش بيمار واقعي انجام عمل مشاوره درباره يك موضوع با
يك بيمار واقعي يا تقليدي )تلفني يا حضوري (
شناسايي عوامل بيماريزا زير ميكروسكوپEEG, EMG , ECG راديوگرام، اسپيروگرام
و ... تشخيص بيماري از روي اساليد و تصوير يا
فيلم
ديدن شرح حال و آزمايشات بيمار وتشخيص بيماري
بررسي و نقد پرونده بيماران مرخص شده گوش كردن نوار صداهاي قلبي و تشخيص
انواع صداهاي طبيعي و غير طبيعي
انجام يك كار عملي بر روي موالژ كار با دستگاهها و تجهيزات پزشكي انجام يك آزمايش پاراكلينيكي افتراق داروها و مواد شيمياييتشخيص ماكروسكوپي نمونه اتوپسي شده
چند مثال براي فعاليتهايي كه مي توانيم براي ايستگاهها در نظر بگيريم :
04/21/23 79
يک آزمون ارزيابی آسکیآزمون •است که بصورت صالحيت بالينی
در ايستگاههای مختلف عينیچهار سازماندهی شده و تقريبا هر
يک آزمون عادالنه را ضابطه داراست.
از استفاد مزایایOSCE:
اين روش ب�راي س�نجش ص�الحيتهاي كليني�ك و ح�ل مس�ئله م�وثر است.1.
روش ارزيابي منصفانه ايست چون سواالت آن عيني است.2.
براي ارزيابي مهارتهاي رواني – حركتي روش مناسبي است.3.
اين روش بين امتح�ان ش�ونده و محي�ط ك�ار واقعيش ش�رايط ط�بيعي 4.برقرار مي كند.
بازخورد آني است. 5.
شانس در آن دخالتي ندارد.6.
از استفاد :OSCEمزایای
- طیف وسیعی از مهارت های تعداد زیادی از 7� کوتاهی ارزیابی می فراگیران در مدت نسبتا
شوند.
- هم بیمار و هم ارزیابی کننده برای تمام آزمون 8شوندگان یکسان هستند.
- شرایط آزمون به شرایط واقعی نزدیک است.9
- از روایی و پایایی خوبی برخوردار است.10
از استفاد :OSCEمحدودیتهای
اين امتح�ان بودج�ه، ت�داركات غ�ني و هم�اهنگي 1.ها�ي كامل �درون ب�خشي را طلب� مي كند.
بك�ارگيري اين روش ب�راي تع�داد زي�اد دانش�جو 2.مشكل است.
ميس�ر 3. هم�واره واقعي بيم�ار از اس�تفاده نيست.
طراحي و اج�را آن مش�كل و وقت گ�ير اس�ت. 4.
از استفاد :OSCEمحدودیتهای
- مهارت ها به صورت مجزا و در ایستگاه های متفاوت 5ارزیابی می شوند.
- برای حفظ پایایی آزمون باید تعداد ایستگاه ها زیاد 6باشد.
در مورد برخی مهارت ها از جمله برقراری ارتباط •� بسیار مشکل است. عمال
- سازماندهی و اجرای آن نیازمند نیروی انسانی زیادی 7است.
- از لحاظ منابع مادی و زمان هزینه بر است.8
DOPS, Mini-CEX
OSCE
MCQ
GRF, 360-degree
