How to avoid pitfalls in clerkship assessment by medical students?

T. Pottecher, M. Lujic, M. Wolf, C. Martin, G. Vicente, B. Ludes

Educational research laboratory Faculté de Médecine de Strasbourg

Overview

• First step• Assessment of procedure• Changes• And now…

The setting…

• 2002, new decennial team• Creation of a unit assessing clinical and

theoretical teachings• Appointment of two mission representatives• Instauration of periodical meetings

Key principles

• The Faculty has acknowledged the educational role of clinical clerkships

• Optimization & coordination of the clerkships:– define endpoints – create a precise logbook which incorporates the endpoints

• Transparence & feedback– assess the quality of clinical clerkships– discussion, analysis and diffusion

Organization of clinical clerkship for medical students

• Acquisition of endpoints:• Including :

– tutorials– clinical case presentations by medical students

• Student’s exam (end of clerkship)– presence, motivation, case scenarios, achievement of

endpoints– pass or fail grading

• Clerkship quality evaluation by students

Evaluation sheet

EndpointsQuestions

Clinical specialty coordinator

Department coordinator

Hospital Direction

Medical facultyHead of department

Coordinators:

• Specialty– professor– defines clinical clerkship

endpoints– analyses the feedback

together with a commission– changes the endpoints as

required

• Department– Appointed by the head of

department– Organizes the clinical clerkship:

• student assignments into groups• tutor appointments• tutorials and clinical case

presentations• Final grading on pass/fail basis

– Ascertains that pre-set endpoints are being met

Feedback processing

• Clerkship with minimum duration of 1 month• Assessment sheet

– pre-printed (specialty, department, period)

– sent to the heads of department before the end of the clerkship period

– completed anonymously at the end of the clerkship

– Sent back to the Faculty by the (secretary of the) department

Feedback processing(cont’d)

• Analysis via optical reader

• Manual processing of free comments

• Feedback to each head of department and department coordinator

Overview

• First step• Assessment of procedure• Changes• And now…

2006-2007 : onset of problems• Low response rate & “silent” departments• Delayed feedback towards the heads of

department• Poor reaction by the heads of department and

coordinators• Reliability of results? (no responses)• Reorganization of clinical assignments by “poles”

(clusters of activity) – Appointed pedagogic referent– Single or multiple specialty poles (clusters of

departments) endpoints assessment impossible

0,00 0,20 0,40 0,60 0,80 1,00

Doeffoel

Jaeger JH

Dufour (med)

Marescaux

Kempf

Kretz

Hannedouche

Favre

Kofperschmitt

Nisand

Pinget

Jaeck

Flament

Wolf

Bursztein

Meyer

Lutz

Exhaustiveness of feedbacks

Années de stage 2003-2004 2004-2005 2005-2006 2006-2007 03-05/06-07Nombre réponses 802 1268 1194 1336 67%

DeltaValidation formalisée fin de stage 67% 63% 68% 67% 4%Participation au staff 42% 38% 37% 40% -3%Charges de rangement faibles 79% 81% 84% 84% 8%Patients attribués 42% 45% 47% 51% 10%Assisté aux consultations 59% 50% 56% 58% 5%Présentation CC par externes 61% 57% 63% 65% 10%Evaluation des observations 51% 55% 59% 62% 15%Livret de stage distribué dans service 27% 30% 34% 34% 11%Tuteur personnel 40% 43% 48% 52% 18%Présentation pour Externes 70% 68% 70% 71% 3%

Oui/Total

But, some improvements…

DeltaObjectifs utiles pour généraliste 91% 91% 92% 92% 2%Taches utiles à la formation 83% 83% 88% 85% 6%Ambiance médicale agréable 86% 88% 91% 92% 8%Referiez un stage dans ce service 77% 78% 82% 81% 7%Recommandez ce service pour ce stage 82% 82% 86% 85% 8%Grande valeur formatrice globale 83% 79% 84% 82% 5%

Tout à d'accord ou d'accord/Total

9.1 un praticien ou 1 CCA nommément désigné 12 0,52

9.2 un tuteur est responsable d'un petit groupe d'externes 6 0,26

9.3 le tuteur surveille l'acquisition des objectifs de stage 14 0,61

9.4 l'externe doit suivre le tuteur dans ses différentes activités 5 0,22 0,40

10.1 Des topos pour les externes sont organisés dans le service 20 0,87

10.2 le service organise des présentations type dossier d'internat 14 0,61

10.3 Des cas cliniques sont discutés 17 0,74 0,74

11.1 Pour la prise en charge des patients en urgence 6 0,26

11.2 Pour une prise en charge globale globale 20 0,87

11.3 conformes aux items de l'internat 3 0,13

11.4 le stage n'est pas trop spécialisé 13 0,57 0,46

12.1 La rédaction d'observation 9 0,39

12.2 L'interprétation des examens complémentaires 10 0,43

12.3 la possibilité de réaliser des actes techniques 11 0,48

12.4 la présentation de patients lors de la visite des senior 5 0,22 0,22

13.1 Bonne entente entre médecins et infirmières dans le service 12 0,52

13.2 Un bon accueil est assuré aux externes à leur arrivée 12 0,52

13.3 L'externe est bien intégré dans l'équipe 16 0,70

13.4 Il existe une responsabilisation de l'externe 7 0,30 0,51

14.1 Car il assure un enrichissement personnel 12 0,52

14.2 Car il permet une bonne formation médicale 17 0,74

14.3 Car le stage trop est tropcourt pour le nombre de choses à apprendre 7 0,30 0,52

15.1 Car il permet la mise en pratique notions théoriques 16 0,70

15.2 Car il fournit des responsabilités aux externes 5 0,22

15.3 Car il permet l'acquisition des objectifs du stage 9 0,39 0,43

16.1 Par l'attribution d'un tuteur 9 0,39

16.2 Par la participation staff du service 8 0,35

16.3 Grâce à la formation aux gestes pratiques 12 0,52

16.4 Car il permet de revoir items de l'internat 5 0,22

16.5 Car de nombreuses connaissances sont acquises pendant la stage 14 0,61 0,42

Question 9 : Un "tuteur" personnel vous a été affecté?

Question 11 : Les objectifs choisis sont utiles à la formation d'un médecin généraliste?

Question 12 : les tâches qui vous sont confiées sont utiles à votre formation?

Question 10 : Des présentations sont organisées pour les stagiaires?

Question 13 : L'ambiance médicale est agréable?

Question 14 : Vous referiez volontiers un stage dans ce service?

Question 15 : Vous recommandez ce service pour ce stage?

Question 16 : Globalement, ce stage a une grande valeur formatrice?

Critical analysis of the question in assessment sheets

Ginsburg S & al. Toward authentic clinical evaluation: pitfalls in the pursuit of competency. Acad Med. 2010 May;85(5):80-6.

Overview

• First step• Assessment of procedure• Changes• And now…

2008 : What’s new?• New evaluation sheet, abolishment of the pre-set

endpoints

• Online assessment of clerkship by students

• Feedback quaterly to pedagogic referent

• Assessments results published on line

• Study assessing individual student motivation

• Information campaign

Overview

• First step• Assessment of procedure• Changes• And now…

Example of a report

Factors for responding to evaluation sheets

Evaluation is useless..

To conclude….

Four commandments of educational assessment

- Choose objectives

- Sheet

- Define Process

- Organize Feedback

Malhotra A & al. Mind the gap: Learners' perspectives on what they learn in communication compared to how they and others behave in the real world. Patient Educ Couns. 2009 Sep;76(3):385-90.

Chun MB. Pitfalls to avoid when introducing a cultural competency training initiative. Med Educ. 2010 Jun;44(6):613-20