Errors in the diagnostic process

• Hierarchy of Qualities in Medicine

• Frequency of diagnostic Errors

• Judgment under Uncertainty: Heuristics and Biases

• The Voytovich Solution

Click to View Presentation

Hierarchy of Qualties in MedicineFrom patient‘s point of view

Diagnostic Quality

Therapeutic Quality

Patient Satisfaction

Hierarchy of Qualties in MedicineMedical point of view

Diagnostic Quality

Therapeutic Quality

Patient Satisfaction

Hierarchy of Qualities in Medicine und cognitive Processes

Diagnostic Quality

Therapeutic Quality

Patient Satisfaction Skills

Rules

Knowledge

Frequency of diagnostic Errors Follow-up Autopsy Study Medizinische Klinik USZ

1972-1982-1992-2002Lancet 2000;355:2027-31

• Random Selection of 100 patients in each year • Autopsy Rate above 90% until 1992, in the year

2002 Reduction to 53%, complete Autopsy • Classification of diagnostic Errors according to

Goldman

Classification of diagnostic errors Goldman et al NEJM 1983:380: 1000-05

• Major diagnostic Errors– Class I: Knowledge of correct Diagnosis would have

led to Survival

– Class II: Knowledge of correct Diagnosis would not have affected Survival (too ill, no Treatment available)

• Minor diagnostic Errors– Class III: Missed Diagnosis but not cause of Death

– Class IV: Occult, clinically not diagnosable Entity of epidemiological Interest eg Gallstones

Major Diagnostic Errors 1972-2002

0

2

4

6

8

10

12

14

16

% C

ases

Class I Class II

1972198219922002

Minor Diagnostic Errors 1972-2002

0

5

10

15

20

25

30

35

40

% C

ases

Class III Class IV

1972198219922002

Class I+II vs. Class III+IV

0

2

4

6

8

10

12

14

16

% C

ases

Class I Class II

1972198219922002

0

5

10

15

20

25

30

35

40

% C

ases

Class III Class IV

1972198219922002

Correct Diagnosis 1972-2002

0

5

10

15

20

25

30

35

40

45

% C

ases

Class V Class VI

1972198219922002

Autopsy Rate and class I Errors over time

Kaveh G et al, JAMA 2003: 289:2849-56

Frequency of class I Errors

Klasse I Autopsie-Fehler rate

• Medizin+ IPS (USZ) 2002 2% 53%

• Med-IPS (Mayo-Clinic) 1998-2000 4% 33%

• Med-IPS (Paris) 1995-98 10.2% 53%

• Med-IPS (Leuven,Belgien) 1996 16% 93%

• 32 Spitäler in USA 1984 13% 30%

• Medizin (Boston, USA) 1984 12% 40%

Arch Int Med 2004:164;389; Mayo Clin Proc 2000:75:562; Ann Thorac Surg 1997:64:380; JAMA1987:258:339; Mayo Clin Proc. 2003;78:947-50. NEJM 1988:318;1249

Autopsy: Gold Standard for clinical Diagnosis?

Diagnostic errors derived from Chart review

Diagnostic errors revealded by Autopsy

Without Autopsy 2/194 (1%)

With Autopsy 3/141 (2%)

Pelletier et al J Gen Intern Med 1989:4;300-03

Autopsy: Gold standard for clinical diagnosis?

Diagnostic errors derived from Chart review

Diagnostic errors revealded by Autopsy

Without Autopsy 2/194 (1%)

With Autopsy 3/141 (2%) 19/141 (13%)

Pelletier et al J Gen Intern Med 1989:4;300-03

• Representativness– Similarity with „typical“ examples stored in

memory

• Availability– Recent expierence, painful memory

• Adjustment and Anchoring– Stick to early hypotheses despite new

information

Judgment under Uncertainty: Heuristics and Biases

Tversky and Kahneman Science 1974:185:1124-31

Fehlermechanismen im diagnostischen Prozess

Hypothesen-Bildung Fehler Mechanismus Diagnost. Schritt Mechanismus Fehler Falsch + Vorzeitige Schluss- Anamnese + Untersuchung Übersehen Falsch - Folgerung Falsch + dito Auslöser dito Falsch - Falsch + dito Einbettung dito Falsch -

Informationsbeschaffung, Verarbeitung und Überprüfung

Fehler Mechanismus Diagnost. Schritt Mechanismus Fehler Falsch + Annahme zu hoch Vortestwahrscheinlichkeit Annahme zu tief Falsch - Falsch + Spezifität zu tief Test (Labor, Röntgen..) Sensitivität zu tief Falsch - Falsch + Falsche Formulierung Interpretation eines Tests Falsche Formulierung Falsch- Falsch + Vorzeitige Schlussf. Kausales Modell Übersehen Falsch - Falsch + Vorzeitige Schlussf. Überprüfung Unvollständige Falsch -

Synthese

Cognitive Mechanisms of diagnostic Errors according to A.E. Voytovich*

• Omission

• Premature Closure

• Inadequate Synthesis

• Wrong Formulations

* J Med Educ 1985:60;302-07

Omission

• Most frequent Error

• Decreases with Experience

Consequences– Delayed or missed Diagnosis

Premature Closure

• Independent of Experience• Correlates with Confidence (ie Overconfidence) in

Relation to the actual Case• Reflects estimated Frequency of the diagnosed

Disease Consequences

– Delayed or missed Diagnosis– Unnecessary Therapies– False Sense of Confidence if Error is not detected

Inadequate Synthesis

• Correlates with Experience

Consequences– Unnecessary Investigations– Delayed Treatment

Cognitive Mechanisms of diagnostic Errors according to A.E. Voytovich*

• Omission

• Premature Closure

• Inadequate Synthesis

• Wrong Formulations

* J Med Educ 1985:60;302-07

Lancet 2000:355;2027-31

Fehlermechanismen im diagnostischen Prozess

Hypothesen-Bildung Fehler Mechanismus Diagnost. Schritt Mechanismus Fehler Falsch + Vorzeitige Schluss- Anamnese + Untersuchung Übersehen Falsch - Folgerung Falsch + dito Auslöser dito Falsch - Falsch + dito Einbettung dito Falsch -

Informationsbeschaffung, Verarbeitung und Überprüfung

Fehler Mechanismus Diagnost. Schritt Mechanismus Fehler Falsch + Annahme zu hoch Vortestwahrscheinlichkeit Annahme zu tief Falsch - Falsch + Spezifität zu tief Test (Labor, Röntgen..) Sensitivität zu tief Falsch - Falsch + Falsche Formulierung Interpretation eines Tests Falsche Formulierung Falsch- Falsch + Vorzeitige Schlussf. Kausales Modell Übersehen Falsch - Falsch + Vorzeitige Schlussf. Überprüfung Unvollständige Falsch -

Synthese

Major Diagnostic Errors 1972-2002

0

2

4

6

8

10

12

14

16

% C

ases

Class I Class II

1972198219922002

Sensitivity and Specificity

• 1-Sensitivity: Rate of missed Diagnoses (false negative rate)

• 1-Specificity: Rate of wrong Diagnoses (false positive rate)

Cardiovascular Diseases Sensitivity and Specificity

69%

85%82% 82%

86%

97%

Sensitivität Spezifität50

60

70

80

90

100

1972

1982

1992

p = 0.061 p = 0.034

Lancet 2000:355;2027-31

Fehlermechanismen im diagnostischen Prozess

Hypothesen-Bildung Fehler Mechanismus Diagnost. Schritt Mechanismus Fehler Falsch + Vorzeitige Schluss- Anamnese + Untersuchung Übersehen Falsch - Folgerung Falsch + dito Auslöser dito Falsch - Falsch + dito Einbettung dito Falsch -

Informationsbeschaffung, Verarbeitung und Überprüfung

Fehler Mechanismus Diagnost. Schritt Mechanismus Fehler Falsch + Annahme zu hoch Vortestwahrscheinlichkeit Annahme zu tief Falsch - Falsch + Spezifität zu tief Test (Labor, Röntgen..) Sensitivität zu tief Falsch - Falsch + Falsche Formulierung Interpretation eines Tests Falsche Formulierung Falsch- Falsch + Vorzeitige Schlussf. Kausales Modell Übersehen Falsch - Falsch + Vorzeitige Schlussf. Überprüfung Unvollständige Falsch -

Synthese

Infectious Diseases Sensitivity and Specificity

25%

100%

67%

100%

86%

99%

Sensitivität Spezifität0

20

40

60

80

100

1972

1982

1992

nsp = 0.036

Neoplastic Diseases Sensitivity and Specificity

89%

92%

88%

97%96% 96%

Sensitivität Spezifität70

75

80

85

90

95

100

1972

1982

1992

nsns

Difficulties in learning from Experience

• Lack of Search for and use of disconforming Evidence

• Lack of outcome Information

• Use of unaided Memory for coding, storing and retrieving outcome Information

Summary and Proposal

• Major diagnostic Errors occur despite an ever increasing repertory of diagnostic Procedures

• 85% of serious diagnostic Errors can only be detected by Autopsy

• Analysis of error mechanism can be helpful in the Discussion and Prevention of diagnostic Errors

• Minimum Autopsy rate of 30% along with a yearly Report on diagnostic Errors should be mandatory for Accreditation of medical Clinics