Diagnostik und Evaluation - Uni Trier: Willkommen · STEPP-Items STEPT-Items 01 K Im heutigen...

Diagnostik und EvaluationDiagnostik und Evaluation1. Wozu Evaluieren?

1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung

2. Formen der Evaluation1. Begriffsklärung2. Rahmenkonzept der Evaluation3. Nachweis von Wirkung und Wirksamkeit

3. Methodologische Grundlagen der Prozessdiagnostik4. Instrumente der Evaluation

1. GAS2. STEPP/STEPT3. VEV

5. Untersuchungsdesigns zur Evaluation

Diagnostik und EvaluationDiagnostik und EvaluationLiteraturBastine, R. (1998, 3. Auflage). Klinische Psychologie, Bd. 1. Stuttgart: Kohlhammer.Krampen, G. (1998). Diagnostik nach der ICD-10. Report Psychologie, 23, 44-63.Krampen, G. (2002). Stundenbogen für die Allgemeineund Differentielle Einzel-Psychotherapie (STEP).Handanweisung und Verbrauchsmaterialien.Göttingen: Hogrefe.Krampen, G. & Hank, P. (2006). Prozessdiagnostik und kontrollierte Praxis. In B. Röhrle, F. Caspar & P. Schlottke (Hrsg.), Lehrbuch der klinisch-psychologischen Diagnostik. Stuttgart: Kohlhammer (Im Druck; Manuskript im SA Krampen).Patry, J.-L. & Perrez, M. (2000). Theorie-Praxis-Probleme und die Evaluation von Interventionsprogrammen. In W. Hager, J.-L. Patryund H. Brezing (Hrsg.). Handbuch Evaluation psychologischer Interventionsmaßnahmen (S. 19-38). Bern: Huber.Petermann F. (1982). Einzelfalldiagnose und klinische Praxis. Stuttgart: Kohlhammer.







(aus Krampen, 2002)

Schritte und Elemente des diagnostischen ProzessesSchritte und Elemente des diagnostischen Prozesses

nach Krampen (1995, 1998, 2002)

Prozessdiagnostik: Formative Indikation und EvaluationProzessdiagnostik: Formative Indikation und Evaluation



















Wissenschaftliche Fundierung der Praxis– Nachweis der beabsichtigten Wirksamkeit– Erklärung der Wirkmechanismen

Kontrollierte Praxis (Petermann, 1982)Generierung von HypothesenGenerierung von HypothesenÜÜberprberprüüfung von Hypothesenfung von HypothesenAufstellen von Aufstellen von AnwendungsregelnAnwendungsregeln und und EffektivitEffektivitäätsbehauptungentsbehauptungenVergleichende Vergleichende ÜÜberprberprüüfung der fung der AnwendungsregelnAnwendungsregelnBeurteilung der Beurteilung der AnwendungsregelnAnwendungsregeln in der in der PraxisPraxis

NomologischeNomologischeTheorieTheorie

TechnologischeTechnologischeTheorieTheorie

NomologischeNomologischeAussageAussage

BasissatzBasissatz BasissatzBasissatz

TechnologischeTechnologischeAussage (Regel)Aussage (Regel)

PraktischePraktischeHandlungHandlung

GG--ErklErkläärungrung

EE--ErklErkläärungrung

FundierungFundierung

EvaluationEvaluationPraktischePraktischeUmsetzungUmsetzung

AA

BB--AA

BungeBunge--AlgorithmusAlgorithmus

Diagnostik und EvaluationDiagnostik und Evaluation

1. Wozu Evaluieren?1. Wissenschaftliche Fundierung der Praxis2. Qualitätssicherung











Qualitätssicherung– Globalziel 31 der WHO– SGB V, Psychotherapierichtlinien

Sicherstellung eines hohen Sicherstellung eines hohen Leistungsstandards in der Leistungsstandards in der ambulanten und stationambulanten und stationäären ren VersorgungVersorgung



2. Formen der Evaluation1. Begriffsklärung2. Nachweis von Wirkung und Wirksamkeit3. Rahmenkonzept der Evaluation


















2. Formen der Evaluation1. Begriffsklärung

1. Evaluation und Evaluationsforschung2. Programmwirksamkeit und Programmwirkung3. Formative und summative Evaluation

2. Rahmenkonzept der Evaluation3. Nachweis von Wirkung und Wirksamkeit


...5. Untersuchungsdesigns zur Evaluation






















A Evaluation der ProgrammkonzeptionAntizipatorische oder prospektive Evaluation

B Formative EvaluationFortlaufende Evaluation, ggf. Modifikationder Programmkonzeption

C Eval. der ProgrammdurchführungImplementations- und BegleitforschungProzessevaluation

D Evaluation der ProgrammwirksamkeitProzessevaluation, Ergebnis- oder Erfolgsevaluation

E Evaluation der ProgrammeffizienzKosten-Nutzen und Kosten-Effektivitäts-Analysen

Vor derErprobung

Während derDurchführung

Während derErprobung

Nach derDurchführung








Wirksamkeit Wirkmodell

Kompetenz(Disposition)

Basissatz

Wirkungs-Komponenten

undWirkungsweisen

Wirkungs-mechanismen

undWirkprozesse

Warum hat P Wirkung?Warum hat P Wirkung?

wodurchwodurchProgrammProgramm PersonenPersonen

Hat P Wirkung? Wie groHat P Wirkung? Wie großß??

Keine Programm bezogene Theorie Programm bezogene Theorie








Methodische Probleme der ProzessdiagnostikReliabilität der DifferenzwerteKorrelation von Anfangs- und DifferenzwertValiditätsproblem der Veränderungsmessung

Verallgemeinerung der TestmodelleDreidimensionale DatenstrukturLernen während der TestbearbeitungBestimmung der Ursachen einer Veränderung

Formen der VeränderungsmessungDirekte vs. Indirekte Veränderungsmessung










2. Formen der Evaluation1. Begriffsklärung2. Nachweis von Wirkung und Wirksamkeit










2002

STEPPSTEPP--ItemsItems STEPTSTEPT--ItemsItems01 K Im heutigen Gespräch erschienen mit einige

meiner Schwierigkeiten in einem neuen Licht.02 P Heute habe ich praktische Hinweise zur

Bewältigung meiner Schwierigkeiten erhalten.03 B Ich konnte den Aussagen des/der Th. gut

folgen.04 K In der heutigen Sitzung habe ich mehr Einsicht

in meine Person und Probleme gewonnen.05 P Ich habe heute neue Verhaltensmöglichkeiten

kennen gelernt.06 B Ich habe heute von dem/der Th. Hilfe und

Unterstützung bekommen.07 K Heute ist mir klarer geworden, was ich

eigentlich will.08 P Das, was ich heute erfahren habe, wird mir in

Zukunft eine Hilfe sein, mit meinen Schwierigkeiten besser umgehen zu können.

09 KHeute gelang es mir, mein Problem differenzierter zu sehen.

10 B Ich fühlte mich heute von dem/der Th. verstanden.

11 K Ich konnte heute meine Probleme von einer neuen Warte sehen.

12 PWas ich heute gelernt habe, wird mir auch außerhalb der Sitzung helfen, mich anders zu verhalten.

Der/Die P. hat heute einige seiner/ihrer Schwierigkeiten aus einer anderen Perspektive sehen können.Heute habe ich dem/der P. praktische Anleitungen zur Problembewältigung gegeben.Der/Die P. konnte meinen Aussagen gut folgen.In der heutigen Sitzung gelang es dem/der P. mehr Einsicht in seine/ihre Probleme zu gewinnen.Der/Die P. hat heute neue Verhaltensmöglichkeiten kennen gelernt.Der/Die P. nahm heute meine Hilfe und Unterstützung an.Dem/Der P. ist klarer geworden, was er/sie eigentlichwill.Das, was der/die P. heute erfahren hat, kann er/sie auch zukünftig zur Problembewältigung einsetzen.

Der/Die P. hat sein/ihr Problem differenzierter sehen können.Der/Die P. fühlte sich heute von mir verstanden.

Der/Die P. hat heute eine vertiefte Einsicht in seine/ihre Probleme bekommen.Die heute vermittelten Inhalte werden dem/der P. auch außerhalb der Sitzung helfen, sich anders zu verhalten.

80

70

60

50

40

30

20

T-Wert

STEP-Verlaufsauswertung Code: _____________________ Blatt-Nr.: _____

Sitzung-Nr. ____

Sitzung-Nr. ____

Sitzung-Nr. ____

Sitzung-Nr. ____

Sitzung-Nr. ____

Sitzung-Nr. ____

Sitzung-Nr. ____

Sitzung-Nr. ____

Sitzung-Nr. ____

STEPP-K:STEPP-P:STEPP-B:

Abbildung 6Beispiel für die STEPP-Verlaufsauswertung der ersten Sitzungen einer ambulanbei einem Patienten mit einer generalisierten Angststörung (Studie IV)

1 2 3 4 5 6 7 8 9

1

STEPSTEP--KonstruktionKonstruktionKonzeptorientierte Itemformulierung – Klärungsperspektive: 4 Items– Problembewältigungsperspektive: 4 Items– Beziehungsperspektive – Problemaktualisierung: 3 Items– Beziehungsperspektive – Ressourcenaktivierung: 3 Items

Vorstudie– N = 170 ambulante Pat. und ihre 25 Th.

Faktorenanalysen– Scree-Tests führten zu 3-faktoriellen Lösungen mit reinen

Ladungen für die Faktoren:Klärungsperspektive: 5 ItemsProblembewältigungsperspektive: 4 ItemsBeziehungsperspektive: 3 Items

Interne Konsistenz der Subskalen– Cronbach‘s alpha: .68 < rtt < .87

Profilreliabilität– rtt/prof = .54 (STEPP) und .67 (STEPT)

0

1

2

3

4

5

6

1 2 3 4 5 6 7 8 9 10

Faktor

Data #1

Therapeuten/innen-Bogen

Patienten/innen-Bogen

Eigenwert

Faktor

Abbildung 7Eigenwertverläufe der Faktoren für die Stundenbogen für Patienten/innenund für Therapeuten/innen in Vorstudie I (N = 170)

0

1

2

3

4

5

1 2 3 4 5 6 7 8 9 10

Faktor

Therapeuten/innen-Bogen

Patienten/innen-Bogen

Faktor

Eigenwert

Abbildung 8Eigenwertverläufe der Faktoren für die Stundenbogen für Patienten/innen undfür Therapeuten/innen (jeweils N = 254 aus den Studien II, III, VI, XIII-X)

Faktorenanalytische Replikation (N = 254)Faktorenanalytische Replikation (N = 254)

STEPP Fakt. I Fakt. II Fakt. III01 K .82 .15 .1502 P .19 .67 .0103 B .13 .16 .7704 K .80 .17 .1205 P .11 .71 .0206 B .21 .03 .7407 K .02 .45 .6308 P .22 .68 .1509 K .81 .16 .1210 B .05 .40 .6311 K .83 .22 .0612 P .17 .70 .19-----------------------------------------------eij 4.21 1.64 1.46rel. Var. 35.1% 13.6% 12.2%

STEPT Fakt. I Fakt. II Fakt. III.80 .08 .17.30 .71 .08.15 .04 .79.65 .28 .23.14 .78 .24.04 .13 .85.47 .27 .36.28 .71 .01.83 .16 .03.30 .28 .52.70 .33 .09.11 .81 .18

-----------------------------------------------4.73 1.34 1.2939.4% 11.2% 10.7%

Varianzaufklärung: 60.9% Varianzaufklärung: 61.3%~

AusgewAusgewäählte Befunde:hlte Befunde:(1) Variationsunterschiede im Erleben der Wirkfaktoren (1) Variationsunterschiede im Erleben der Wirkfaktoren

zwischen Patienten/innen und Therapeuten/innenzwischen Patienten/innen und Therapeuten/innen

Korrelationen innerhalb und zwischen den STEPP- und STEPT-Skalen (N = 592; MMMT-Analyse)------------------------------------------------------------------------------------------

STEPP (Q-Daten) STEPT (L´-Daten)-K -P -B -K -P -B

------------------------------------------------------------------------------------------STEPP-K (Q) 1.00 .61 .40 .41 .24 .30STEPP-P (Q) 1.00 .49 .31 .52 .19STEPP-B (Q) 1.00 .17 .29 .51

STEPT-K (L´) 1.00 .40 .48STEPT-P (L´) 1.00 .43STEPT-B (L´) 1.00------------------------------------------------------------------------------------------Alle Korrelationskoeffizienten: **p < .01

Konvergent: .48Diskriminant: .25Differenz: .23**

rtt/prof = .66

rtt/prof = .71r2 = .23

AusgewAusgewäählte Befunde:hlte Befunde:(2) Lokationsunterschiede im Erleben der Wirkfaktoren (2) Lokationsunterschiede im Erleben der Wirkfaktoren

zwischen Patienten/innen und Therapeuten/innenzwischen Patienten/innen und Therapeuten/innen

Mittelwertsvergleiche der STEPP- und STEPT-Skalenwerte für 11 Studien

STEPP- versus STEPT-Skala (t-Tests)Studie N -K -P -B

1. 210 T=P TP T<P3. 30 TP T=P6. 322 T>P TP7. 125 TP T=P8. 85 T>P T=P T=P9. 144 T>P T=P T=P10. 432 TP T=P11. 112 T>P T>P T P: 10 xT < P: 13 x

T > P: 4x 5x 1xT < P: 4x 4x 5xT = P: 3x 2x 5x

AusgewAusgewäählte Befunde:hlte Befunde:(3) Erleben und Wahrnehmung der Wirkfaktoren in (3) Erleben und Wahrnehmung der Wirkfaktoren in unterschiedlichen Therapiesettings und unterschiedlichen Therapiesettings und ––phasenphasen

ambulante vs stationäre Behandlungen: 2.86(6/986)

therap. Schwerpunktverfahren: 2.06+

(12/938)Berufserfahrung der Therapeuten: 4.12* (6/146)Anfangs- vs Endphase amb. Behandlung: 2.28

(6/642)Anfangs- vs Mittelphase stat. Behandl.: 0.79

(6/620)unterschiedliche Primärdiagnosen: 1.84 (12/377)

Therapiesetting MANOVA-F (df1/df2)

AusgewAusgewäählte Befunde:hlte Befunde:(4) Korrelate der STEPP(4) Korrelate der STEPP--SkalenSkalen

Soz. Erwünschtheit (MCSD) .10 .15 .19

Therapiemotivation (FMP-1) .28** .16 .32**Depressivität (BDI) -.12 .09 .32**Symptombelastung (AT-SYM) .18 .21 .45**

Private objektive SA (SAM) .55** .27** .21*Selbstwirksamkeit (FKK-SKI) .45** .34** .23*

Pat.-Zufriedenheit mit Sitzung .16** .21** .71**Perz. Pat.-Zuf. durch Therapeut .24** .31** .69**

Variable STEPP-K STEPP-P STEPP-B

AusgewAusgewäählte Befunde:hlte Befunde:(5) Kurzfristiger Vorhersagewert der STEP(5) Kurzfristiger Vorhersagewert der STEP--Skalen ...Skalen ...

... für die Zufriedenheit mit der Therapiesitzung (N = 432)------------------------------------------------------------------------------------------

---------Pat.-Zufriedenheit perzipierte Pat.-

ZufriedenheitPrädiktor rcrit beta rcrit beta------------------------------------------------------------------------------------------

---------STEPP-K .16** .14STEPP-P .21** .11STEPP-B .71** .49**STEPT-K .24** .32STEPT-P .31** .41STEPT-B .69** .91**------------------------------------------------------------------------------------------

---------R (R2) .78** (.61) .76** (.58)

AusgewAusgewäählte Befunde:hlte Befunde:(4) Korrelate der STEPP(4) Korrelate der STEPP--SkalenSkalen

Soz. Erwünschtheit (MCSD) .10 .15 .19

Therapiemotivation (FMP-1) .28** .16 .32**Depressivität (BDI) -.12 .09 .32**Symptombelastung (AT-SYM) .18 .21 .45**

Private objektive SA (SAM) .55** .27** .21*Selbstwirksamkeit (FKK-SKI) .45** .34** .23*

Pat.-Zufriedenheit mit Sitzung .16** .21** .71**Perz. Pat.-Zuf. durch Therapeut .24** .31** .69**

Variable STEPP-K STEPP-P STEPP-B

AusgewAusgewäählte Befunde:hlte Befunde:(5) Kurzfristiger Vorhersagewert der STEP(5) Kurzfristiger Vorhersagewert der STEP--Skalen ...Skalen ...

... für die Zufriedenheit mit der Therapiesitzung (N = 432)------------------------------------------------------------------------------------------

---------Pat.-Zufriedenheit perzipierte Pat.-

ZufriedenheitPrädiktor rcrit beta rcrit beta------------------------------------------------------------------------------------------

---------STEPP-K .16** .14STEPP-P .21** .11STEPP-B .71** .49**STEPT-K .24** .32STEPT-P .31** .41STEPT-B .69** .91**------------------------------------------------------------------------------------------

---------R (R2) .78** (.61) .76** (.58)

AusgewAusgewäählte Befunde:hlte Befunde:(6) Langfristiger Vorhersagewert der STEP(6) Langfristiger Vorhersagewert der STEP--Skalen ...Skalen ...

... für den Therapieerfolg (3-Jahres-Katamnese bei 55 ambulanten Pat. mit depressiven Störungen)---------------------------------------------------------------------------------------------------Prädiktor BDI-Wert-Reduktion BDI-Wert-Reduktion(letzte Sitzung) rcrit beta rcrit beta---------------------------------------------------------------------------------------------------STEPP-K .64** .73**STEPP-P .45** .49STEPP-B .41** .19STEPT-K .42** .31STEPT-P .57** .83**STEPT-B .69** .64---------------------------------------------------------------------------------------------------R (R2) .75** (.56) .73** (.53)

Fazit zur STEPFazit zur STEP--EmpirieEmpirie

STEP sind ökonomisch und mit hoher Akzeptanz einsetzbare Verfahren für die Prozessdiagnostik in der Allgemeinen und auch in der schwerpunkt-orientierten Psychotherapie


STEP ergänzen sinnvoll die Therapie-Dokumentation und unterstützen die Dokumentationspflicht


Psychometrisches zu den STEP– gute Skalen- und Profil-Reliabilitäten– STEP-Struktur ist a posteriori faktorenanalytisch replizierbar– STEPP und STEPT ergänzen sich sinnvoll

gemeinsame Variation: maximal 27 %signifikante Lokationsunterschiede

– STEP erwiesen sich bislang als unabhängig von ...Therapie-Setting (ambulant versus stationär)BehandlungsphaseStörungsbild der Patienten

– STEP variieren dagegen mit ...der Berufserfahrung von Therapeutenin der Tendenz mit dem therap. Schwerpunktverfahren

– STEP haben prognostische Validität für ...Zufriedenheit mit der Sitzunglängerfristigen Therapieerfolg bei depressiven Patienten







Veränderungsfragebogen des Erlebens und Verhaltens

AutorenAnwendungs-bereich

Zielke, M & Kopf-Mehnert, C. (1978).Psychotherapiepatienten

Bearbeitungs-zeit

10-15 Minuten

Testintention Fragebogen zur quantitativen Einschätzungder subjektiv wahrgenommenen Veränderungen im Erleben und Verhalten. Direkte Erfassung der eingeschätzten Veränderung


Entwicklung Zusammenstellung von Aussagen, von Psychotherapiepatienten vor, während und nach therapeutischen Sitzungen im Hinblick auf Änderungen im Erleben und Verhalten.Außerdem wurden Aussagen mit verschiedenen Aspekten der Selbstwahrnehmung aufgegriffen und in Komparativform gebracht, um Änderungen gegenüber dem vorhergehenden Zeitpunkt auszudrücken.


Aufbau undAuswertung

42 Items, siebenfach gestuft (-3 bis +3)

VEV-R-2001 enthält bipolar formulierte Items

Items bilden einen bipolarer Faktor mit den Polen „Entspannung, Gelassenheit und Optimismus“ vs. Spannung, Unsicherheit und Pessimismus“

Kodierung der Antworten positiv formulierte Inhalte von +7 bis 1, für negativ formulierte Inhalte ist die Kodierung umgekehrt

42 < Gesamtwert < 294Grafische Aufbereitung des Ergebnisses


Gütekriterien Objektivität: gegebenReliabilität

Split Half Relibilität: .97 < r < .99Innere Konsistenz: .96 < r < .99Stabilität: r = .61

Validitätkonvergente Validität: .29 < r < .61diskriminante Validität: -.11 < r < -.18

Keine Zuordnung von Rohwerten zu Standardwerten

Normierung

Gegenüberstellung von Einzelfall- und Gruppenanalyse

Kleine StichprobengrößeViele Messwiederholungen

Messfehlerkontrolle über die Zeit möglich

Stichprobeneffekte und Generalisierung der Ergebnisse durch ReplikationFeldforschungAufwand für Datenerhebung: viele Erhebungszeitpunkte

Große StichprobeWenige (2-3) MesswiederholungenMessfehlerkontrolle über längere Zeitabschnitte nicht möglichStichprobeneffekte und Generalisierung der Ergebnisse durch KreuzvalidierungLaborforschungAufwand für Datenerhebung: viele Personen

Gegenüberstellung von Einzelfall- und Gruppenanalyse

Kleine StichprobengrößeViele Messwiederholungen

Messfehlerkontrolle über die Zeit möglich

Stichprobeneffekte und Generalisierung der Ergebnisse durch ReplikationFeldforschungAufwand für Datenerhebung: viele Erhebungszeitpunkte

Große StichprobeWenige (2-3) MesswiederholungenMessfehlerkontrolle über längere Zeitabschnitte nicht möglichStichprobeneffekte und Generalisierung der Ergebnisse durch KreuzvalidierungLaborforschungAufwand für Datenerhebung: viele Personen

1. Singuläre Hypothesen2. Pseudosinguläre Hypothesen3. Unbestimmte Existenzhypothesen4. Bestimmte (lokalisierende) Existenzhypothesen5. Quasi-universelle Hypothesen6. Beschränkte universelle Hypothesen7. Unbeschränkte universelle Hypothesen8. Aggregat-Hypothesen

Hypothesen und Hypothesengenerierung

Anzahl der verschiedenen Phasen im Untersuchungszeitraum,Sequenz der Wiederholungen dieser Phasen,Anzahl der Messungen an verschiedenen Versuchspersonen zum gleichen Zeitpunkt,der Anzahl der pro Phase zu erfassenden Variablen,Auswahl der Bezugsgrößen undBei Interventionsstudien: Veränderungen der Anforderungen in der Zeit

Einzelfall-Untersuchungsdesign

Interaktionsdesign

000 I1 0 I1 0 I1 0 I2 0 I2 0 I2 0 I1 I2 0 I1 I2 0 I1 I2 0

Phase 1 Phase 2 Phase 3 Phase 4

Phase 1 Datenregistrierung ohne InterventionPhase 2 Datenregistrierung und Intervention 1Phase 3 Datenregistrierung und Intervention 2Phase 4 Datenregistrierung und

Intervention 1 und 2 kombiniert

Validität von Einzelfalldesigns

Zwischenzeitliche GeschehenReaktive InterventionInterferenz multipler InterventionenInstrumentationInstabilitätExperimentelle EinbußenInteraktion von Selektion und anderen Störfaktoren

Date post:	16-Oct-2019
Category:	Documents
Upload:	others
View:	4 times
Download:	0 times

Diagnostik und Evaluation - Uni Trier: Willkommen · STEPP-Items STEPT-Items 01 K Im heutigen...

Documents