Estadística en Ensayos Clínicos - Ferran Torresferran.torres.name/edu/canruti/download/Estadistica...

1

MarMar--20052005 [email protected]@uab.es 11

EstadEstadíística en stica en Ensayos ClEnsayos Clíínicosnicos


BiostatisticalBiostatistical//MethodologicalMethodological guidancesguidanceshttp://http://www.emea.eu.intwww.emea.eu.int

CPMP/EWP/482/99:CPMP/EWP/482/99: SuperioritySuperiority, Non, Non--inferiorityinferiority andandEquivalenceEquivalenceCPMP/EWP/2863/99:CPMP/EWP/2863/99: AdjustmentAdjustment forfor baselinebaselineCovariatesCovariatesCPMP/EWP/2330/99:CPMP/EWP/2330/99: ValidityValidity andand InterpretationInterpretation ofofPooledPooled AnalysesAnalyses, , andand oneone PivotalPivotal studystudyCPMP/EWP/2158/99:CPMP/EWP/2158/99: ChoiceChoice ofof DeltaDeltaCPMP/EWP/1776/99:CPMP/EWP/1776/99: MissingMissing Data Data CPMP/EWP/908/99:CPMP/EWP/908/99: AdjustmentAdjustment forfor MultiplicityMultiplicity andandRelatedRelated TopicsTopics

2


CONSORT CONSORT StatementStatement

• CONSORT Statement for Reporting RandomizedTrials:http://www.consort-statement.org

• Lancet 2001; 357: 1191-4

• Ann Intern Med 2001; 143: 663-94

• Journal of the American Medical Association 2001;285:1987-1991• BMC Medical Research Methodology, 2001;1:2


MultiplicidadMultiplicidadNoNo--inferioridadinferioridadMissing DataMissing Data

3


CPMP/EWP/908/99: CPMP/EWP/908/99: OnOn MultiplicityMultiplicity IssuesIssues in in

ClinicalClinical TrialsTrials


MultiplicidadMultiplicidad

La utilizaciLa utilizacióón repetida n repetida

de un criterio de deciside un criterio de decisióón n probabilprobabilíísticostico, , supone msupone múúltiples oportunidades ltiples oportunidades

de adoptar decisiones errde adoptar decisiones erróóneas.neas.

4


MultiplicidadMultiplicidadK hipK hipóótesis independientes: Htesis independientes: H01 01 , H, H02 02 , ... , H, ... , H0K0KS resultados significativos ( p<S resultados significativos ( p<α α ) )

PrPr (S (S ≥≥ 1 | 1 | HH01 01 ∩∩ HH02 02 ∩∩ ... ... ∩∩ HH0K0K = H= H0.0.) ) = 1 = 1 -- Pr (S=0|HPr (S=0|H0.0.))= 1= 1-- (1 (1 -- αα))KK

K Pr(S>=1|Ho.) K Pr(S>=1|Ho.)1 0.0500 10 0.40132 0.0975 15 0.53673 0.1426 20 0.64154 0.1855 25 0.72265 0.2262 30 0.7854


Multiplicidad en ECMultiplicidad en ECk α g lo b a l k α g lo b a l

1 0 .0 5 0 0 1 0 0 .4 0 1 32 0 .0 9 7 5 2 0 0 .6 4 1 53 0 .1 4 2 6 4 0 0 .8 7 1 54 0 .1 8 5 5 5 0 0 .9 2 3 15 0 .2 2 6 2 6 0 0 .9 5 3 96 0 .2 6 4 9 7 0 0 .9 7 2 47 0 .3 0 1 7 8 0 0 .9 8 3 58 0 .3 3 6 6 9 0 0 .9 9 0 19 0 .3 6 9 8 1 0 0 0 .9 9 4 1

c a s o A c a s o B c a s o Cv a r ia b le s 2 5 5t ie m p o s 2 4 4s u b g r u p o s 2 3 3c o m p a r a c io n e s 1 1 3

to ta l 8 6 0 1 8 0

5


Ley de Ley de MurphyMurphy de la de la InvestigaciInvestigacióónn

Una cantidad de investigaciUna cantidad de investigacióón suficienten suficiente

PermitirPermitiráá probar su teorprobar su teorííaa


Fuentes de Multiplicidad en ECFuentes de Multiplicidad en ECMMúúltiples criterios de evaluaciltiples criterios de evaluacióónn

MMúúltiples tiempos de observaciltiples tiempos de observacióón (medidas repetidas)n (medidas repetidas)

MMúúltiples anltiples anáálisis (intermedios, secuenciales)lisis (intermedios, secuenciales)

MMúúltiples comparaciones:ltiples comparaciones:–– disediseñños con mos con máás de dos tratamientos s de dos tratamientos –– subgrupos subgrupos

6


AlgunosAlgunos ejemplosejemplos


MultiplicityMultiplicityCautionary ExamplesCautionary Examples

ref: Basic ref: Basic ClinClin Med 1981, Med 1981, 1515: 445: 445–– doubledouble--blind controlled clinical trial blind controlled clinical trial

to treat rheumatoid arthritis to treat rheumatoid arthritis –– several endseveral end--points repeated at various points repeated at various

timepointstimepoints and various subdivisions and various subdivisions –– 850 pairwise comparisons were made 850 pairwise comparisons were made

tt--tests and Fishertests and Fisher’’s exact test s exact test –– 48 of these gave p48 of these gave p--values < 0.05 values < 0.05 –– But expect But expect 5% of 505% of 50

== 850*5/100850*5/100 == 42.5 42.5 so finding so finding 4848 is not very impressive is not very impressive

7


MultiplicityMultiplicityBonferroniBonferroni correctioncorrection–– k tests, want overall level to be k tests, want overall level to be ααTake nominal level Take nominal level on each test as on each test as αα/k/kExample:Example:–– 5 separate tests5 separate tests–– Overall 5% level of significance wantedOverall 5% level of significance wanted–– Declare a result if any test Declare a result if any test

nominally significant at the nominally significant at the 5%/5=1% significance level5%/5=1% significance level


MultiplicityMultiplicityExample:Example:–– 12 tests have been performed 12 tests have been performed –– smallest psmallest p--value is 0.019value is 0.019–– What is the overall level of significance? What is the overall level of significance? –– BonferroniBonferroni method says overall levelmethod says overall level

is 12is 12××0.019 = 0.019 = 0.2280.228

8


MultiplicityMultiplicity

BonferroniBonferroni method typically method typically very conservativevery conservative–– i.e. less likely to be able to declare a real i.e. less likely to be able to declare a real

difference exists even if there is onedifference exists even if there is one–– But is But is ‘‘safesafe’’

i.e. you preserve your scientific reputation i.e. you preserve your scientific reputation by avoiding making mistakes but by avoiding making mistakes but at expense of failing to discover at expense of failing to discover something scientifically interesting something scientifically interesting


Handling Multiplicity in VariablesHandling Multiplicity in Variables

Scenario 1:Scenario 1: One Primary VariableOne Primary Variable–– Identify one primary variable Identify one primary variable ---- other other

variables are secondaryvariables are secondary–– Trial is positive if and only if primary Trial is positive if and only if primary

variable shows significant (p variable shows significant (p 0.05), 0.05), positive resultspositive results

–– Calculate sample size relative to primary Calculate sample size relative to primary variablevariable

9


Handling Multiplicity in VariablesHandling Multiplicity in VariablesScenario 2Scenario 2 Divide Type I ErrorDivide Type I Error–– Identify two (or more) coIdentify two (or more) co--primary variablesprimary variables–– Divide the 0.05 experimentDivide the 0.05 experiment--wise Type I error over wise Type I error over

these cothese co--primary variables, e.g., 0.04 for the 1st, primary variables, e.g., 0.04 for the 1st, and 0.01 for the 2nd coand 0.01 for the 2nd co--primary variableprimary variable

–– Trial is positive if at least one of the coTrial is positive if at least one of the co--primary primary variables shows significant, positive resultsvariables shows significant, positive results

–– Calculate the sample size separately for both coCalculate the sample size separately for both co--primary variables, using the specific comparisonprimary variables, using the specific comparison--wise Type I error, and take the largest of both.wise Type I error, and take the largest of both.



Scenario 3 Scenario 3 Sequentially Sequentially RejectiveRejectiveProcedureProcedure–– Identify n coIdentify n co--primary variables, e.g., n = 3primary variables, e.g., n = 3–– Order obtained pOrder obtained p--values from large to small. values from large to small.

Interpret the variable with the highest pInterpret the variable with the highest p--value at value at the 0.05 level; if significant, then interpret the the 0.05 level; if significant, then interpret the variable with the 2nd highest pvariable with the 2nd highest p--value at the value at the 0.05/2 level; if positive, then interpret the 0.05/2 level; if positive, then interpret the variable with the smallest pvariable with the smallest p--value at the 0.05/3 value at the 0.05/3 level. Test procedure stops when a test is not level. Test procedure stops when a test is not significant.significant.

10


Handling Multiplicity in VariablesHandling Multiplicity in VariablesScenario 3 (continued)Scenario 3 (continued)–– Trial is positive if first coTrial is positive if first co--primary variable primary variable

shows significant, positive resultshows significant, positive result–– Calculate the sample size separately for Calculate the sample size separately for

each coeach co--primary variable, using a 0.05/n primary variable, using a 0.05/n Type I errorType I error



Scenario 4Scenario 4 HierarchyHierarchy–– PrespecifyPrespecify hierarchy among n cohierarchy among n co--primary variables,primary variables,–– Interpret 1st variable at 0.05 level; if significant, Interpret 1st variable at 0.05 level; if significant,

then interpret 2nd variable at 0.05 level; if positive, then interpret 2nd variable at 0.05 level; if positive, then interpret 3rd variable at 0.05 level. Test then interpret 3rd variable at 0.05 level. Test procedure stops when a test is not significant.procedure stops when a test is not significant.

–– Trial is positive if first coTrial is positive if first co--primary variable shows primary variable shows significant, positive resultsignificant, positive result

–– Calculate the sample size separately for each coCalculate the sample size separately for each co--primary variable, using a 0.05 Type I errorprimary variable, using a 0.05 Type I error

11


Torneo Roland Garros 19991ª Ronda

Carlos Moyá vs Markus Hipfl

Moyá Hipfl

Juegos Totales Ganados 22 24Puntos Totales Ganados 147 1461er Servicio 62% 69%Aces 5 3Doble Faltas 4 5% Ganadores con el 1er Servicio 63 de 95 = 66% 61 de 96 = 64%% Ganadores con el 2º Servicio 25 de 58 = 43% 20 de 44 = 45%Ganadores (incluyendo el Servicio) 30 56Errores No Forzados 62 75Puntos de Break Ganados 6 of 21 = 29% 6 of 27 = 22%Aproximaciones a la red 48 of 71 = 68% 29 of 41 = 71%Velocidad del Servicio más Rápido 200 KPH 193 KPHPromedio Velocidad 1er Servicio 157 KPH 141 KPHPromedio Velocidad 2º Servicio 132 KPH 126 KPH

Set 1 2 3 4 5Carlos Moyá 3 1 6 6 6Markus Hipfl 6 6 4 4 4


JustificaciJustificacióón Ann Anáálisis lisis MultivarianteMultivariante

MultiplicidadMultiplicidadRelaciones entre variablesRelaciones entre variablesEstudios de subgruposEstudios de subgruposInteracciInteraccióónnFactores de confusiFactores de confusióónnMultiplesMultiples variables variables MultiplesMultiples comparaciones comparaciones

12


InteracciInteraccióónn

Presencia de un efecto modificador de Presencia de un efecto modificador de la intensidad o sentido de la relacila intensidad o sentido de la relacióón n entre diferentes estratos de una entre diferentes estratos de una variable.variable.

–– Ejemplos:Ejemplos:Sexo con tratamiento.Sexo con tratamiento.Centro con tratamiento.Centro con tratamiento.Edad con tratamiento.Edad con tratamiento.


InteracciInteraccióónnIM Hábito de fumar

No SíSí 9 34NO 491 466

Edad < 45 añosIM Hábito de fumar

No SíSí 4 6NO 296 294

Edad >= 45 añosIM Hábito de fumar

No SíSí 5 28NO 195 172

1.8% 6.8% d=5%

1.3% 2.0% d=0.7% 2.5% 14% d=11.5%

13


InteracciInteraccióónn

% IM

5

10

15Edad >= 45 años

Edad < 45 años

No Fumador

Fumador


InteraccionesInteracciones

0

2

4

6

8

0

2

4

6

8

0

2

4

6

8

0

2

4

6

8

14


Factores de confusiFactores de confusióónnCategorCategoríía especial de sesgos que a especial de sesgos que cumplen:cumplen:

–– 1) Son factores de riesgo para la 1) Son factores de riesgo para la enfermedad (o la variable en estudio).enfermedad (o la variable en estudio).

–– 2) Se asocian a la exposici2) Se asocian a la exposicióón (o la n (o la intervenciintervencióón) en estudio.n) en estudio.

–– 3) No son pasos o factores intermedios.3) No son pasos o factores intermedios.


Factores de confusiFactores de confusióónnIM Café

No SíSí 10 40NO 490 460

No fumadoresIM Café

No SíSí 8 7NO 472 413

FumadoresIM Café

No SíSí 2 7NO 18 73

2% 8% d=6%

1.67% 1.67% d=0% 10% 10% d=0%

15


Factor de ConfusiFactor de Confusióónn

% IM

5

10

15Fumador

No Fumador

Café Sí Café No


SubgruposSubgrupos

Se tiene menor poder (N menor)Se tiene menor poder (N menor)A mayor nA mayor núúmero de subgrupos estudiados, mero de subgrupos estudiados, mayor probabilidad de falsos positivos mayor probabilidad de falsos positivos

11--(1(1--0.05)0.05)GG

–– Ej.: si G=10 Ej.: si G=10 αα==0.4 (40%)0.4 (40%)En general, sEn general, sóólo se aceptan como carlo se aceptan como caráácter cter exploratorioexploratorioSe pueden realizar ajustes de Se pueden realizar ajustes de αα, pero son , pero son bastante conservadores.bastante conservadores.

16


Subgroups and SimpsonSubgroups and Simpson’’s Paradoxs Paradox

Experimental Controln (%) n (%)

ALL Succes 70 (70%) 60 (60%)Failure 30 (30%) 40 (40%)

100 100


SimpsonSimpson’’s Paradox s Paradox continuedcontinued

Experimental Controln (%) n (%)

MALE Succes 10 (33%) 24 (40%)Failure 20 (67%) 36 (60%)

30 60

FEMALE Succes 60 (86%) 36 (90%)Failure 10 (14%) 4 (10%)

70 40

17


Estudios de SubgruposEstudios de Subgrupos

Aspirina PlaceboMuerte vascular 150 147

Total 1357 1442

11.1% 10.2%

p=0.42045 d=0.9

Estudio ISIS-2: Muerte vascular por subgrupos de zodiacoGeminis/Libra Otros Signos

Aspirina PlaceboMuerte vascular 654 868

Total 7228 7157

9.0% 12.1%

p<0.0001 d=3.1

Interacción p = 0.019


SubgruposSubgruposRecomendaciones: Recomendaciones: ((PocockPocock, Simon, Peto), Simon, Peto)–– 1) Examinar el en subgrupos 1) Examinar el en subgrupos ssóólo lo si el si el

efecto global es significativoefecto global es significativo–– 2) Examinar subgrupos 2) Examinar subgrupos ssóólo lo si la si la

interacciinteraccióón es significativan es significativa–– 3) Plantearse ajustes de 3) Plantearse ajustes de αα en funcien funcióón de n de

los objetivoslos objetivos–– 4) Aspectos que aumentan la credibilidad:4) Aspectos que aumentan la credibilidad:

PrePre--especificaciespecificacióón en protocolon en protocoloEvaluar la plausibilidad biolEvaluar la plausibilidad biolóógicagica

18


Comparaciones MComparaciones MúúltiplesltiplesRecomendaciones:Recomendaciones:–– Realizar un Realizar un testtest úúnico nico multivariantemultivariante (si es (si es

posible)posible)

–– Utilizar algUtilizar algúún mn méétodo de ajuste siempre para todo de ajuste siempre para ananáálisis con fines confirmatorios.lisis con fines confirmatorios.

–– Intentar identificar a priori algIntentar identificar a priori algúún contraste n contraste clave o prioritario.clave o prioritario.

–– Definir a priori en el protocolo el tipo de ajuste Definir a priori en el protocolo el tipo de ajuste que se realizarque se realizaráá..


CPMP/EWP/482/99: CPMP/EWP/482/99: PTC PTC onon SwitchingSwitching betweenbetween

SuperioritySuperiority andand NonNon--InferiorityInferiority

&&

CPMP/EWP/2158/99:CPMP/EWP/2158/99:PtCPtC on the Choice of Deltaon the Choice of Delta

19


ENSAYOS DE NOENSAYOS DE NO--INFERIORIDADINFERIORIDADNECESIDADNECESIDAD

Implicaciones legales.Implicaciones legales.Implicaciones metodolImplicaciones metodolóógicas.gicas.Limitaciones Limitaciones ééticas y prticas y práácticas al uso de cticas al uso de placebo.placebo.Limitaciones prLimitaciones práácticas a la superioridad cticas a la superioridad frente a control activo.frente a control activo.Necesidad de informaciNecesidad de informacióón comparativa.n comparativa.Posibles valores aPosibles valores aññadidos.adidos.


20



Implicaciones legales. Implicaciones legales. Implicaciones metodolImplicaciones metodolóógicas.gicas.Limitaciones Limitaciones ééticas y prticas y práácticas al uso de cticas al uso de placebo.placebo.Limitaciones prLimitaciones práácticas a la superioridad cticas a la superioridad frente a control activo.frente a control activo.Necesidad de informaciNecesidad de informacióón comparativa.n comparativa.Posibles valores aPosibles valores aññadidos.adidos.


Pruebas de Pruebas de hiphipóótesistesis…… Igualdad?Igualdad?

H0: θT = θC

H1: θT ≠ θC

• P<0,05: •Se puede concluir que hay diferencias.

• P≥0,05: •No se puede afirmar que existan diferencias, ya que con la potencia disponible no se detectan, pero no significa que sean iguales.

• Solo tenemos certeza si se cumple la hipótesis alternativa.• Inadecuado para conocer igualdades.

21





22





Lancet 2001,356: 1668-75

23





Valores aValores aññadidosadidos

PosologPosologíía: 1 vez al da: 1 vez al dííaaVVíía: va: víía orala oralSeguridad: Acontecimientos adversosSeguridad: Acontecimientos adversosPoblaciones especiales: Ancianos, Poblaciones especiales: Ancianos, pediatrpediatrííaaInteraccionesInteracciones

24


Ensayos de EquivalenciaEnsayos de Equivalencia

Ensayos de Ensayos de bioequivalenciabioequivalencia (producto (producto gengenéérico rico vsvs comercializado)comercializado)

Nuestro producto no es peor y puede Nuestro producto no es peor y puede presentar otras ventajas (seguridad, presentar otras ventajas (seguridad, comodidad posolcomodidad posolóógica gica ……))–– NoNo--inferioridadinferioridad


ESTUDIO DE EQUIVALENCIAESTUDIO DE EQUIVALENCIA

d > 0+ efecto

d = 0No hay diferencia

d < 0- efecto

-d +d

Región de equivalencia

clínica

Delta: (Delta: (δ,∆δ,∆))•• mayor diferencia sin relevancia clmayor diferencia sin relevancia clíínica nica

o o •• la menor diferencia con relevancia clla menor diferencia con relevancia clíínicanica

25


NONO--INFERIORIDAD TERAPINFERIORIDAD TERAPÉÉUTICAUTICA

0-∆

No-Inferioridad No No-Inferioridad

Mejor TestMejor Control


ENSAYOS DE NOENSAYOS DE NO--INFERIORIDADINFERIORIDAD

El control activo posee un El control activo posee un determinado efecto.determinado efecto.

Las diferencias entre el Las diferencias entre el ffáármaco experimental y el rmaco experimental y el control activo no son control activo no son superiores a una magnitud superiores a una magnitud prefijada.prefijada.

Si fueran superiores a esa Si fueran superiores a esa magnitud, las magnitud, las detectardetectarííamos.amos.

Sensibilidad a los efectos del fármaco

Margen de no-inferioridad

Sensibilidad del estudio

26



Dificultades en determinar la sensibilidad a Dificultades en determinar la sensibilidad a los efectos del flos efectos del fáármacormaco

Efecto placebo muy marcado y variable.Efecto placebo muy marcado y variable.Enfermedades en las que el efecto del Enfermedades en las que el efecto del tratamiento es pequetratamiento es pequeñño y variable.o y variable.Ausencia de estudios con las mismas Ausencia de estudios con las mismas variables de eficacia.variables de eficacia.Ausencia de estudios comparativos con Ausencia de estudios comparativos con placebo.placebo.


ENSAYOS DE NOENSAYOS DE NO--INFERIORIDADINFERIORIDADMargen de noMargen de no--inferioridadinferioridad

Basado en los datos conocidos sobre el control Basado en los datos conocidos sobre el control activo. activo. En principio menor que la menor de las diferencias En principio menor que la menor de las diferencias entre el control activo y placebo.entre el control activo y placebo.OpciOpcióón mn máás conservadora:s conservadora:–– MMáás seguras segura–– MMáás caras cara–– ¿¿Siempre Siempre ééticamente aceptable?ticamente aceptable?

27


Main efficacy End-Point

40%

10%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Active Placebo

30%

B

δ

A

P

1/2 ?1/3 ?



40%

15%

45%40%

20%

10%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Active 1 Active 2 Active 3 Placebo 1 Placebo 2 Placebo 3

28



33%

8%

33%

13%

3%

40%

15%

58%

40%

20%

10%

47%

22%

65%

47%

27%

17%

51%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Active 1 Active 2 Active 3 Placebo 1 Placebo 2 Placebo 3



40%

10%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Active REF Placebo Active Test

30%δ

29


JAMA 2002; 287: 1807-1814


ENSAYOS DE NOENSAYOS DE NO--INFERIORIDADINFERIORIDADSensibilidad del ensayoSensibilidad del ensayo

Cumplimiento terapCumplimiento terapééutico pobre. utico pobre. MedicaciMedicacióón concomitante.n concomitante.Enfermedades con tendencia a la mejorEnfermedades con tendencia a la mejoríía a espontespontáánea.nea.Criterios de selecciCriterios de seleccióón muy laxos.n muy laxos.MediciMedicióón del efecto poco sensible.n del efecto poco sensible.Excesiva variabilidad en la mediciExcesiva variabilidad en la medicióón.n.EvaluaciEvaluacióón sesgada por el hecho de conocer que n sesgada por el hecho de conocer que ambos tratamientos son activos.ambos tratamientos son activos.

30



SesgosSesgosSesgos que tienden a favorecer al tratamiento Sesgos que tienden a favorecer al tratamiento experimental.experimental.Sesgos que tienden a favorecer al tratamiento Sesgos que tienden a favorecer al tratamiento control.control.Sesgos que tiendan a minimizar las diferencias.Sesgos que tiendan a minimizar las diferencias.Sesgos que tiendan a maximizar las diferencias.Sesgos que tiendan a maximizar las diferencias.


ENSAYOS DE NOENSAYOS DE NO--INFERIORIDADINFERIORIDADDiseDiseñño (I)o (I)

TRATAMIENTO CONTROLTRATAMIENTO CONTROL–– Idealmente considerado como el estIdealmente considerado como el estáándar de ndar de

tratamiento.tratamiento.–– Superioridad demostrada frente a placebo.Superioridad demostrada frente a placebo.–– El simple hecho de que un fEl simple hecho de que un fáármaco estrmaco estéé

registrado no lo legitima como tratamiento registrado no lo legitima como tratamiento control en un estudio de nocontrol en un estudio de no--inferioridad.inferioridad.

31


REGISTRO

AP

A B

B C

C D

ED

P????



DiseDiseñño (II)o (II)

VALIDACIVALIDACIÓÓN EXTERNAN EXTERNA

–– Criterios de inclusiCriterios de inclusióón/exclusin/exclusióón.n.–– Pauta de dosificaciPauta de dosificacióón.n.–– Variable principal de eficacia.Variable principal de eficacia.–– Seguimiento.Seguimiento.

32



DiseDiseñño (II)o (II)

TIPO DE ANALISISTIPO DE ANALISIS

–– IntenciIntencióón de tratar.n de tratar.Incrementa el ruido de fondo.Incrementa el ruido de fondo.Estrecha los intervalos de confianza.Estrecha los intervalos de confianza.

–– Por protocolo.Por protocolo.


+δ

Interpretación de los resultados de un experimentoIC de la diferencia

0Efecto importanteEfecto no importante

33


EQUIVALENCIA VS DIFERENCIAEQUIVALENCIA VS DIFERENCIA

¿Equivalente?

d > 0+ efecto

Región de equivalencia clínica¿Diferente?


d < 0- efecto

-d +d

?NoNoSíSíSíNoNo

?

SíSíSí

SíSíSíNo

No No


ESTUDIO DE NOESTUDIO DE NO--INFERIORIDADINFERIORIDAD


d < 0- efecto

d > 0+ efecto

No-Inferior

-d

Límite de inferioridad?NoNoSíSíSíSíSí

No

No

34


¿¿ESTUDIO DE ESTUDIO DE …… SUPERIORIDAD?SUPERIORIDAD?


d < 0- efecto

d > 0+ efecto

d

Límite de superioridad¿Superior a d?

?NoNoNoNoNoNoSí


EffectEffect SizeSize & & SampleSample SizeSizeRelative Effect Absolute Size Power* difference (%) (%) (mmHg)-----------------------------------

0% 4.9% 0.0 10% 5.9% 0.2 20% 8.5% 0.4 30% 13.3% 0.6 40% 20.2% 0.8 50% 28.2% 1.060% 39.3% 1.2 70% 49.3% 1.4 80% 61.1% 1.6 90% 71.0% 1.8 100% 80.4% 2.0 -----------------------------------*Statistical power assuming constant variability (SD=20mmHg)

35


ReplicandoReplicando un un estudioestudioProbabilidadProbabilidad de de observarobservar diferenciasdiferencias significativassignificativas( p<0.05) ( p<0.05) trastras la la repeticirepeticióónn de un de un EnsayoEnsayo ClClííniconicocuandocuando el el tamatamaññoo del del efectoefecto observadoobservado la la primeraprimeravezvez eses el el correctocorrecto

Valor de p Probabilidad de resultadoobservado significatico (Poder) en el futuro

0.05 50%0.01 73%0.001 91%

Referencia: Goodman (1992), Statistics in Medicine, 875-879


CPMP/EWP/1776/99: CPMP/EWP/1776/99: PtCPtC onon MissingMissing DataData

36


EvoluciEvolucióón de los sujetosn de los sujetos

PACVisita

SelecciónVisitaBasal RND

Toma de 1a.Medicación Visita 1 Visita 2 Visita 3 Visita 4

1 X X A X X X X X2 X X A3 X X B X X X4 X X A X5 X X B X X X X/A @ X/A @6 X X B X X7 X X A X X X X8 X9 X X B X X X X X10 X X B X X/ERR. X X X


Datos faltantes (Datos faltantes (missingmissing data)data)

PorPor ququéé son un son un problemaproblema? ? PotencialPotencial fuentefuente de de sesgossesgos en el en el ananáálisislisis

–– TantoTanto mayor mayor cuantocuanto mayor la mayor la proporciproporcióónn de de datosdatosafectadosafectados

–– TantoTanto mmááss sesgosesgo cuantocuanto menosmenos aleatoriosaleatorios–– Tanta Tanta mmááss interferenciainterferencia cuantocuanto mmááss relacionadosrelacionados con el con el

tratamientotratamiento–– ImpideImpide la ITTla ITT

37


EJEMPLOSEJEMPLOS


Ejemplo: Incorrecto uso de poblaciones Ejemplo: Incorrecto uso de poblaciones (1)(1)

DiseDiseññooCirugCirugíía a vsvs Tratamiento MTratamiento Méédico en estenosis dico en estenosis carotideacarotidea bilateral (bilateral (SackketSackket et al., 1985)et al., 1985)Variable principalVariable principal: N: Núúmero de pacientes que mero de pacientes que presenten TIA, ACV o muertepresenten TIA, ACV o muerteDistribuciDistribucióón de los pacientes:n de los pacientes:

Pacientes Pacientes randomizadosrandomizados:: 167167Tratamiento quirTratamiento quirúúrgico: rgico: 9494Tratamiento mTratamiento méédico:dico: 7373

–– Pacientes que no completaron el estudio debido Pacientes que no completaron el estudio debido a ACV en las fases iniciales de hospitalizacia ACV en las fases iniciales de hospitalizacióón: n:

Tratamiento quirTratamiento quirúúrgico:rgico: 15 pacientes15 pacientesTratamiento mTratamiento méédico:dico: 01 pacientes01 pacientes

38



PoblaciPoblacióón Por Protocolo (PP):n Por Protocolo (PP):Pacientes que hayan completado el estudioPacientes que hayan completado el estudio

AnAnáálisislisis

–– Tratamiento quirTratamiento quirúúrgico:rgico: 43 / (94 43 / (94 -- 15) = 43 / 79 = 54%15) = 43 / 79 = 54%

–– Tratamiento mTratamiento méédico:dico: 53 / (73 53 / (73 -- 1) = 53 / 72 = 74%1) = 53 / 72 = 74%

–– ReducciReduccióón del riesgo:n del riesgo: 27%, p = 0.0227%, p = 0.02

Primer análisis que se realiza :



El análisis definitivo queda de la siguiente forma :

PoblaciPoblacióón Intencin Intencióón de Tratar (ITT):n de Tratar (ITT):Todos los pacientes Todos los pacientes randomizadosrandomizados

AnAnáálisislisis–– Tratamiento quirTratamiento quirúúrgico:rgico: 58 / 94 = 62%58 / 94 = 62%–– Tratamiento mTratamiento méédico:dico: 54 / 73 = 74%54 / 73 = 74%–– ReducciReduccióón del riesgo:n del riesgo: 18%, p = 0.0918%, p = 0.09 ((PPPP: 27%, p = 0.02): 27%, p = 0.02)

Conclusiones:• La población correcta de análisis es la ITT• El tratamiento quirúrgico no ha demostrado ser significativamente superior al tratamiento médico

39


RelaciRelacióón de los valores n de los valores faltantes confaltantes con

1) Tratamiento1) Tratamiento2) Resultado2) Resultado


A B

X XX XX XX XX XX XX XX XX XX X

EfficacyA B

X XX XX XX XX XX XX X. .. .. .

EfficacyA B

X XX XX XX XX XX XX X. X. X. .

Efficacy

0%

2%

4%

6%

8%

10%

12%

14%

A B

Obs

MD

0%

10%

20%

30%

40%

50%

60%

A B

Obs

MD

0%

2%

4%

6%

8%

10%

12%

14%

A B

Obs

MD

0%

2%

4%

6%

8%

10%

12%

14%

16%

18%

A B

Obs

MD

40


Trt Outc.Missing - -

S = 5,0% S = 12,0%

S = - S = - S = - S = -

MissingnessA B

Succes (M.D.)A B

Succes (Observed)A B

n % N %S 5 5,0% 12 12,0%F 95 95,0% 88 88,0%

100 100% 100 100%

% dif -7,0%OR 0,386RR 0,417

A B

A B

X XX XX XX XX XX XX XX XX XX X

Efficacy

0%

2%

4%

6%

8%

10%

12%

14%

A B

Obs

MD


Trt Outc.Missing - -

S = 5,0% S = 12,0%

S = 30,0% S = 30,0% S = 5,0% S = 12,0%B BA

Succes (Observed)

Succes (M.D.)MissingnessA

A B

n % N %S 3,5 5,0% 8,4 12,0%F 66,5 95,0% 61,6 88,0%

70 100% 70 100%

% dif -7,0%OR 0,386

RR 0,417

A B

n % N %S 5 5,0% 12 12,0%F 95 95,0% 88 88,0%

100 100% 100 100%

% dif -7,0%OR 0,386RR 0,417

BA

A B


Efficacy

0%

2%

4%

6%

8%

10%

12%

14%

A B

Obs

MD

41


n % n %S 3.5 5.0% 10.8 12.0%F 66.5 95.0% 79.2 88.0%

70 100% 90 100%

% dif -7.0%OR 0.386RR 0.417

A B

Trt Outc.Missing si _

S = 5.0% S = 12.0%

S = 30.0% S = 10.0% S = 5.0% S = 12.0%

MissingnessA B

Succes (Observed)

Succes (M.D.)

BA

A B

n % N %S 5 5,0% 12 12,0%F 95 95,0% 88 88,0%

100 100% 100 100%

% dif -7,0%OR 0,386RR 0,417

A B

A B


Efficacy

0%

2%

4%

6%

8%

10%

12%

14%

A B

Obs

MD


0%

2%

4%

6%

8%

10%

12%

14%

16%

18%

A B

Obs

MDA B


Efficacy

Trt Outc.Missing - si

S = 5,0% S = 12,0%

S = 30,0% S = 30,0% S = 10,0% S = 17,0%

MissingnessA B

Succes (Observed)A B

Succes (M.D.)A B

n % N %S 3,5 5,0% 8,4 12,0%F 66,5 95,0% 61,6 88,0%

70 100% 70 100%

% dif -7,0%OR 0,386RR 0,417

A B

n % N %S 6,5 6,5% 13,5 13,5%F 93,5 93,5% 86,5 86,5%

100 100% 100 100%

% dif -7,0%OR 0,445RR 0,481

A B

42


Trt Outc.Missing - si

S = 5,0% S = 12,0%

S = 30,0% S = 30,0% S = 50,0% S = 50,0%

Missingness

Succes (Observed)

Succes (M.D.)

A B

A B A B

n % N %S 3,5 5,0% 8,4 12,0%F 66,5 95,0% 61,6 88,0%

70 100% 70 100%

% dif -7,0%OR 0,386RR 0,417

A B

n % N %S 18,5 18,5% 23,4 23,4%F 81,5 81,5% 76,6 76,6%

100 100% 100 100%

% dif -4,9%OR 0,743RR 0,791

A B

A B


Efficacy

0%

10%

20%

30%

40%

50%

60%

A B

Obs

MD


n % N %S 3.5 5.0% 10.8 12.0%F 66.5 95.0% 79.2 88.0%

70 100% 90 100%

% dif -7.0%OR 0.386RR 0.417

A B

Trt Outc.Missing si si

S = 5.0% S = 12.0%

S = 30.0% S = 10.0% S = 50.0% S = 50.0%

MissingnessA B

A

A B

BObserved

Succes (M.D.)

A B


Efficacy

0%

10%

20%

30%

40%

50%

60%

A B

Obs

MD

n % N %S 18.5 18.5% 15.8 15.8%F 81.5 81.5% 84.2 84.2%

100 100% 100 100%

% dif 3%OR 1.210RR 1.171

A B

43


Manejo de los valores Manejo de los valores faltantesfaltantes


General General StrategiesStrategies

CompleteComplete--case case analysisanalysis““WeigthingWeigthing methodsmethods””ImputationImputation methodsmethodsAnalysingAnalysing data as incompletedata as incompleteOtherOther methodsmethods

44


CompleteComplete--case case analysisanalysisAnalyseAnalyse onlyonly subjectssubjects withwith complete datacomplete data–– Restrict analysis to those subjects with no Restrict analysis to those subjects with no

missing data on variables of interest: missing data on variables of interest: –– Also called ADO (Available Data Only)Also called ADO (Available Data Only)–– Assumes inAssumes in--complete cases are like complete complete cases are like complete

cases. cases. –– Gives unbiased estimates if the reduced Gives unbiased estimates if the reduced

sample resulting from listsample resulting from list--wise deletion is a wise deletion is a random random subsubsamplesample of the original sample of the original sample (MCAR). (MCAR).


CompleteComplete--case case analysisanalysisDisadvantages: Disadvantages: –– Ignores possible systematic differences Ignores possible systematic differences

between complete cases and inbetween complete cases and in--complete complete cases. cases.

–– LossLoss ofof powerpower. . Standard Errors will generally Standard Errors will generally be larger in the reduced sample because less be larger in the reduced sample because less information is utilized. information is utilized.

–– Get biased estimates if the reduced sample Get biased estimates if the reduced sample is NOT a random subis NOT a random sub--sample of the original sample of the original sample. sample.

–– AgainstAgainst thethe ITT ITT principleprinciple

45







46


Datos faltantes : mDatos faltantes : méétodos de tratamiento todos de tratamiento (2)(2)

Paciente Visita basal Visita 1 Visita 2 Visita 3 Visita 4

0010 75 72 60 55

0005 76 78

0101 80 70 66

0201 81 75 75 78 80

0060 78

RandomizaciónInicio del tratamiento

Sujetos con valores missing en la variable de eficacia



Se aplica el método LOCF (Last Observation Carried Forward)


0010 75 72 72 60 55

0005 76 78 78 78 78

0101 80 70 66

0201 81 75 75 78 80

0060 78 Excluido de las poblaciones ITT y PP


47



Se aplica el método BOCF (Basal Observation Carried Forward)


0010 75 72 72 60 55

0005 76 78 78 78 78

0101 80 80 80 70 66

0201 81 75 75 78 80

0060 78 78 78 78 78



Ex: LOCF & lineal extrapolation lineal

36

32

28

24-

20

16

12

8

4

0 2 4 6 8 10 12 14 16 18 Time (months)

LOCF

Lineal Regresion

Bias

Ada

s-Co

g

> Worse

< Better

48


Ex: Early drop-out due to AE

Ada

s-Co

g

36

32

28

24-

20

16

12

8

4

0 2 4 6 8 10 12 14 16 18 Time (months)

Placebo

Active

> Worse

< Better

Bias:

FavoursActive


Ex: Early drop-out due to lack of Efficacy

Ada

s-Co

g

36

32

28

24-

20

16

12

8

4

0 2 4 6 8 10 12 14 16 18 Time (months)

Placebo

Active

> Worse

< Better

Bias:

FavoursPlacebo

49



RND

B

Baseline Last Visit

≠ Frecuencies

A

DropDrop--outs and missing dataouts and missing data

A A A A A AB B A

Visit 2Visit 1

A

50


RND

Baseline Last Visit

≠ Timing

A

DropDrop--outs and missing dataouts and missing data

A A A A B B

Visit 2Visit 1

B B B


ImputationImputation methodsmethodsLOCF LOCF andand variantsvariants–– BiasBias: :

dependingdepending onon thethe amountamount andand timingtiming ofof dropdrop--outsouts::EjEj: : TheThe conditionsconditions underunder studystudy has a has a worseningworsening coursecourse

–– ConservativeConservative: : DropDrop--outsouts beacusebeacuse ofof lacklack ofof efficacyefficacy in in thethe control control groupgroup

–– AnticonservativeAnticonservative::DropDrop--outsouts beacusebeacuse ofof intoleranceintolerance in in thethe testtest groupgroup

–– Otros: interpolaciOtros: interpolacióón, extrapolacin, extrapolacióónn

51


Adas-Cog 36

32

28

24-

20

16

12

8

4

0 2 4 6 8 10 12 14 16 18 Time month

Ejemplo: falta el resultado de Adas-cog en alguno de los tiempos

Imputación por regresión


ImputationImputation methodsmethods

WorstWorst case case analysisanalysis::–– Impute:Impute:

TheThe worstworst response response toto thethe testtestTheThe best response best response toto thethe controlcontrol

–– UltraconservativeUltraconservative. . IncreasesIncreases thethe variabilityvariability..–– RobustnessRobustness ofof resultsresults::

SecondSecond approachapproach: : ““SensitivitySensitivity analysisanalysis””LowerLower boundbound ofof efficacyefficacy

52


Group MeansGroup MeansCContinuousontinuous variablevariable::–– group mean derived from a grouping group mean derived from a grouping

variablevariable

CCategoricalategorical –– ordinal variable:ordinal variable:–– ModeMode–– IfIf no unique modeno unique mode::

–– NominalNominal: : a value will be randomly selecteda value will be randomly selected–– OOrdinalrdinal: : the the ‘‘middlemiddle’’ category or a value is randomly category or a value is randomly

chosen from the middle twochosen from the middle two ((eveneven case)case)


Predicted MeanPredicted Mean

CContinuousontinuous or ordinalor ordinal variables:variables:LLeasteast--squares multiple regression algorithm to squares multiple regression algorithm to impute the most likely value impute the most likely value

BBinaryinary or categorical variableor categorical variable::a a discriminantdiscriminant method is applied to impute the method is applied to impute the most likely value.most likely value.

53


ImputationImputation ClassClass methodsmethodsImputed values from responders that are Imputed values from responders that are similar with respect to a set of auxiliary similar with respect to a set of auxiliary variables.variables.–– ClinicalClinical experienceexperience–– StatisticalStatistical methodsmethods: : HotHot--DeckingDecking

RRespondentsespondents and nonand non--respondents respondents are are sortedsorted into a number into a number of imputation subsets according to a userof imputation subsets according to a user--specified set of specified set of covariates. covariates. An imputation subAn imputation sub--set comprises cases with the same set comprises cases with the same values as those of the uservalues as those of the user--specified covariates. specified covariates. Missing values are then replaced with values taken from Missing values are then replaced with values taken from matching respondents. matching respondents.

–– OptionsOptions::The first respondentThe first respondent’’s values value (similar in time)(similar in time)A respondentA respondent’’s randomly selecteds randomly selected valuevalue


SomeSome problemsproblems in Single in Single ImputationImputation

Mean Mean EstimationEstimation–– ReplaceReplace missingmissing data data withwith thethe mean mean ofof nonnon--missingmissing valuesvalues..–– Standard Standard deviationdeviation andand standardstandard errorserrors are are underestimatedunderestimated (no (no

variationvariation in in thethe imputedimputed valuesvalues).).HotHot--deckdeck ImputationImputation–– StratifyStratify andand sortsort by by keykey covariatescovariates, , replacereplace missingmissing data data fromfrom

anotheranother record in record in thethe samesame stratastrata. . –– UnderestimationUnderestimation ofof standardstandard errorserrors can be a can be a problemproblem..

PredictPredict missingmissing valuesvalues fromfrom RegressionRegression–– Impute Impute eacheach independentindependent variable variable onon thethe basisbasis ofof otherother

independentindependent variables in variables in modelmodel..–– Produces Produces biasedbiased estimatesestimates..

DisadvantageDisadvantage: : –– In general, Single In general, Single ImputationImputation resultsresults in in thethe samplesample sizesize beingbeing

overover--estimatedestimated withwith thethe variancevariance andand standardstandard errorserrors beingbeingunderestimatedunderestimated. .

54


Mean imputationMean imputation


Mean imputationMean imputation

55


Multiple ImputationMultiple Imputation



Rubin 1970's Rubin 1970's

56





57





AnalysingAnalysing data as incompletedata as incomplete

Time Time toto eventevent variablesvariablesMixedMixed modelsmodels ((randomrandom--fixedfixed))

58





OtherOther

GouldGould 19801980–– ConvertsConverts thethe variable variable intointo anan ordinal ordinal scorescore. . –– Impute Impute accordingaccording a a prepre--defineddefined valuevalue (ej. (ej. percentilepercentile) )

andand thethe time time andand cause cause ofof dropdrop--out (out (lacklack ofof efficacyefficacy, , cure, cure, adverseadverse effectseffects...)...)

MiscelaneaMiscelanea: : MissingMissing data data indicatorsindicators, pairwise , pairwise deletiondeletion......

Date post:	03-Jan-2020
Category:	Documents
Upload:	others
View:	0 times
Download:	0 times

Estadística en Ensayos Clínicos - Ferran Torresferran.torres.name/edu/canruti/download/Estadistica...

Documents