Isabelle BoutronCentre d’Epidémiologie Clinique

Hôtel Dieu

Université Paris Descartes

INSERM U738

1

TRANSPARENCE ET INTERPRÉTATION DE LA

RECHERCHE

Transposition des résultats de la recherche

2

RecherchePratique clinique

COMMUNICATIONPUBLICATION

• Authors, editors and publishers all have ethical obligations with regard to the publication of the results of research.

• Authors have a duty to make publicly available the results of their research on human subjects and are accountable for the completeness and accuracy of their reports.

3

4

6

2005-2006

Income fom

industry

Industy or

mixte support

trials

Mean n citation

Industry support

Mean n citation

Mixte support

Mean n citation

Non industry support

Change in impact factor without trials with industry and mixte

support (%)

NEJM - 78% 82.2 66.7 47.3 -15

Lancet 41% 58% 53.5 31.3 25.7 -6

JAMA - 55% 35.7 31.6 21.1 -5

AIM - 53% 27.7 17.1 12 -4

BMJ 3% 27% 9.9 11.3 5.7 -1

2010

“Publication practices distorting science”

• Non-publication• Delai avant publication• Publication incomplète

– Méthode– Résultats

• Ces problèmes sont génériques– Non spécifiques à la recherche en médecine– Non spécifiques aux essais randomisés– Non spécifiques à la recherche financée par

l’industrie8

Ross et al PLoS Med2009

Biais de publicationPublication of trials registered in clinicalTrials.gov*

•All “trials” 46%

•Industry 40%

•Government (US + nonUS) 47%

•NonGovt/non-Industry 56%

*10% sample (n=677) of trials registered between Jan 1, 2000 & June 8, 2007. Excludes Phase 1 studies

2008 NEJM Turner

Selective publication of antidepressant trials

• 62% des essais ont au moins 1 critère de jugement principal qui a été changé, omis ou rajouté.

• Les critères positifs sont plus souvent publiés que les critères négatifs (OR=2.4[1.4-4.0])

11JAMA. 2004;291:2457-2465

• Discordance entre les critères de jugement enregistrés et publiés: 31% des essais

• Discordance en faveur des critères positifs (82.6%).12

• 2 versions d’un même essai randomisé de bonne qualité méthodologique

• Seule différente: résultat du critère de jugement principal – positif vs négatif

»

• 238 reviewers de 2 journaux (randomisation)– Recommandation de publication pour les essais positifs

(97% vs 80%, P<0.001)– Meilleur score de qualité pour les essais positifs (8.24 vs

7.53, P=0.005)13

Interpretation des résultats des essais. SPIN

• Les données doivent parler d’elles-mêmes1

• Les scientifiques sont rarement neutres– Délai et niveau de publication– Utilisation du traitement en pratique– Future carrière

• Grande liberté lors de l’écriture de l’article

– Biais de présentation et d’interprétation des résultats 2-4

141 Fletcher, Med Law, 20072 Horton, BMJ, 1995

3 Yank V, BMJ, 20074 Jefferson T, BMJ, 2009

Kaptchuk T, BMJ, 2003

15

• 17 essais négatifs publiés dans le BMJ de 2002-2006 (p value 0.05-0.3)

• 4/17: Recommandation d’utilisation du traitement en pratique dans la section “what this study adds”

16

17

18

Les « spin »

• Définition des “spin”– Présentation et interprétation des résultats par les auteurs de

manière à convaincre le lecteur de l’effet bénéfique du traitement expérimental malgré des résultats non statistiquement significatifs

• Développement d’une classification des « spin »

• Identification des stratégies et de la prévalence des « spin » dans un échantillon représentatif d’essais randomisés dont le critère de jugement principal n’est pas statistiquement significatif

Prevalence of “spin” in the article

18%

29%

43%50%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Title Results Discussion Conclusion

19

>40% of the reports had “spin” in at least 2 of the 3 sections of the main text

N = 72

Level of spin in the conclusion

33%26%

13%13%

13%11%

42%50%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Abstract Article

no spin

low level of spin

moderate level of spin

high level of spin

20

High level of “spin” : no acknowledgement of the negative primary outcome no uncertainty, no recommendation for further trial

22

23

Spin et communiqués de presse

24

Essai randomisé contrôlé

Communication des résultats Article scientifiques/congrès

Communiqués de presse

Articles de presse

25

Comparison of the number of citation per articles of articles published in the NEJM that were covered by the New York Time compared to thoses that were not selected but not covered because of a strike

Information not in the

press release

No press releases

Information in the press

release

Quantified the main result with absolute risks

9% 20% 53%

Reporting of harm 24% 36% 68%

Mention of limitation

16% 21% 48%

26

27

28

Spin et Communiqués de presse

29

Eurekalert!databasePress releases of RCTs

N=70

Related published articleN = 70

Identification des spin

Lexix NexisRelated News

N=41

10

5

10

15

20

25

30

35

40

24

17

Spin in abstract

16

1

Press release

16

No sp in in ab stract

21

3

Spin in abstract

1

Abstracts

Press releases

Press releases News

No spin in press releases

20

1No sp in in ab stract

3 Spin

No Spin

News

Conclusion

31