BIAS DI PUBBLICAZIONE: COME GLI RCT NON PUBBLICATO DISTORCONO LE EVIDENZE.

Il processo di ricerca può essere minato in ogni sua fase dal verificarsi di bias, ossia errori che alterano la misura sempre nella stessa direzione introducendo una distorsione.

Tra i vari tipi di bias occorre annoverarne uno, spesso celato, in grado di falsare la letteratura scientifica: il BIAS DI PUBBLICAZIONE.

Ma cosa si intende per bias di pubblicazione e perché andrebbe evitato?

Il pubblication bias è definito come la tendenza a sottomettere (da parte degli autori) e ad accettare (da parte di editori e revisori) manoscritti, basandosi solo sulla FORZA e sulla DIREZIONE dei risultati: in altre parole, di pubblicare studi con risultati positivi occultando quelli con risultati negativi^1,2,3.

Tale divulgazione selettiva delle evidenze può innescare un meccanismo estremamente dannoso.

Sappiamo quanto siano importanti nel mondo scientifico le revisioni sistematiche, sintesi della letteratura condotte secondo rigore metodologico, da cui vengono prodotte evidenze che possono avere importanti ricadute sulla pratica clinica.

La validità di una revisione sistematica (RS) dipende sia dalla metodologia utilizzata che dalla capacità di identificare tutti gli studi primari in grado di rispondere al quesito di ricerca stabilito.

Se, però, in letteratura sono presenti solo studi a favore dell’intervento di cui si vuole verificare l’efficacia mediante una RS, allora il risultato della revisione sarà distorto e questo potrebbe influenzare la base di conoscenza generale SOVRASTIMANDO L’EFFICACIA DI UN TRATTAMENTO.

FUNNEL PLOT

Le revisioni sistematiche con metanalisi possono ricorrere al funnel plot per stimare l’entità del pubblication bias. Nella figura sottostante sono descritte le componenti del funnel plot

Nell’ipotesi di assenza di bias di pubblicazione il grafico ottenuto presenta una riconoscibile forma ad imbuto e i singoli studi, rappresentati dai punti, dovrebbero distribuirsi simmetricamente intorno alla stima combinata della dimensione dell’effetto.

OBIETTIVO

Questa revisione metodologica intende esaminare in modo sistematico tutti gli studi presenti in letteratura volti ad indagare il fenomeno del BIAS DI PUBBLICAZIONE, al fine di

valutare se e quanto la pubblicazione di un articolo possa essere influenzata dal raggiungimento della significatività statistica, dalla percezione di rilevanza del lavoro e/o dalla direzione dei risultati del trial.

Tipologia di studi

Sono stati inclusi tutti gli articoli che valutassero una coorte di studi di intervento, a patto che fossero in fase iniziale o in corso d’opera, di cui, quindi, non fosse ancora stato pubblicato il risultato: in altre parole, studi sottomessi al comitato etico o pubblicati su appositi registri ove è possibile caricare i protocolli dei trial.

Gli studi inclusi dovevano CONFRONTARE i trial con risultati positivi con quelli con risultati negativi o nulli.

Sono stati definiti STUDI CON RISULTATI POSITIVI tutti gli articoli che avessero almeno una delle seguenti caratteristiche:

• Risultato statisticamente significativo (p < 0.05).
• Nel caso in cui non fossero stati effettuati test statistici, i risultati dovevano essere dichiarati estremamente rilevanti dagli autori.
• Risultato che evidenzia una direzione dell’effetto positiva.

Allo stesso modo, sono stati classificati STUDI CON RISULTATI NEGATIVI tutti i trial che avessero almeno una delle seguenti caratteristiche:

• Risultato statisticamente non significativo (p ≥ 05).
• In caso di assenza di test statistici, i risultati dovevano essere dichiarati poco rilevanti dagli autori.
• Risultato che evidenzia una direzione dell’effetto negativa.

Misure di outcome

Per poter essere inclusi gli studi dovevano presentare almeno uno dei seguenti parametri come misura di outcome primario:

• PUBBLICAZIONE (espressa come variabile dicotomica)
• TEMPO DI PUBBLICAZIONE

Sono stati considerati outcomes secondari misure potenzialmente associate alla mancata pubblicazione, tra cui, per esempio, il sample size, il n° di centri coinvolti, il ruolo accademico dell’investigator (professore associato, professore ordinario, ecc).

RISULTATI

Nonostante l’esaustiva ricerca solo 5 studi hanno riportato i criteri di eleggibilità necessari per poter essere inclusi^5,6,7,8,9.

Nella tabella sono espresse, per ciascun articolo, le percentuali totali di trial pubblicati e la rispettiva suddivisione per tipologia (risultati positivi, negativi e nulli): dalla sola osservazione delle percentuali si evince chiaramente la tendenza a pubblicare con più frequenza trial con risultati positivi.

1. PUBBLICAZIONE

Tutti gli studi inclusi hanno valutato l’ASSOCIAZIONE tra la variabile dicotomica  PUBBLICAZIONE e i RISULTATI dei trial. La percentuale di studi pubblicati varia dal 36%⁵ (Medicine Control Agency trials) al 93%⁷ (National Institutes of Health trials).

Gli studi con risultati positivi tendono ad essere più frequentemente pubblicati rispetto a quelli con risultati negativi o nulli (Odds Ratio: 3.90; Intervallo di confidenza (IC) al 95%: 2.68 – 5.68). Questo dato corrisponde ad un Rischio Relativo di 1.78 (IC 95%: 1,58-1,95), il che significa che ogni 41 studi negativi pubblicati, ne vengano pubblicati 73 con risultati positivi.

Gli studi con risultati positivi hanno circa il DOPPIO DELLE PROBABILITA’ di ESSERE PUBBLICATI rispetto a quelli negativi.

2. TEMPI DI PUBBLICAZIONE

Due dei cinque studi inclusi hanno valutato il tempo di pubblicazione, analizzando 3 intervalli temporali differenti:

• Arruolamento dei partecipanti – pubblicazione⁸
• Completamento dello studio – pubblicazione⁸
• Approvazione da parte del comitato etico – pubblicazione⁹

Come si evince dalla tabella gli studi con risultati positivi tendono ad essere PUBBLICATI PIU’ VELOCEMENTE rispetto a quelli con risultati negativi.

RISULTATI

Il bias di pubblicazione rappresenta una vera e propria minaccia nel mondo scientifico, spesso volutamente ignorata.

La seguente revisione ha MESSO IN LUCE DUE ASPETTI:

• Gli studi con risultati positivi hanno circa IL DOPPIO DELLA PROBABILITA’ DI ESSERE PUBBLICATI rispetto a quelli con risultati negativi.
• I TEMPI DI PUBBLICAZIONE degli studi con risultati positivi sono DECISAMENTE PIU’ BREVI.

Seppur la dimostrazione di efficacia di un intervento sia apparentemente più attraente della non-efficacia, soprattutto se si pensa all’anima commerciale di alcune riviste o agli interessi economici delle aziende che finanziano studi sui farmaci, i risultati negativi o nulli sono altrettanto rilevanti. La loro omissione non solo può inficiare l’avanzamento delle conoscenze, distorcendo il profilo di efficacia-sicurezza dei trattamenti, ma anche aumentare i rischi per i pazienti  provocando uno spreco di risorse.

Ben Goldacre, co-fondatore di All-Trials [campagna lanciata nel 2013 che esorta alla registrazione dei trial clinici e alla pubblicazione di tutti i risultati], durante una conferenza TED⁷ disse:

“Se lanciassi una moneta 100 volte, ma vi dicessi solo quando esce testa potrei illudervi di avere una moneta che ha una testa su entrambe le facce. Questo però non significa che io abbia realmente una moneta con due teste. Vorrebbe dire che io sono un imbroglione e voi siete degli sciocchi a permettermi di farla franca”

Bibliografia

1. Chalmers I. Underreporting research is scientific misconduct. JAMA 1990;263:1405–8.
2. Dickersin K. The existence of publication bias and risk factors for its occurrence. JAMA 1990;206:1385–9.
3. Dickersin K. How important is publication bias? A synthesis of available data. AIDS Education & Prevention 1997;9(Suppl A): 15–21.
4. Sterne JA, Sutton AJ, Ioannidis JP, Terrin N, Jones DR, Lau J, Carpenter J, Rücker G, Harbord RM, Schmid CH, Tetzlaff J, Deeks JJ, Peters J, Macaskill P, Schwarzer G, Duval S, Altman DG, Moher D, Higgins JP. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. 2011 Jul 22;343:d4002. doi: 10.1136/bmj.d4002. PMID: 21784880.
5. Bardy AH. Bias in reporting clinical trials. British Journal of Clinical Pharmacology 1998;46:147–50.
6. Dickersin K, Min Yi, Meinert CL. Factors influencing publication of research results: follow-up of applications submitted to two institutional review boards. JAMA 1992;267:374–8.
7. Dickersin K, Min Yi. NIH clinical trials and publication bias. Online Journal of Current Clinical Trials (serial online) 1993, (Doc- No 50).
8. Ioannidis JPA. Effect of the statistical significance of results on the time to completion and publication of randomized efficacy trials. JAMA 1998;279:281–6.
9. Stern JM, Simes RJ. Publication bias: evidence of delayed publication in a cohort study of clinical research projects. BMJ 1997;315:640–5.

Web Link

10. https://www.ted.com/talks/ben_goldacre_what_doctors_don_t_know_about_the_drugs_they_prescribe/transcript#t-534375

A cura di Carola Cosentino
Fisioterapista
Collaboratore HealtHub