Leggere l’abstract non basta!

Quante volte può esserci capitato di cercare un articolo, leggerne l’abstract e ‘accontentarci’ delle informazioni riportate da quest’ultimo?

Molte, sicuramente troppe.

L’ABSTRACT, biglietto da visita di ogni paper scientifico, riassume i contenuti delle varie sezioni presenti nell’articolo; per quanto possa essere scritto in modo adeguato, difficilmente, dalla sola lettura di quest’ultimo, potremmo cogliere tutte le sfumature presenti nel full-text, motivo per cui è quasi sempre opportuno spingersi oltre e leggere l’intero testo.

L’abstract, dunque, dovrebbe guidare il lettore nel rispondere alla seguente domanda:

I contenuti di questo articolo sono in linea con il quesito di ricerca su cui sto indagando?

I professionisti sanitari che operano nell’ambito della salute possono ricorrere alle evidenze prodotte dai Trial Controllati Randomizzati (RCT), gold standard per la valutazione dell’efficacia di un trattamento e dalle Revisioni Sistematiche (RS), metodo per eccellenza di sintesi della letteratura nonché apice della famigerata piramide delle evidenze^1,2.

Spesso l’abstract risulta l’unica fonte di informazioni accessibile al clinico, dal momento che molte riviste non sono open access e quindi il full-text è a pagamento^3-5.

Per questa ragione, se l’abstract è stato redatto con un reporting inadeguato, il clinico potrebbe disseminare informazioni scorrette nonché prendere decisioni, sulla base di quanto ‘appreso’, che possono compromettere la pratica clinica^6-7.

I problemi principali rilevati negli abstract di RCT e RS sono sostanzialmente due:

1. QUALITA’ DEL REPORTING INADEGUATA. L’abstract dovrebbe contenere un sufficiente n° di dettagli ed informazioni tali da permettere di coglierne la validità e l’applicabilità^3,5,8. Purtroppo, questo si verifica di rado. In ambito oncologico, ad esempio, è stato dimostrato che solo il 13% degli abstract riporta nella sezione dei metodi informazioni sull’oscuramento dell’allocamento e sul blinding dei partecipanti⁹, fattori cruciali per valutare la qualità metodologica dell’articolo.
2. INCONSISTENZA TRA LE INFORMAZIONI RIPORTATE NELL’ABSTRACT E QUELLE RIPORTATE NEL FULL-TEXT¹⁰. Riportiamo subito un esempio molto significativo che ci permetterà di capire la pericolosità di questo fenomeno: Assem e colleghi hanno dimostrato che gli abstract di lavori in ambito chirurgico presentano degli Odds Ratio (OR) 3 volte > rispetto a quelli contenuti nel full-text¹¹.

“SPIN” è un termine utilizzato per indicare una scorretta interpretazione dei risultati degli studi, che solitamente comporta una sovrastima in senso positivo degli stessi    ^12-14.

Alcuni esempi di ‘spin’ che possono verificarsi negli abstract sono:

• Omissione della misura di outcome primaria o degli eventi avversi.
• Selective reporting dei risultati negativi.
• Focus su eventuali outcome secondari su cui è stata dimostrata efficacia
• Sovrastima dei risultati dello studio.
• Raccomandazione di un trattamento senza che sia stato dimostrato un effetto clinicamente rilevante.
• Dichiarazione di efficacia di un trattamento nonostante l’alto rischio di bias relativo alla misura di outcome in esame.

Tra le linee guida più importanti e conosciute volte a migliorare il reporting degli abstract sono da annoverare:

• la CONSORT-A (per gli abstract di Studi Controllati Randomizzati) ¹⁵
• il PRISMA-A (per gli abstract di Revisioni Sistematiche) ¹⁶

Nonostante i tentativi di formazione degli autori e degli editori delle riviste e l’esistenza di linee guida di reporting, la qualità degli abstract continua ad essere discutibile. A questo proposito va annoverato il fatto che alcuni studi hanno sottolineato la necessità di un cambiamento a monte ossia nelle politiche editoriali, attraverso, per esempio, un aumento del n° di parole massime consentite^17,18,19.

Nel 2018, è stata condotta una RS con l’obiettivo di valutare il reporting degli abstract di RCT pubblicati in ambito sanitario, la quale ha messo luce quanto questo problema non sia stato risolto nemmeno con l’introduzione di linee guida specifiche⁸.

Recentemente, è stata prodotta una scoping review per valutare la coerenza tra quanto riportato nell’abstract e quanto espresso nel full-text¹⁷: una delle cose più rilevanti emerse è che lo stesso concetto di ‘inconsistenza’ è differisca in modo importante tra studio e studio e questo rende ancora più complicato fare chiarezza su questo fenomeno.

Pertanto, a fronte di quanto appena detto, tale revisione sistematica si pone i seguenti OBIETTIVI:

1. Indagare la qualità del reporting degli abstract di RCT (CONSORT-A) e di Revisioni Sistematiche (PRISMA-A) pubblicati in ambito sanitario
2. Valutare la coerenza tra quanto dichiarato nell’abstract e quanto effettivamente riportato nel full-text, soprattutto in termini di risultati.

COSA E’ EMERSO DA QUESTO LAVORO?

A seguito di un’accurata ricerca effettuata su 4 database [MEDLINE, CENTRAL, Cochrane Library ed EMBASE] sono stati inclusi:

• 27 overview che valutano la qualità del reporting dell’abstract di RCT [n°=5194] e RS [n°=866].

Secondo quanto messo in luce, un ADEGUATO REPORTING dell’abstract sembra essere associato a:

• Data di pubblicazione [più recente]
• Impact factor della rivista [più elevato]
• Disegno multicentrico
• Numerosità degli autori
• Presenza di un abstract strutturato
• Utilizzo delle linee guida di reporting
• Outcome statisticamente significativi
• Minor presenza del fenomeno di spin
• Pubblicazioni da Paesi Europei
• Fonti di finanziamento accademiche

Contrariamente, non sembra esserci alcun legame, a discapito di quanto si possa pensare, con la qualità metodologica del lavoro.

QAULI SONO GLI ITEM MAGGIORMENTE COLPITI DAL FENOMENO DEL ‘BAD REPORTING’?

1. Nel caso della CONSORT-A in >50% dei casi sono: i) la procedura di randomizzazione, ii) la cecità, iii) le fonti di finanziamento, iv) il n° di braccia dello studio, v) il disegno del trial, vi) i partecipanti, vii) la dichiarazione della misura di outcome primario, viii) il n° di registrazione del protocollo, ix) il n° dei soggetti randomizzati, x) la procedura di reclutamento e xi) gli obiettivi.
2. Rispetto al PRISMA-A, invece, gli item meno descritti in modo chiaro ed esplicito sono: i) la valutazione del risk of bias degli studi, ii) i punti di forza e limiti del lavoro, iii) eventuali fonti di finanziamento e iv) il n° di registrazione del protocollo.

• 22 overview che valutano la concordanza tra quanto riportato nell’abstract e quanto dichiarato nel full-text di RCT [n°=2025] e di Revisioni Sistematiche [n°=551].

Una minor presenza del fenomeno di spin dell’abstract sembra essere associata a:

• Risultati positivi statisticamente significativi
• Miglior qualità metodologica dell’articolo
• Maggior numero di parole consentite
• Disegno di tipo multicentrico
• Adeguato reporting dell’abstract.

QUINDI..

1. Qualità del reporting degli abstract

Nonostante l’esistenza di linee guida specifiche [CONSORT-A e il PRISMA-A], la qualità del reporting continua ad essere carente.

Ben undici revisioni sistematiche hanno verificato se ci fosse una differenza, in termini di reporting, tra gli abstract di RCT e RS pubblicati prima della nascita delle reporting guidelines (RG) rispetto a quelli prodotti successivamente: nonostante siano stati osservati alcuni cambiamenti in senso positivo, il miglioramento complessivo risulta insufficiente a poter affermare che tali checklist hanno permesso un miglioramento del reporting.

In ambito sanitario la qualità del reporting varia rispetto alle aree di interesse ma anche all’interno dello stesso ambito sono state rilevate importanti differenze. In ambito odontoiatrico, per esempio, la % di reporting varia dal 62.5%²⁰ dichiarato in una RS al 28.1% registrata in un altro lavoro²¹.

Un’importante differenza tra il CONSORT-A e il PRISMA-A riguarda il n° di parole concesse nell’abstract: mentre i primi sostengono che 250-300 parole siano sufficienti a poter scrivere un abstract completo²², i secondi non indicano nessun limite numerico¹⁶.

Ciò che emerge dai seguenti risultati è che la qualità del reporting sembra essere direttamente proporzionale al n° di parole consentite [>300].

Un adeguato reporting dell’abstract aiuta i ricercatori e i clinici ad interpretare correttamente i risultati degli studi, pertanto, seppur indirettamente, ha un impatto importante sul processo di decision-making necessario per valutare l’efficacia del trattamento per l’assistenza sanitaria.

• UN REPORTING ADEGUATO DELL’ABSTRACT di RCT è associato ad un minor fenomeno di spin
• UN REPORTING ADEGUATO DELL’ABSTRACT di RS è associato a maggior qualità metodologica del lavoro

2. Coerenza tra abstract e full-text

Tutte le overview incluse in questa seconda parte di analisi hanno messo in luce una marcata discordanza tra quanto riportato nell’abstract e quando descritto nella sezione dei risultati e della conclusione.

Anche in questo caso, studi che indagano la medesima area di interesse, presentano risultati molto variabili: in ambito oncologico, ad esempio, una overview dichiara un 10%²³ di inconsistenza contro l’84%²⁴ dichiarato in un altro lavoro.

L’informazione maggiormente interessata al fenomeno è il reporting della significatività statistica dell’outcome primario^25,26,27 come dimostrato anche da Chiu e colleghi²⁷.

Abstract inficiati dal fenomeno di spin, per quanto possano essere potenzialmente più ‘leggibili’, possono avere una ricaduta in ambito clinico estremamente pericolosa danneggiando il processo clinico decisionale.

Dall’analisi degli istudi inclusi, sembrerebbe che le RACCOMANDAZIONI maggiormente suggerite alle riviste siano: 1) Indicare nella sezione ‘suggerimento agli autori’ l’utilizzo e la stretta aderenza alle linee guida di reporting; 2) migliorare la concordanza tra i contenuti dell’asbtract e i risultati; 3) aumentare il limite massimo di parole.

Tali raccomandazioni sono rivolte non solo alle riviste ma anche ai lettori, i quali, anch’essi, sembrano non essere del tutto a conoscenza di quanto sia importante che l’abstract rispecchi in modo fedele quanto contenuto nel full-text.

Un altro importante suggerimento agli editori delle riviste riguarda l’accessibilità ai lavori: promuovendo l’accessibilità ai dati verrebbe facilitata la possibilità di una corretta interpretazione da parte dei ricercatori. Inoltre, sarebbe opportuno venisse diminuita la pressione legata al fatto di dover pubblicare necessariamente risultati positivi, essendo anche quelli negativi dei risultati importanti²⁸.

Limiti

Come ogni revisione sistematica anche la seguente presenta dei limiti:

1. Probabilmente vi sono duplicati tra gli studi primari inclusi delle diverse overview, motivo per cui è possibile che i risultati siano stati sovrastimati.
2. Alcuni degli studi primari in esame sono stati pubblicati nello stesso anno in cui sono nate le linee guida di reporting, pertanto è possibile che non abbiano avuto tempo di adeguarsi all’utilizzo delle stesse.
3. Non è stato possibile valutare la qualità metodologica delle overview da cui sono state prodotte le suddette evidenze poiché mancano strumenti specifici per la loro valutazione.

Quindi, in conclusione dato l’importante ruolo svolto dall’abstract, in qualità di biglietto da visita di ogni articolo scientifico, è necessario che, sia i ricercatori che gli editori delle riviste, si pongano come priorità l’obiettivo di migliorare il loro reporting al fine di rendere la ricerca sempre più chiara e trasparente.

A cura di Carola Cosentino
Fisioterapista
Collaboratore HealtHub