Non è il momento di rottamare gli studi randomizzati


“Una costante opera di subdola denigrazione degli studi randomizzati controllati”. Così Vinay Prasad, medico e professore all’Oregon Health and Sciences University, commenta un recente articolo apparso sul prestigioso New England Journal of Medicine dal titolo “Assessing the Gold Standard. Lessons from the History of RCTs”1,2.
L’articolo racconta la storia degli studi randomizzati controllati e solleva numerosi punti critici circa la loro reale utilità nel chiarire se un trattamento funziona o meno. Fin qui forse niente di nuovo, ma l’attacco al concetto che gli studi randomizzati siano il gold standard nella ricerca clinica è così diretto e argomentato in maniera tanto maldestra, da indurre il lettore a pensare che l’obiettivo del pezzo vada ben oltre la semplice constatazione dei limiti degli studi randomizzati e la proposta di possibili soluzioni.
Che gli studi randomizzati siano imperfetti è noto. Alcuni tra i limiti sono strutturali e in un certo senso inevitabili: sono esperimenti complessi e costosi, sottoposti a numerosi vincoli regolatori, non adatti a valutare effetti poco frequenti. A una valutazione più attenta però non deve sfuggire che molti difetti attribuiti agli studi randomizzati sono in realtà dovuti alle scelte dei ricercatori. Spesso le domande che essi affrontano non sono quelle davvero utili e rilevanti per pazienti e comunità; le scelte metodologiche rendono i risultati di questi studi poco affidabili, imprecisi o inutilizzabili; gli studi con risultati non soddisfacenti (almeno per chi riponeva grandi aspettative nel trattamento sperimentale), se mai pubblicati, sono descritti in modo incompleto o distorto 3,4. In qualche sporadico caso è la mancanza di esperienza o l’inadeguata formazione degli sperimentatori clinici a provocare questi problemi. In realtà sappiamo bene che tutto ciò è causato da scelte legate a interessi precisi che tendono a massimizzare il risultato atteso.
Insomma, perché attaccare lo strumento per sé quando sarebbe invece interessante interrogarsi su come utilizzarlo al meglio?

SOLO METÀ DEI PAZIENTI RICEVE IL TRATTAMENTO SPERIMENTALE
Una delle argomentazioni utilizzate per sollevare dubbi sull’utilità degli studi randomizzati è che sarebbero un ostacolo all’accesso ai trattamenti innovativi, perché i partecipanti allo studio allocati nel gruppo di controllo non ricevono, per definizione, il trattamento sperimentale. Questo ragionamento è inapplicabile se – come dovrebbe essere – uno studio viene condotto per rispondere a una genuina incertezza. Davanti a una domanda realmente aperta cioè alla quale la ricerca pregressa non ha ancora dato una risposta soddisfacente, i medici non dovrebbero avere dubbi: i pazienti potrebbero trarre un beneficio dal trattamento sperimentale, ma potrebbero anche averne nocumento e addirittura i pazienti nel gruppo di controllo avere benefici maggiori 5. Non resta che affidare al caso la scelta tra due opzioni a confronto e lasciare che l’incertezza venga risolta dall’esperimento. Non a caso l’ipotesi di partenza di uno studio randomizzato è che i due trattamenti siano uguali (si chiama appunto ipotesi nulla!) e lo studio è chiamato a dimostrare se esista invece una differenza di grandezza pre-definita. Allo sperimentatore viene chiesto di essere equidistante dai due trattamenti: è la cosiddetta equipose, principio che rende lecito e assolutamente accettabile dal punto di vista etico lasciar scegliere al caso con quale intervento trattare un dato paziente6. La scelta di un controllo che a priori è noto essere meno efficace (placebo se esiste un’alternativa in uso, ma anche un controllo attivo utilizzato in condizioni non ottimali per dosaggio, tempo di somministrazione, ecc.) rende non equa la randomizzazione ed è quindi vero che potrebbero essere negati trattamenti efficaci, o ancor peggio, utilizzati trattamenti pericolosi. La letteratura medica è piena di esempi a questo proposito. La maggior parte dei nuovi farmaci studiati per la sclerosi multipla è stata confrontata con il placebo, quando già disponibili trattamenti standard che sarebbero stati prescritti agli stessi pazienti al di fuori dello studio clinico 7.
Anche nel caso dell’artrite reumatoide l’uso del placebo è estremamente diffuso anche se sono disponibili diverse terapie proposte come in grado di modificare il decorso naturale della malattia. Non solo. In alcuni studi di confronto tra nuovi farmaci biologici e farmaci “convenzionali” sono stati arruolati pazienti che non avevano risposto al trattamento con questi ultimi o erano ricaduti dopo tale terapia8. Gli studi clinici che hanno valutato anti-ipertensivi come calcio antagonisti o ACE inibitori hanno spesso selezionato trattamenti di controllo atti a magnificare l’efficacia del trattamento sperimentale in rapporto all’endpoint scelto o hanno richiesto la sospensione di trattamenti ai quali i pazienti stavano rispondendo al solo fine di consentire la randomizzazione9. C’è da chiedersi quanti tra i pazienti coinvolti in questi studi avrebbero accettato di partecipare, se davvero lo studio fosse stato presentato loro in questi termini.
Il problema quindi non è lo strumento ma il suo utilizzo per altri fini rispetto all’unico eticamente valido: sapere che cos’è meglio per un paziente.

IL MONOPOLIO DEGLI STUDI RANDOMIZZATI
Gli studi randomizzati sono tacciati di aver monopolizzato la scena della produzione delle evidenze scientifiche. Nessuno nega i vantaggi degli studi osservazionali, indagini su registri, serie di casi, e studi di altro disegno nel valutare l’azione di fattori di rischio o esposizione, studiare ampie popolazioni, sviluppare teorie su meccanismi patogenetici o proporre teorie su nuovi approcci terapeutici. Tuttavia, quando si tratta di definire gli effetti degli interventi e portare prove affidabili a supporto delle decisioni cliniche, questi studi passano il testimone agli studi randomizzati e alla loro integrazione con evidenze pregresse all’interno di buone revisioni sistematiche. Solo attraverso studi randomizzati, che minimizzano il rumore di fondo (i confondenti), è possibile dimostrare l’esistenza di effetti di piccole dimensioni, come quelli che ci si aspetta dalla stragrande maggioranza degli interventi attualmente in studio. Sono infatti pochissimi gli interventi che possiamo definire efficaci anche senza provarlo attraverso studi randomizzati 10. Ovviamente, anche gli studi randomizzati non centrano l’obiettivo se si applicano metodi inadeguati. Ad esempio, se la randomizzazione non è correttamente eseguita o la valutazione degli esiti è distorta dalla consapevolezza che un paziente sia allocato nel gruppo dei trattati o dei controlli, l’affidabilità dei risultati è talmente compromessa che, davvero, forse sarebbe stato meglio evitare lo sforzo. Di nuovo però il fallimento non è dovuto allo strumento, ma a una sua errata applicazione.
Gli studi non randomizzati o le evidenze che provengono dalla pratica clinica (real-world evidence) generano sì dati che supportano le decisioni sanitarie; ma raccomandare un trattamento solo sulla base di questo tipo di valutazioni è decisamente rischioso11. È noto che gli studi osservazionali sono affetti da diversi tipi di distorsione, tra cui il bias di indicazione (confounding by indication) per il quale i pazienti più sani sono quelli che più probabilmente riceveranno il nuovo trattamento. Se vediamo un eventuale effetto positivo non potremo affermare con certezza che sia dovuto all’intervento, perché quell’effetto potrebbe essere semplicemente il frutto di differenze nelle condizioni dei due gruppi al basale o a fattori altri rispetto all’intervento12. La letteratura medica è costellata di esempi, in quasi tutte le aree della medicina, di studi osservazionali che concludono che un trattamento è efficace e di studi clinici randomizzati successivi che ne hanno ridimensionato se non confutato i risultati13,14. Paradossalmente, i dati della pratica clinica hanno un valore potenzialmente maggiore quando si tratta di smentire l’efficacia di trattamenti dimostratata negli studi clinici registrativi. Ad esempio, il sorafenib nel tumore epatico è stato commercializzato sulla base di una riduzione della mortalità di circa 2-3 mesi; ma, quando studiato nella fase post-autorizzativa, quindi in condizioni più simili a quelle della pratica clinica, i benefici si sono ancor più assottigliati e le tossicità emerse, alla fine, ne hanno sconsigliato l’utilizzo 15.
Gli studi randomizzati vengono tacciati di essere troppo artificiali, in quanto i partecipanti sono spesso più giovani, più sani, prevalentemente maschi e le condizioni sperimentali sono spesso troppo controllate e standardizzate rispetto a quelle in cui i trattamenti vengono poi utilizzati nella pratica clinica. Il tema della scarsa validità esterna è reale, ma ci sono diverse soluzioni applicate in fase di pianificazione della domanda e del disegno dello studio così come durante l’analisi dei dati ottenuti che possono migliorare l’applicabilità dei risultati. Negli studi randomizzati condotti con un approccio pragmatico il coinvolgimento di popolazioni poco selezionate e setting simili a quelli nei quali verranno usati i trattamenti, l’uso di comparatori attivi, di esiti importanti nella clinica e dell’analisi intention-to-treat garantiscono una buona generalizzabilità dei risultati, mantenendo intatta la validità interna dovuta al disegno randomizzato16. In altre parole, non è necessario ricorrere a studi osservazionali per ottenere risultati generalizzabili, basta applicare al meglio i metodi degli studi randomizzati. Spesso poi gli studi pragmatici sono anche molto meno costosi di quelli puramente esplicativi, in quanto si inseriscono naturalmente nella pratica clinica di cui diventano parte integrante. Il vantaggio di questo tipo di studi è anche quello di fornire risultati che più rapidamente possono informare le decisioni cliniche. È questo il caso degli studi GISSI che, generando ipotesi e risposte nello stesso ambito di pratica clinica, hanno man mano contribuito a dimostrare quali trattamenti fossero in grado di diminuire la mortalità da infarto del miocardio 17.

I RISULTATI DEGLI STUDI RANDOMIZZATI NON INFORMANO LA PRATICA CLINICA
Il disallineamento tra le risposte fornite dalla ricerca e le domande dei sistemi sanitari e dei pazienti è un tema chiave che deve essere affrontato se vogliamo analizzare perché la ricerca non sempre informa la pratica clinica. Le decisioni in medicina, siano esse prese a livello del singolo medico o a livello di sistema attraverso lo sviluppo di linee guida e altri documenti di indirizzo, devono essere informate da prove affidabili e rilevanti. Se uno studio randomizzato misura l’effetto di un trattamento su un esito surrogato che poco dice sul reale decorso dello stato di malattia del paziente, o se confronta un nuovo trattamento con un placebo quando sono disponibili alternative terapeutiche, le risposte saranno inutilizzabili o poco rilevanti. Chi prende decisioni in sanità deve pretendere – ma anche fare in modo – che la ricerca risponda alle sue domande, non a interessi economici. Inoltre, deve essere educato a valutare la forza e le debolezze delle prove sulle quali basa le sue scelte e a gestire in modo trasparente il processo che porta dalle evidenze alle decisioni 18.

TROPPO DIFFICILE FARE STUDI RANDOMIZZATI SUI TRATTAMENTI PERSONALIZZATI O NON FARMACOLOGICI
La metodologia degli studi randomizzati ha subito un’evoluzione straordinaria negli ultimi decenni. Ciò ne ha aumentato la complessità, rendendo difficile a volte comprendere e valutare al meglio le possibili trappole di questi studi. Tuttavia, questa evoluzione li ha resi anche strumenti versatili in grado di adattarsi a esigenze e setting diversi.
C’è chi sostiene che sia molto difficile, se non impossibile, valutare attraverso studi randomizzati le terapie personalizzate, cioè quelle mirate a interagire con specifici target biologici presenti solo in alcuni sottogruppi di pazienti. Le popolazioni da studiare sarebbero così frammentate da trasformare quasi tutte le malattie in condizioni “rare” e rendere impraticabile l’inclusione di un numero sufficiente di partecipanti in uno studio randomizzato. Posto che il costrutto biologico alla base delle terapie personalizzate sia davvero validato (non è detto che i biomarcatori, pur plausibili, siano anche affidabili nel predire una prognosi o una risposta, paradigmatico il caso del PD1 nel tumore a piccole cellule del polmone) 19 occorre migliorare la capacità di collaborazione e allargare la prospettiva verso la conduzione di studi multicentrici e che escano dalle frontiere nazionali. Non dobbiamo dimenticare che la ricerca in ambito farmaceutico è ormai globale. Lo è, per definizione, quella industriale perché il mercato e i profitti sono globali. Ma anche la ricerca accademica ha imparato a unire gli sforzi e a collaborare, a volte spontaneamente oppure perché supportata da infrastrutture e reti di ricerca create appositamente a questo scopo 20. Ragionando su larga scala, dovrebbe essere quindi possibile identificare un numero adeguato di pazienti anche se appartenenti a sottogruppi con target biologici o sottotipi istologici meno frequenti. Inoltre, in tema di collaborazioni, è da sottolineare l’importanza di massimizzare il valore dei dati raccolti durante gli studi clinici, rendendone possibile la condivisione e il riutilizzo per ulteriori analisi da parte di altri gruppi di ricercatori 21.
Quando si tratta di valutare interventi non farmacologici come psicoterapia, tecniche chirurgiche, dispositivi medici, interventi educativi, campagne di informazione, ecc. è necessario mettere in campo strumenti metodologici complessi, ma è ancora possibile fare studi randomizzati. La letteratura è ricca di buoni esempi a cui ispirarsi22. Randomizzazioni di cluster, controlli sham, valutazione di esiti oggettivi o affidata a personale non coinvolto nella somministrazione dell’intervento sono solo alcuni esempi di strumenti disponibili per rendere possibili e affidabili studi randomizzati in questi contesti. Le preoccupazioni di Bothwell e co-autori secondo cui questi studi sono poco finanziati perché gli interessi economici orientano prevalentemente allo sviluppo e all’ottimizzazione di nuovi farmaci sono condivisibili. Questo limite non è certo legato agli studi randomizzati, ma all’incapacità delle nostre agende della ricerca di rispondere alle esigenze dei sistemi sanitari e dei pazienti.

GLI STUDI RANDOMIZZATI NON SONO PUBBLICATI
La fiducia negli studi clinici randomizzati e nella ricerca in generale è stata messa più volte in discussione a causa del fatto che le pubblicazioni scientifiche rappresentano i risultati in modo selettivo e distorto. Studi positivi vengono pubblicati più frequentemente e rapidamente e su riviste più importanti rispetto a quelli che non dimostrano differenze tra i trattamenti o addirittura dimostrano un effetto negativo del trattamento sperimentale. Anche quando pubblicati, metodi e risultati vengono spesso distorti al fine di magnificare effetti poco rilevanti e minimizzare tossicità ed eventi avversi. Il problema del reporting selettivo nella ricerca è purtroppo universale: affligge studi pre-clinici, osservazionali e randomizzati. Semplicemente per quest’ultimo tipo di studio esistono condizioni che favoriscono lo studio approfondito del fenomeno 23. La registrazione su registri pubblicamente accessibili (obbligatoria solo per gli studi sperimentali e nemmeno tutti) e le ormai quotidiane richieste da parte di finanziatori, enti regolatori, giornali scientifici e opinione pubblica di rendere disponibili i risultati di tutti gli studi clinici – in forma non solo di dati aggregati ma anche di dati individuali – sono esempi di tentativi di migliorare il sistema24. Tuttavia, questi interventi saranno sempre insufficienti fino a quando i ricercatori non si renderanno conto che pubblicare i propri risultati è davvero un obbligo morale e verranno presi provvedimenti seri in caso di mancata pubblicazione.
Gli ostacoli ad una corretta, completa e adeguata applicazione delle evidenze scientifiche alle decisioni sanitarie sono dunque molteplici ed insidiosi. Parte della soluzione a questo problema è pianificare, disegnare, condurre e riportare al meglio gli studi clinici randomizzati, facendo attenzione a minimizzare il più possibile le minacce alla validità di questi esperimenti25. Gli studi clinici e la ricerca in generale sono inoltre fortemente compromessi da conflitti di interesse. Se probabilmente è impossibile eliminarli del tutto, sarebbe opportuno limitare almeno quelli commerciali e dare più spazio ad una ricerca pubblica e indipendente. La trasparenza è un obbligo, ma è d’obbligo anche coltivare lo spirito critico di chi legge e valuta i risultati della ricerca.
Tra le conclusioni dell’articolo del NEJM leggiamo che “gli studi randomizzati non possono più essere considerati gli unici arbitri autorevoli per risolvere le dispute mediche, ma che nuovi approcci pragmatici e nuove metodologie come le metanalisi e i registri avranno un ruolo sempre più importante”. A parte il fatto che non è chiaro come si possano fare metanalisi senza studi primari, è davvero preoccupante leggere simili affermazioni su giornali ritenuti autorevoli. La pubblicazione di questo genere di articoli – per di più senza contraddittorio – non fa altro che evidenziare come sia in atto una costante pressione verso una pericolosa riduzione delle prove a sostegno dell’efficacia e della sicurezza dei trattamenti, movimento di cui alcune riviste scientifiche sembrano farsi portavoce e sostenitrici.
Rita Banzi, Chiara Gerardi
Laboratorio di Politiche Regolatorie del Farmaco
IRCCS – Istituto di Ricerche Farmacologiche
Mario Negri, Milano
rita.banzi@marionegri.it

Conflitti di interesse
Le autrici sono attivamente coinvolte nell’esecuzione di studi randomizzati e nella formazione e disseminazione della medicina basata sulle prove di efficacia.

BIBLIOGRAFIA
1. Prasad V. Other writing. www.vinayakkprasad.com/other-writing/ (ultimo accesso 04/07/2016).
2. Bothwell LE, Greene JA, Podolsky SH, Jones DS. Assessing the gold standard-lessons from the history of RCTs. N Engl J Med 2016; 374: 2175-8.
3. Ioannidis JP. Why Most Clinical Research Is Not Useful. PLoS Med 2016; 13:e1002049.
4. The Reward Alliance. www.rewardalliance.net/ (ultimo accesso 04/07/2016).
5. Yusuf S, Collins R, Peto R. Why do we need some large, simple randomized trials? Stat Med 1984; 3: 409‐20.
6. Shaw L, Chalmers T. Ethics in cooperative clinical trials. Ann N Y Acad Sci 1970; 169: 487-95.
7. Garattini S, Bertele’ V, Banzi R. Placebo? No thanks, it might be bad for me! Eur J Clin Pharmacol 2013; 69: 711-4.
8. Estellat C, Ravaud P. Lack of head-to-head trials and fair control arms: randomized controlled trials of biologic treatment for rheumatoid arthritis. Arch Intern Med 2012; 172: 237-44.
9. Psaty BM, Weiss NS, Furberg CD. Recent trials in hypertension: compelling science or commercial speech? JAMA 2006; 295: 1704-6.
10. Glasziou P, Chalmers I, Rawlins M, McCulloch P. When are randomised trials unnecessary? Picking signal from noise. BMJ 2007; 334: 349-51.
11. Traversa G. Chiarire il ruolo della Real World Evidence. Ricerca e Pratica 2016; 32:129-130.
12. Wikipedia, Confounding. https://en.wikipedia.org/wiki/Confounding (ultimo accesso 04/07/2016).
13. Hemkens LG, Contopoulos-Ioannidis DG, Ioannidis JP. Agreement of treatment effects for mortality from routinely collected data and subsequent randomized trials: meta-epidemiological survey. BMJ 2016; 352: i493.
14. Ioannidis JP, Haidich AB, Pappa M, et al. Comparison of evidence of treatment effects in randomized and nonrandomized studies. JAMA 2001; 286: 821-30.
15. Sanoff HK, Chang Y, Lund JL, O’Neil BH, Dusetzina SB. Sorafenib effectiveness in advanced hepatocellular Carcinoma. Oncologist 2016 pii: theoncologist 2015-0478.
16. Loudon K, Treweek S, Sullivan F, et al. The PRECIS-2 tool: designing trials that are fit for purpose. BMJ 2015; 350: h2147.
17. Tavazzi L, Maggioni AP, Tognoni G; GISSI Participation versus education: the GISSI story and beyond. Am Heart J 2004; 148: 222-9.
18. Alonso-Coello P, Oxman AD, Moberg J, et al.; GRADE Working Group. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 2: Clinical practice guidelines. BMJ 2016; 353: i2089.
19. Mok TS, Loong HH. Are we ready for immune checkpoint inhibitors for advanced non-small-cell lung cancer? Lancet 2016; 387: 1488-90.
20. European Clinical Research Infrastructure Network (ECRIN) www.ecrin.org Ultimo accesso 04/07/2016
21. Bauchner H, Golub RM, Fontanarosa PB. Data Sharing: An Ethical and Scientific Imperative. JAMA 2016; 315:1237-9.
22. Boutron I, Ravaud P, Moher D. Randomized Clinical Trials of Non-pharmacological Treatments. Boca Raton Florida. Chapman and Hall/CRC Edition, 2012.
23. Chan AW, Song F, Vickers A, et al. Increasing value and reducing waste: addressing inaccessible research. Lancet 2014; 383: 257-66.
24. All Trials Registered, All Results Reported www.alltrials.net/ (ultimo accesso 04/07/2016).
25. Garattini S, Jakobsen JC, Wetterslev J, et al. Evidence-based clinical practice: overview of threats to the validity of evidence and how to minimise them. Eur J Intern Med 2016; 32: 13-21.