Quando si parla di Intelligenza artificiale applicata alla sanità, una delle domande più frequenti sembra essere anche la più semplice: quale modello funziona meglio?
La tentazione è quella di costruire una classifica. Mettere a confronto diversi sistemi, sottoporli alle stesse domande, misurare accuratezza e qualità delle risposte e, alla fine, scegliere il modello che ha ottenuto il punteggio più alto.
È un approccio utile, ma non sufficiente.
A ricordarcelo è il confronto recentemente ospitato da Nature Medicine, rivista scientifica internazionale specializzata in ricerca biomedica e medicina, dove due ricercatori hanno messo in discussione alcuni aspetti metodologici di uno studio precedente dedicato al confronto tra modelli di Intelligenza artificiale general purpose e strumenti sviluppati specificamente per l'ambito clinico.
Al di là delle posizioni dei diversi autori, il dibattito porta alla luce una questione molto concreta: un risultato ottenuto in un benchmark non coincide necessariamente con la capacità di un sistema di funzionare bene all'interno di un processo sanitario reale.
Ed è proprio qui che la discussione sull'AI cambia prospettiva.
Dal benchmark al mondo reale
Lo studio iniziale, pubblicato a giugno sempre su Nature Medicine, aveva mostrato prestazioni superiori da parte di alcuni modelli general purpose rispetto a due strumenti di AI clinica in tre differenti valutazioni.
Un risultato interessante, soprattutto in un momento in cui i grandi modelli linguistici stanno rapidamente entrando nell'attenzione delle organizzazioni sanitarie e farmaceutiche.
Ma proprio l'interpretazione di questi risultati ha aperto un confronto.
Brett Beaulieu-Jones, dell'University of Chicago, e Shamim Nemati, dell'University of California San Diego, hanno evidenziato alcune criticità legate ai metodi di valutazione utilizzati. Tra gli elementi discussi ci sono la possibile presenza di fattori confondenti in alcuni benchmark, la limitata capacità di generalizzare i risultati ottenuti attraverso determinate query cliniche e il livello di dettaglio con cui sono stati descritti alcuni aspetti delle condizioni sperimentali.
Gli autori dello studio originale - Krithik Vishwanath, Yindalon Aphinyanaphongs ed Eric Karl Oermann - hanno successivamente risposto alle osservazioni, riconoscendo alcune limitazioni dei benchmark utilizzati, ma confermando la conclusione centrale del loro lavoro: nelle condizioni considerate, i modelli general purpose hanno mostrato prestazioni superiori anche nella valutazione basata su query cliniche reali.
Il punto, quindi, non è stabilire semplicemente chi abbia ragione.
Il valore del confronto sta piuttosto nella domanda che lascia aperta: quanto possiamo estendere ciò che osserviamo in un test a un contesto operativo completamente diverso?
Una risposta non basta: conta il contesto
Nel settore sanitario questa distinzione è particolarmente importante.
Un sistema di AI non viene utilizzato nel vuoto. Entra in un processo, lavora su determinate informazioni, interagisce con utenti specifici e opera all'interno di vincoli regolatori, organizzativi e di sicurezza.
Per questo anche aspetti apparentemente tecnici possono diventare determinanti.
La versione del modello, la configurazione dell'inferenza, le modalità con cui vengono generate le risposte e l'infrastruttura sulla quale il sistema viene eseguito possono influenzare il comportamento dell'AI. Inoltre, la ricerca ha evidenziato che alcuni modelli possono presentare variabilità nelle risposte anche quando si cerca di mantenere condizioni il più possibile controllate.
Di conseguenza, confrontare due sistemi significa necessariamente chiedersi come sono stati confrontati, con quali dati, in quale ambiente e per quale obiettivo.
È una differenza tutt'altro che teorica.
Un modello può ottenere risultati eccellenti rispondendo a domande mediche generiche e, nello stesso tempo, non essere automaticamente la soluzione più adatta per un'attività molto più specifica.
La domanda da fare non è "qual è la migliore?"
Per il settore pharma questo passaggio è particolarmente significativo.
Pensiamo, per esempio, alla Medical Information.
Qui non è sufficiente verificare se un sistema sa rispondere correttamente a una domanda clinica. Occorre capire come gestisce una richiesta ambigua, come distingue un'indicazione autorizzata da un utilizzo off-label, come tratta informazioni non aggiornate, come mette in relazione SmPC e letteratura scientifica e, soprattutto, se sa riconoscere il momento in cui non deve rispondere autonomamente, ma deve coinvolgere una persona.
Il criterio di valutazione cambia ancora quando l'AI viene utilizzata per attività di marketing.
In quel caso possono diventare centrali la correttezza dei claim, le fonti di riferimento, gli elementi obbligatori da riportare, le regole del brand e tutti i vincoli che caratterizzano la comunicazione promozionale in ambito farmaceutico.
La stessa AI, quindi, può essere eccellente in un'attività e non rappresentare necessariamente la scelta migliore in un'altra.
È questo uno dei principali insegnamenti che emergono dal dibattito di Nature Medicine: non esiste una prestazione dell'AI che possa essere valutata indipendentemente dal compito che le viene affidato.
Anche l'italiano può fare la differenza
C'è poi un altro elemento che spesso rischia di passare in secondo piano: la lingua.
Le performance dichiarate nei benchmark internazionali sono frequentemente costruite su dataset e scenari prevalentemente in lingua inglese. Ma un sistema destinato a operare in Italia può trovarsi davanti a esigenze differenti.
Terminologia scientifica, documentazione regolatoria, linguaggio professionale e sfumature semantiche possono assumere un peso rilevante.
Una traduzione apparentemente corretta non è necessariamente una risposta clinicamente o regolatoriamente adeguata.
Per questo la valutazione di un sistema destinato al mercato italiano dovrebbe comprendere anche casi reali in lingua italiana, costruiti sulle esigenze specifiche degli utenti e del processo nel quale l'AI sarà inserita.
Dalla demo alla valutazione interna
Il rischio, oggi, è replicare con l'Intelligenza artificiale un modello già conosciuto nel mondo del software: assistere a una demo, confrontare alcune funzionalità, guardare i risultati di benchmark pubblici e arrivare rapidamente a una graduatoria.
Ma una demo dimostra ciò che accade durante la demo.
Un benchmark misura ciò che è stato progettato per misurare.
Un processo sanitario, invece, presenta variabili, eccezioni e situazioni impreviste che devono essere considerate prima di affidare a un sistema un'attività concreta.
Da qui nasce una prospettiva diversa sul procurement dell'AI.
Il benchmark più importante non dovrebbe essere necessariamente quello messo a disposizione dal fornitore, ma quello costruito dall'organizzazione che dovrà utilizzare la tecnologia.
Casi d'uso reali, lingue realmente utilizzate, documenti effettivamente consultati, richieste frequenti, situazioni anomale ed errori che non possono essere tollerati: sono questi gli elementi che permettono di capire se una soluzione è davvero adatta allo scopo.
L'AI giusta è quella che conosce anche i propri limiti
La maturità dell'Intelligenza artificiale in sanità, quindi, non si misura soltanto dalla capacità di fornire una risposta corretta.
Conta anche la capacità di riconoscere quando una risposta non è sufficientemente affidabile.
In un ambiente sanitario questo aspetto diventa centrale: una soluzione efficace deve inserirsi in un sistema nel quale siano chiari i dati utilizzati, le fonti, i limiti del modello, i controlli previsti e il ruolo della supervisione umana.
È una logica che porta a superare la ricerca della "migliore AI" in assoluto.
La domanda più utile diventa un'altra:
quale tecnologia è sufficientemente affidabile per questo compito, in questo contesto, con questi dati e con questo livello di supervisione?
È una domanda meno spettacolare di una classifica tra modelli. Ma è probabilmente molto più importante.
Perché quando l'Intelligenza artificiale entra davvero nei processi sanitari, non si tratta più di scegliere semplicemente il modello che risponde meglio. Si tratta di costruire le condizioni perché quella risposta possa essere utilizzata in modo appropriato, sicuro e responsabile.
