Una mia parente ha sentito storie strane mentre lavorava a una linea di assistenza sanitaria durante la pandemia di Covid. Il suo compito era aiutare le persone a eseguire i test rapidi antigenici, usati milioni di volte durante il lockdown. Ma alcuni chiamanti erano chiaramente confusi dalla procedura. “Allora, ho bevuto il liquido nella provetta. E ora cosa devo fare?” chiese uno.
Questa confusione dell’utente può sembrare un esempio estremo di un problema tecnologico comune: il modo in cui le persone comuni usano un prodotto o servizio nel mondo reale può divergere enormemente dalle intenzioni dei progettisti in laboratorio.
A volte questo uso improprio può essere intenzionale, nel bene o nel male. Ad esempio, l’organizzazione Reporters Without Borders ha cercato di proteggere la libertà di parola in vari paesi autoritari nascondendo contenuti vietati nel server del videogioco Minecraft. I criminali, nel frattempo, hanno utilizzato stampanti 3D domestiche per fabbricare armi non tracciabili. Più spesso, però, l’uso improprio è involontario, come nel caso dei test Covid. Possiamo chiamarlo il problema dell’uso involontario improprio, o “imp” in breve. I nuovi gremlins nelle macchine potrebbero essere proprio gli imp nei chatbot.
Prendiamo i chatbot a uso generale, come ChatGPT, che sono utilizzati dal 17 per cento degli americani almeno una volta al mese per autodiagnosi di problemi di salute. Questi chatbot hanno capacità tecnologiche sorprendenti, che fino a pochi anni fa sarebbero sembrate magia. In termini di conoscenza clinica, triage, sintesi di testi e risposte alle domande dei pazienti, i migliori modelli oggi possono eguagliare i medici umani, secondo vari test. Due anni fa, ad esempio, una madre britannica ha usato con successo ChatGPT per identificare una sindrome del midollo ancorato (relata alla spina bifida) nel figlio, che era stata mancata da 17 medici.
Questo apre la prospettiva che i chatbot possano un giorno diventare la nuova “porta d’ingresso” all’erogazione dei servizi sanitari, migliorando l’accesso a costi più bassi. Questa settimana, Wes Streeting, ministro della sanità britannico, ha promesso di aggiornare l’app del NHS usando l’intelligenza artificiale per offrire un “dottore in tasca che ti guida nella tua cura”. Ma i modi in cui questi strumenti potrebbero essere usati al meglio non corrispondono a come vengono usati più comunemente. Uno studio recente guidato dall’Oxford Internet Institute ha evidenziato alcune criticità preoccupanti, con utenti che faticano a utilizzarli in modo efficace.
I ricercatori hanno coinvolto 1.298 partecipanti in uno studio randomizzato e controllato per testare quanto bene riuscissero a usare i chatbot per rispondere a 10 scenari medici, tra cui mal di testa acuti, fratture e polmoniti. Ai partecipanti è stato chiesto di identificare la condizione medica e di trovare un’azione consigliata. Sono stati usati tre chatbot: GPT-4o di OpenAI, Llama 3 di Meta e Command R+ di Cohere, tutti con caratteristiche leggermente diverse.
Quando gli scenari di test venivano inseriti direttamente nei modelli AI, i chatbot identificavano correttamente le condizioni nel 94,9% dei casi. Tuttavia, i partecipanti facevano molto peggio: fornivano informazioni incomplete e i chatbot spesso interpretavano male i loro input, facendo crollare il tasso di successo al solo 34,5%. Le capacità tecnologiche dei modelli non erano cambiate, ma gli input umani sì, portando a risultati molto diversi. Peggio ancora, i partecipanti sono stati superati da un gruppo di controllo che non aveva accesso ai chatbot ma consultava motori di ricerca tradizionali.
I risultati di questi studi non significano che dovremmo smettere di usare i chatbot per i consigli medici. Ma suggeriscono che i progettisti dovrebbero prestare molta più attenzione a come le persone comuni potrebbero usare i loro servizi. “Gli ingegneri tendono a pensare che se la tecnologia viene usata male, sia colpa dell’utente. Ma considerare le competenze tecnologiche dell’utente è fondamentale per il design,” mi dice il fondatore di una compagnia di AI. Questo è particolarmente vero per chi cerca consigli medici: spesso sono persone disperate, malate o anziane che mostrano segni di deterioramento mentale.
Chatbot sanitari più specializzati potrebbero aiutare. Tuttavia, uno studio recente della Stanford University ha rilevato che alcuni chatbot terapeutici ampiamente usati per affrontare sfide legate alla salute mentale possono anche “introdurre pregiudizi ed errori che potrebbero avere conseguenze pericolose”. I ricercatori suggeriscono di includere più barriere di sicurezza, per raffinare i prompt degli utenti, richiedere proattivamente informazioni per guidare l’interazione e comunicare in modo più chiaro.
Le aziende tecnologiche e i fornitori di servizi sanitari dovrebbero anche condurre molti più test con utenti in condizioni reali, per assicurarsi che i modelli vengano usati correttamente. Sviluppare tecnologie potenti è una cosa; imparare a distribuirle efficacemente è un’altra. Attenzione agli imp.
© The Financial Times Limited 2025.
Tutti i diritti riservati. Non può essere ridistribuito, copiato o modificato in alcun modo.
Il Financial Times non è responsabile dell’accuratezza e della qualità di questa traduzione.
Money.it ha i diritti di ripubblicazione di alcuni articoli limitati del Financial Times. Questo non è un feed in tempo reale dei contenuti del Financial Times.
