Alcuni ricercatori hanno scoperto un aspetto nascosto e segreto che riguarda l’intelligenza artificiale. Ecco di cosa si tratta, nessuno ci aveva pensato.
L’intelligenza artificiale è nel pieno della sua fase di sviluppo tra bot, software creati ad hoc ed integrazione completa sui dispositivi più largamente diffusi. I prossimi anni molto probabilmente porteranno a funzionalità oggi ancora nemmeno immaginabili, grazie al lavoro di ingegneri e sviluppatori.
In parallelo, i ricercatori analizzano questi sistemi per individuarne tutte le caratteristiche e per evidenziare eventuali problemi o inesattezze. Di recente, alcuni esperti del MIT, di Harvard e dell’università di Chicago hanno riscontrato un aspetto fino ad ora tenuto segreto e nascosto dell’AI. La scoperta è a dir poco sorprendente e ora bisogna capire se e in che modo questo aspetto verrà migliorato.
Come l’intelligenza artificiale comprende i concetti
Di base, lo studio dei ricercatori si è focalizzato sul modo in cui gli strumenti di intelligenza artificiale e i modelli linguistici comprendono i concetti spiegati. Per dare un riferimento concreto, si è deciso di prendere come metro di paragone la cosiddetta comprensione Potemkin. Cosa si intende?
Questa definizione serve per descrivere una situazione in cui lo scopo è creare un’impressione più realistica della situazione stessa. Partendo da questo concetto, i ricercatori Marina Mancoridis, Bec Weeks, Keyon Vafa e Sendhil Mullainathan stimano che, nonostante i modelli linguistici abbiano successo nei test di benchmark, in realtà non comprendono realmente i loro compiti a livello concettuale.
All’interno del loro articolo, affermano che gli stessi modelli di AI creano delle allucinazioni concettuali, le quali portano a inventare falsi fatti con una coerenza in realtà fuorviante.
Il test che ha portato alla scoperta
Per comprendere meglio la tesi dei ricercatori, è stato effettuato un test sul modelli linguistico GPT-4o di OpenAI. Come prompt di comandi, si è chiesto all’intelligenza artificiale di spiegare meglio lo schema di rima ABAB delle poesie.
La risposta arrivata spiegava bene la formula, ma quando i ricercatori gli hanno chiesto di comporre una poesia usando ABAB come schema di rima, il risultato finale non ha rispettato le aspettative.
Cosa vuol dire tutto questo? Che un comportamento che suggerisce una comprensione umana, non sempre porta al tempo stesso a una comprensione analoga in modelli linguistici di grandi dimensioni. Per riuscire a mettere meglio alla prova i sistemi di AI, bisognerebbe porre loro domande non rivolte alla mente umana.
Una delle prossime sfide sarà quella di sviluppare nuovi modi per testare i modelli. O in alternativa, sebbene sia una via più difficile e ad oggi utopistica, sarebbe utile rimuovere il cosiddetto “comportamento Potemkin” dai modelli attualmente sul mercato.
© RIPRODUZIONE RISERVATA
