Google: nessuna azienda dominerà il mercato dell’AI, il futuro è dell’open source

Il testo che segue è la traduzione di un documento trapelato molto di recente, condiviso da un individuo anonimo su un server pubblico Discord che ha concesso il permesso di ripubblicarlo. E’ dichiarata come provieniente da un ricercatore di Google ma non ci è possibile verificarne direttamente l’autenticità per quanto diverse fonti l’abbiano data per verificata.
Le uniche modifiche apportate riguardano la formattazione e la rimozione dei link a pagine web interne.

Il documento rappresenta solo l’opinione di un dipendente di Google, non dell’intera azienda. Indipendentemente dal consenso che possa avere nella comunità di sviluppo dell’AI, pubblichiamo questo documento per il punto di vista molto interessante che pone sul mondo dell’AI e sul suo futuro sviluppo.

Non abbiamo protezioni, e nemmeno OpenAI

Ci siamo guardati molto alle spalle rispetto a OpenAI. Chi taglierà il prossimo traguardo? Quale sarà la prossima mossa?

Ma la scomoda verità è che non siamo in grado di vincere questa corsa agli armamenti e nemmeno OpenAI. Mentre noi ci accapigliamo, una terza fazione si sta tranquillamente mangiando il nostro pranzo.

Sto parlando, ovviamente, dell’open source. In parole povere, ci stanno superando. Le cose che noi consideriamo «grandi problemi aperti» sono oggi risolte e nelle mani della gente. Solo per citarne alcuni:

• LLM su un telefono: Le persone eseguono modelli di fondazione su un Pixel 6 a 5 token/sec.
• IA personale scalabile: è possibile mettere a punto un’IA personalizzata sul proprio laptop in una sera.
• Rilascio responsabile: Questo non è tanto «risolto» quanto «evitato». Ci sono interi siti web pieni di modelli artistici senza alcuna restrizione, e il testo non è da meno.
• Multimodalità: L’attuale SOTA multimodale di ScienceQA è stato addestrato in un’ora.

Sebbene i nostri modelli abbiano ancora un leggero vantaggio in termini di qualità, il divario si sta riducendo in modo sorprendente. I modelli open-source sono più veloci, più personalizzabili, più privati e più capaci. Fanno cose con 100 dollari e 13 miliardi di parametri che noi fatichiamo a fare con 10 milioni di dollari e 540 miliardi. E lo fanno in settimane, non in mesi. Questo ha profonde implicazioni per noi:

Non abbiamo una ricetta segreta. La nostra migliore speranza è quella di imparare e collaborare con ciò che altri stanno facendo al di fuori di Google. Dovremmo dare priorità all’abilitazione delle integrazioni 3P.

Le persone non pagheranno per un modello limitato quando le alternative gratuite e senza restrizioni sono di qualità comparabile. Dovremmo considerare dove si trova realmente il nostro valore aggiunto.

I modelli giganti ci rallentano. Nel lungo periodo, i modelli migliori sono quelli che possono essere iterati rapidamente. Dovremmo fare in modo che le piccole varianti siano più che un ripensamento, ora che sappiamo cosa è possibile fare nel regime dei parametri <20B.

Cosa è successo
All’inizio di marzo la comunità open source ha messo le mani sul suo primo modello di fondazione veramente capace, poiché LLaMA di Meta è stato reso pubblico. Non aveva alcuna istruzione, né sintonizzazione della conversazione, né RLHF. Ciononostante, la comunità capì immediatamente l’importanza di ciò che le era stato dato.

Seguì un’enorme ondata di innovazioni, con pochi giorni di intervallo tra gli sviluppi più importanti (si veda la Timeline per la ripartizione completa). Eccoci qui, appena un mese dopo, e ci sono varianti con la messa a punto delle istruzioni, la quantizzazione, i miglioramenti della qualità, le valutazioni umane, la multimodalità, l’RLHF, ecc. ecc.

L’aspetto più importante è che hanno risolto il problema della scalabilità in modo tale che chiunque possa armeggiare. Molte delle nuove idee provengono da persone comuni. La barriera d’ingresso per la formazione e la sperimentazione è scesa dalla produzione totale di un’importante organizzazione di ricerca a una persona, una serata e un portatile robusto.

Perché avremmo potuto prevederlo
Per molti versi, questo non dovrebbe essere una sorpresa per nessuno. L’attuale rinascita dei LLM open source segue a ruota la rinascita della generazione di immagini. Le somiglianze non sono sfuggite alla comunità, e molti hanno definito questo il «momento di diffusione stabile» per i LLM.

In entrambi i casi, il coinvolgimento del pubblico a basso costo è stato reso possibile da un meccanismo molto più economico per la regolazione fine, chiamato adattamento a basso rango (LoRA), combinato con un significativo passo avanti nella scala (diffusione latente per la sintesi di immagini, Chinchilla per i LLM). In entrambi i casi, l’accesso a un modello di qualità sufficientemente elevata ha dato il via a una raffica di idee e iterazioni da parte di individui e istituzioni di tutto il mondo. In entrambi i casi, questo ha rapidamente superato i grandi attori.

Questi contributi sono stati fondamentali nello spazio della generazione di immagini, facendo imboccare a Stable Diffusion una strada diversa da quella di Dall-E. La presenza di un modello aperto ha portato a integrazioni di prodotti, marketplace, interfacce utente e innovazioni che non si erano verificate per Dall-E.

L’effetto è stato palpabile: un rapido dominio in termini di impatto culturale rispetto alla soluzione OpenAI, che è diventata sempre più irrilevante. Resta da vedere se la stessa cosa accadrà per i LLM, ma gli elementi strutturali di base sono gli stessi.

Cosa ci siamo persi
Le innovazioni che hanno alimentato i recenti successi dell’open source risolvono direttamente problemi con cui stiamo ancora lottando. Prestare maggiore attenzione al loro lavoro potrebbe aiutarci a non reinventare la ruota.

LoRA è una tecnica incredibilmente potente a cui dovremmo prestare maggiore attenzione.

LoRA funziona rappresentando gli aggiornamenti del modello come fattorizzazioni a basso rango, il che riduce le dimensioni delle matrici di aggiornamento di un fattore fino a diverse migliaia. Ciò consente di perfezionare il modello a costi e tempi molto ridotti. La possibilità di personalizzare un modello linguistico in poche ore su un hardware di consumo è un’impresa non da poco, soprattutto per le aspirazioni che prevedono l’incorporazione di nuove e diverse conoscenze in tempo quasi reale. Il fatto che questa tecnologia esista è poco sfruttato all’interno di Google, anche se ha un impatto diretto su alcuni dei nostri progetti più ambiziosi.

La riqualificazione dei modelli da zero è il percorso più difficile
Parte di ciò che rende LoRA così efficace è che, come altre forme di messa a punto, è sovrapponibile. Miglioramenti come la messa a punto delle istruzioni possono essere applicati e poi sfruttati man mano che altri collaboratori aggiungono il dialogo, il ragionamento o l’uso di strumenti. Sebbene le singole regolazioni fini siano di basso rango, la loro somma non deve necessariamente esserlo, consentendo di accumulare nel tempo aggiornamenti di rango pieno al modello.

Ciò significa che, man mano che si rendono disponibili nuovi e migliori set di dati e compiti, il modello può essere aggiornato a basso costo, senza dover sostenere il costo di un’esecuzione completa.

Al contrario, l’addestramento di modelli giganti da zero non solo getta via il preaddestramento, ma anche tutti i miglioramenti iterativi che sono stati fatti in precedenza. Nel mondo open source, non ci vuole molto prima che questi miglioramenti dominino, rendendo una riqualificazione completa estremamente costosa.

Dobbiamo riflettere se ogni nuova applicazione o idea ha davvero bisogno di un modello completamente nuovo. Se davvero ci sono miglioramenti architettonici importanti che precludono il riutilizzo diretto dei pesi del modello, allora dovremmo investire in forme più aggressive di distillazione che ci permettano di mantenere il più possibile le capacità della generazione precedente.

I modelli di grandi dimensioni non sono più performanti nel lungo periodo se possiamo iterare più velocemente su modelli piccoli.
Gli aggiornamenti LoRA sono molto economici da produrre ( 100 dollari) per i modelli di dimensioni più comuni. Ciò significa che quasi chiunque abbia un’idea può generarne uno e distribuirlo. I tempi di formazione inferiori a un giorno sono la norma. A questo ritmo, non ci vuole molto prima che l’effetto cumulativo di tutte queste messe a punto superi il fatto di partire con uno svantaggio dimensionale. In effetti, in termini di ore-ingegnere, il ritmo di miglioramento di questi modelli supera di gran lunga quello che possiamo ottenere con le nostre varianti più grandi, e le migliori sono già ampiamente indistinguibili da ChatGPT. Concentrarsi sulla manutenzione di alcuni dei modelli più grandi del pianeta ci mette in realtà in una posizione di svantaggio.

La qualità dei dati si scala meglio delle dimensioni dei dati
Molti di questi progetti risparmiano tempo addestrandosi su piccoli set di dati altamente curati. Ciò suggerisce che esiste una certa flessibilità nelle leggi di scalabilità dei dati. L’esistenza di questi insiemi di dati deriva dalla linea di pensiero di Data Doesn’t Do What You Think e sta rapidamente diventando il modo standard di fare formazione al di fuori di Google. Questi set di dati sono costruiti utilizzando metodi sintetici (ad esempio filtrando le migliori risposte da un modello esistente) e recuperando da altri progetti, nessuno dei quali è dominante in Google. Fortunatamente, questi set di dati di alta qualità sono open source e possono essere utilizzati gratuitamente.

Competere direttamente con l’open source è una proposta perdente
Questi recenti progressi hanno implicazioni dirette e immediate per la nostra strategia aziendale. Chi pagherebbe per un prodotto di Google con restrizioni d’uso se esiste un’alternativa gratuita e di alta qualità senza restrizioni?

E non dobbiamo aspettarci di essere in grado di recuperare. L’Internet moderno si basa sull’open source per un motivo. L’open source ha alcuni vantaggi significativi che non possiamo replicare.

Abbiamo più bisogno noi di loro che loro di noi
Mantenere segreta la nostra tecnologia è sempre stata una proposta tenue. I ricercatori di Google partono regolarmente per altre aziende, quindi possiamo presumere che sappiano tutto quello che sappiamo e che continueranno a saperlo finché la pipeline sarà aperta.

Ma mantenere un vantaggio competitivo nella tecnologia diventa ancora più difficile ora che la ricerca d’avanguardia nei LLM è accessibile. Gli istituti di ricerca di tutto il mondo si basano l’uno sul lavoro dell’altro, esplorando lo spazio delle soluzioni con un’ampiezza che supera di gran lunga le nostre capacità. Possiamo cercare di tenerci stretti i nostri segreti mentre l’innovazione esterna ne diluisce il valore, oppure possiamo cercare di imparare gli uni dagli altri.

Gli individui non sono vincolati dalle licenze nella stessa misura delle aziende.
Gran parte di questa innovazione sta avvenendo sulla base dei pesi del modello trapelato da Meta. Anche se questo cambierà inevitabilmente con il miglioramento dei modelli veramente aperti, il punto è che non devono aspettare. La copertura legale offerta dall’«uso personale» e l’impossibilità di perseguire i singoli individui fanno sì che questi ultimi abbiano accesso a queste tecnologie finché sono calde.

Essere il proprio cliente significa capire il caso d’uso
Sfogliando i modelli che le persone stanno creando nello spazio della generazione di immagini, si nota una grande creatività, dai generatori di anime ai paesaggi HDR. Questi modelli sono utilizzati e creati da persone che sono profondamente immerse nel loro particolare sottogenere e che conferiscono una profondità di conoscenza e di empatia che non possiamo sperare di eguagliare.

Possedere l’ecosistema: Lasciare che l’Open Source lavori per noi
Paradossalmente, l’unico chiaro vincitore in tutto questo è Meta. Poiché il modello trapelato era il loro, hanno effettivamente raccolto il valore di un intero pianeta di lavoro gratuito. Dal momento che la maggior parte delle innovazioni open source avviene sulla loro architettura, nulla impedisce loro di incorporarle direttamente nei loro prodotti.

Il valore di possedere l’ecosistema non può essere sottovalutato. Google stessa ha utilizzato con successo questo paradigma nelle sue offerte open source, come Chrome e Android. Possedendo la piattaforma in cui avviene l’innovazione, Google si consolida come leader di pensiero e come regista, guadagnandosi la capacità di plasmare la narrazione di idee più grandi di lei.

Più controlliamo strettamente i nostri modelli, più rendiamo attraenti le alternative aperte. Google e OpenAI hanno entrambi gravitato in modo difensivo verso modelli di rilascio che consentono loro di mantenere uno stretto controllo sulle modalità di utilizzo dei loro modelli. Ma questo controllo è una finzione. Chiunque voglia utilizzare i LLM per scopi non autorizzati può semplicemente scegliere tra i modelli liberamente disponibili.

Google dovrebbe affermarsi come leader della comunità open source, assumendo un ruolo di guida e collaborando con la conversazione più ampia, anziché ignorarla. Questo probabilmente significa fare qualche passo scomodo, come pubblicare i pesi dei modelli per le piccole varianti di ULM. Ciò significa necessariamente rinunciare a un certo controllo sui nostri modelli. Ma questo compromesso è inevitabile. Non possiamo sperare di guidare l’innovazione e allo stesso tempo controllarla.

Epilogo: E OpenAI?
Tutto questo parlare di open source può sembrare ingiusto, vista l’attuale politica di chiusura di OpenAI. Perché dobbiamo condividere, se loro non lo faranno? Ma il fatto è che stiamo già condividendo tutto con loro, sotto forma di un flusso costante di ricercatori senior che ci vengono sottratti. Finché non arginiamo questa marea, la segretezza è un punto irrilevante.

E alla fine, OpenAI non ha importanza. Stanno commettendo i nostri stessi errori nella loro posizione rispetto all’open source e la loro capacità di mantenere un vantaggio è necessariamente in discussione. Le alternative open source possono e finiranno per eclissarli, a meno che non cambino posizione. Almeno da questo punto di vista, possiamo fare la prima mossa.