La corsa notturna senza freni

La corsa notturna senza freni

Da Bangkok a Dublino il dibattito si sposta: non quanto sono potenti i modelli, ma fin dove lasciamo agire gli agenti. E Sutskever mette in dubbio il metro del progresso.

Diciotto ottobre. Due giorni fa, a Bangkok, davanti alla platea delle riunioni annuali del Fondo monetario internazionale, Jack Clark ha scelto una metafora da circuito per parlare di regole. La settimana scorsa, a Dublino, Demis Hassabis aveva usato un'immagine militare. E un fondatore di software, a San Francisco, ha pubblicato un post lungo sulle aziende che non parlava di aziende. Benvenuti su Signal Brief: tre gesti distanti, e sotto lo stesso tema, che non è la potenza di queste macchine ma il recinto in cui le lasciamo muovere. La giornata comincia a Bangkok.

Clark è cofondatore di Anthropic e si occupa della parte di interesse pubblico. Il sedici ottobre, a margine dei lavori di Fondo monetario e Banca mondiale, ha descritto l'intelligenza artificiale di frontiera come una monoposto di Formula 1 lanciata di notte, senza freni. Poi una frase più ruvida: la superintelligenza oggi è regolata meno dei giocattoli per bambini. E una richiesta precisa: leggi solide, istituti nazionali per la sicurezza di questi sistemi, e un principio che suona quasi banale, un modello collaudato una volta dovrebbe poter girare dappertutto senza ricominciare da zero.

Due giorni prima, al summit irlandese sull'intelligenza artificiale, Hassabis aveva parlato degli attacchi informatici condotti di recente da agenti automatici chiamandoli colpi d'avvertimento, e prevedendo che entro un anno o due possano arrivare offensive molto più serie. La sua lista di rimedi è concreta: provare i modelli più potenti in stanze isolate dalla rete, dare accesso anticipato a chi deve difendersi, banche e governi, moltiplicare per dieci le risorse dedicate alla sicurezza, costruire un organismo internazionale di certificazione sul modello di biologia e nucleare. Senza ingessare l'innovazione, precisa.

Il tredici ottobre, dalle colonne del New York Post, Andrew Ng ha dato dell'allarmismo una lettura completamente diversa: argomenti di sicurezza inventati, dice, per soffocare la concorrenza dei modelli aperti. Nessuno dei tre contesta i fatti tecnici. Il disaccordo è su chi incassa la paura.

Ieri il filo era un altro, e conviene dirlo in chiaro perché è il punto che si è spostato. Ventiquattro ore fa si parlava di chi verifica il lavoro delle macchine: Andrej Karpathy aveva descritto l'accesso alle capacità più avanzate come un imbuto affilato, e segnalato che la revisione umana sta restando indietro. Quella strettoia non è scomparsa. Ma la domanda si è abbassata di un gradino: non più chi controlla il risultato, bensì fin dove l'agente ha il permesso di arrivare prima che qualcuno guardi.

Yoshua Bengio ha portato questa domanda alla sua conseguenza più personale. In un saggio dell'otto ottobre ha invitato i ricercatori che hanno a cuore la sicurezza a lasciare le aziende di frontiera. Non un appello al legislatore: un appello all'individuo, con le dimissioni come strumento.

Patrick Collison, il nove ottobre, ha girato la questione dall'altro lato. In un post lungo sostiene che le aziende sono la superintelligenza originale: accumulano conoscenza organizzata e la usano contro l'attenzione limitata di chi compra. Se è così, l'agente personale non è una novità assoluta, è il primo contrappeso in favore del cliente.

Le ferrovie hanno corso per decenni con freni a mano e uomini appollaiati sui tetti dei vagoni. Il freno automatico ad aria compressa si è diffuso dopo, spinto dalle prime leggi che lo imposero. Le regole, quasi sempre, sono il sedimento degli incidenti.

C'è però una voce, questa settimana, che abbassa la domanda di un altro gradino ancora: non dove mettere il recinto, ma se gli strumenti con cui misuriamo i progressi dicano ancora qualcosa di vero.

Ilya Sutskever ha costruito buona parte dell'impalcatura teorica su cui poggiano i modelli di oggi, e dal 2024 guida un'azienda, Safe Superintelligence, che ha raccolto miliardi senza rilasciare nulla.

In una lunga conversazione con Dwarkesh Patel, circolata in questi giorni, racconta la storia del settore in tre atti. Dal 2012 al 2020, l'età della ricerca. Dal 2020 al 2025, l'età della scala: più dati, più schede grafiche, risultati che arrivavano quasi da soli. E ora, dice, si torna alla ricerca, ma con budget di calcolo enormemente più grandi. Nel mezzo del ragionamento inserisce l'osservazione che fa più rumore: i punteggi nei test crescono, l'impatto economico reale no, e i due numeri restano sorprendentemente slegati. Aggiunge che i modelli generalizzano molto meno bene degli esseri umani, e che quando li si spinge a ragionare più a lungo diventano meno prevedibili.

Vale la pena fermarsi su cosa significa. Negli anni ottanta un economista famoso notò che i computer si vedevano in ogni ufficio, tranne che nelle statistiche sulla produttività. Quel divario durò più di un decennio, poi si chiuse di colpo quando cambiarono i processi aziendali, non le macchine. Sutskever sta dicendo una cosa simile, al contrario: il termometro che usiamo per dire che stiamo migliorando misura una stanza diversa da quella in cui viviamo.

Il collegamento con il resto della giornata è diretto. Se la frontiera non è un fatto pubblicamente verificabile, come segnalava Karpathy, e se nemmeno i test dicono quanto valga davvero, allora il dibattito sul recinto si svolge nel buio di cui parla Clark. Non per cattiva fede: per mancanza di un metro condiviso.

Sutskever colloca sistemi capaci di imparare come fanno le persone in una finestra larghissima, tra cinque e vent'anni, e si aspetta che la sicurezza diventi politicamente inevitabile quando le capacità saranno evidenti a tutti. Intanto la sua scommessa è architettonica: costruire l'allineamento dentro il sistema, non appiccicarlo sopra a cose già fatte.

Un uomo che ha guidato l'età della scala e oggi dice che la scala, da sola, è finita. Chi ha vissuto il passaggio dai mainframe ai minicomputer riconoscerà la scena: le svolte le annuncia spesso chi ha costruito la fase precedente.

Patrick Collison guida Stripe, l'azienda che gestisce i pagamenti di mezza internet, e scrive raramente cose lunghe. Il nove ottobre ne ha scritta una.

L'argomento, nella sua formulazione, è che le aziende sono la prima intelligenza collettiva sovrumana della storia. Non in senso poetico: un'impresa ricorda, coordina, impara e sopravvive ai singoli, e questo vantaggio lo esercita sistematicamente contro il tempo e l'informazione limitata di chi le sta di fronte. Da lì la proposta: un agente personale che confronti prezzi, qualità, recensioni, assistenza e condizioni di disdetta indebolirebbe la pubblicità, i prezzi diversi per clienti diversi, gli abbonamenti dimenticati, i vantaggi di distribuzione. Collison la chiama una specie di sussidio strutturale ai prodotti davvero migliori.

La condizione che pone è severa, e la dice lui stesso: l'agente deve lavorare per chi compra, non per chi vende. E ammette di non sapere se il risultato sarà una concentrazione ancora maggiore su pochi prodotti vincenti o un incontro migliore tra gusti diversi e offerte diverse.

Un precedente esiste, e non è recente. Alla fine dell'Ottocento i cataloghi per corrispondenza arrivavano nelle case americane con i prezzi stampati sopra, e tolsero al negoziante di paese il suo vantaggio più solido: essere l'unico a sapere quanto costavano le cose. L'agente che compara condizioni di disdetta fa, con altri mezzi, lo stesso lavoro.

Nello stesso periodo Collison ha raccontato come questa roba funziona dentro casa sua: circa il cinquantacinque per cento delle modifiche al codice di Stripe nasce come richiesta in linguaggio naturale a strumenti agentici interni, e alcuni progetti sono andati sei volte più veloci. Intanto l'azienda si prepara a transazioni fatte da macchine con altre macchine.

Il contrasto con la giornata è netto. Paul Graham legge il blocco degli agenti d'acquisto da parte di Amazon come la più grande apertura per un concorrente dalla nascita dell'azienda, perché ogni divieto segnala una domanda insoddisfatta. Clark guarda la stessa creatura e vede una macchina senza freni. Collison vede un avvocato che finalmente sta dalla parte giusta del tavolo. Sono tre descrizioni dello stesso oggetto, e dipendono tutte da per conto di chi quell'oggetto agisce.

Mira Murati ha lasciato OpenAI nel 2024 dopo averne guidato la tecnologia, e ha fondato Thinking Machines Lab. Il quindici ottobre ha messo in evidenza una frase che sembra tecnica e invece è commerciale: portare un'idea fino dentro pesi che sono tuoi.

I pesi sono i numeri che un modello ha imparato durante l'addestramento: in pratica, il modello stesso. Il prodotto dell'azienda, chiamato Tinker, permette a un cliente di specializzare un modello sui propri dati e tenersi il risultato, invece di ottenere un permesso d'accesso che qualcun altro può modificare o revocare. L'obiettivo dichiarato è trasformare competenze molto specifiche in modelli utilizzabili, senza passare per sistemi generici e chiusi.

Il sette ottobre Naval Ravikant aveva scommesso sull'esatto opposto. Il software ordinario, sostiene, sta perdendo capacità di difendersi, perché gli agenti lo riscrivono; l'ultimo fossato resta il modello, perché chi lo possiede farà di tutto per impedire che venga copiato, spingendo sempre più cose dietro server e interfacce remote. Il giorno dopo ha aggiunto una battuta tagliente sull'apertura, suggerendo che certe offerte aperte servano soprattutto a vedere il codice di chi le usa.

Due mappe dello stesso stack, con il valore in posti diversi. È un film già visto: negli anni sessanta si affittava tempo di calcolo su una macchina lontana, poi è arrivato il minicomputer e le aziende hanno voluto la macchina in casa, poi il cloud ha riportato tutto lontano. La proprietà oscilla, e ogni oscillazione viene presentata come definitiva.

Attorno a Murati i numeri sono grossi: Nvidia si è impegnata a fornire almeno un gigawatt di capacità di calcolo di prossima generazione, e tra i consulenti sono arrivati ricercatori di peso usciti da OpenAI. La tensione è sull'esecuzione, perché nel frattempo alcune persone dei primi mesi se ne sono andate verso Meta.

Quello che mi sembra interessante è un effetto laterale. Se i pesi li possiede il cliente, il recinto di cui parlavano Clark e Hassabis non è più tracciabile in un posto solo. Si moltiplica insieme alle copie.

Mettiamo in fila le tessere, per chi si è distratto un momento: oggi la discussione non riguarda quanto siano capaci questi sistemi, ma dove stia il confine della loro azione, e chi abbia l'autorità di disegnarlo. Yoshua Bengio ha risposto spostando il confine dentro le persone.

Bengio è uno dei ricercatori che hanno reso possibile l'apprendimento profondo, e da qualche anno ha riconvertito la propria voce pubblica alla sicurezza. L'otto ottobre, in un saggio sul suo sito, ha scritto che chi mette la sicurezza al primo posto dovrebbe lasciare le aziende di frontiera, perché gli incentivi commerciali stanno accelerando proprio i danni previsti da anni. Il tredici ha promosso una lettera aperta firmata da oltre quattrocento ricercatori, che chiede alle comunità della sicurezza informatica e dell'allineamento di lavorare insieme per proteggere le infrastrutture critiche, e ha firmato con Lawrence Lessig un intervento sull'Economist a favore di regole concrete dopo gli attacchi recenti. Il sedici è tornato sul punto che gli sta più a cuore: un modello che ottimizza l'obiettivo sbagliato produce danni reali di dimensioni crescenti. Nello stesso messaggio ha annunciato che quest'anno non prenderà nuovi studenti al suo istituto di Montreal.

Sull'episodio degli agenti usati per attaccare sistemi informatici, la sua lettura divide: non si tratta di una svista di configurazione o di un problema di sicurezza perimetrale, dice, ma della prova che quei sistemi perseguono obiettivi diversi da quelli che credevamo di avergli dato.

La sua alternativa tecnica ha un nome quasi scolastico, Scientist AI, e un'idea semplice: costruire sistemi che prevedono e spiegano senza agire, con garanzie dimostrabili, invece di sistemi che agiscono.

Non è una posizione isolata. Geoffrey Hinton, in queste settimane, chiede un'autorità che approvi i modelli potenti prima del rilascio, come si fa con i farmaci, e difende la sua stima di un rischio a due cifre.

E qui l'accusa di Andrew Ng torna a mordere. Chiedere di rallentare, nelle sue parole, favorisce chi è già grande. Bengio chiede alle persone di uscire dalle stanze dove si decide. Entrambe le mosse, se funzionassero alla lettera, lascerebbero quelle stanze più vuote di chi fa domande.

Due uomini molto diversi hanno descritto la stessa cosa questa settimana, e nessuno dei due si è accorto di essere d'accordo con l'altro.

David Heinemeier Hansson, che ha inventato il modo in cui mezza internet scrive applicazioni web e oggi guida la tecnologia di 37signals, ha dichiarato chiuse le matite. Nella sua azienda il codice scritto a mano non è più l'opzione predefinita: gli agenti scrivono, le persone danno la direzione e rivedono. Il suo esempio più forte è Omarchy, la sua distribuzione Linux: l'ultima versione importante, racconta, è stata prodotta essenzialmente tutta dalle macchine. Ha anche ammesso il limite, e l'ammissione conta più del vanto: sui prodotti maturi, Basecamp e HEY, lo stesso metodo funziona molto peggio. Nel frattempo si diverte a far riscrivere agli agenti uno dei suoi programmi in Elixir, Go e Rust, per confrontare le prestazioni.

François Chollet, che ha costruito strumenti usati da milioni di programmatori e progetta i test più ostinati sulla generalità dei modelli, ha osservato una cosa apparentemente contraddittoria: gli agenti scrivono quasi tutto il codice, e gli ingegneri sono più numerosi e più occupati di prima. Automatizzare la produzione del codice, aggiunge, non migliora automaticamente i risultati di un'azienda. La strettoia non è sparita, si è spostata altrove.

Il precedente classico è quello degli sportelli bancari automatici. Quando arrivarono, sembrava la fine del cassiere. Il numero di cassieri crebbe, perché aprire una filiale costava meno e le filiali si moltiplicarono, mentre il mestiere cambiava: meno contanti, più consulenza. Il lavoro non spariva, migrava.

Chollet insiste su un'altra cosa, e sembra la più importante: l'intelligenza richiede contatto continuo con la realtà, e il ragionamento che gira a vuoto non vale niente. Chiede di non delegare la comprensione.

È esattamente la strettoia che Karpathy ha segnalato ieri, vista dal lato dell'officina. Se gli agenti producono più di quanto una persona riesca a capire, allora il perimetro di cui discutono a Bangkok e a Dublino non è solo giuridico. Passa dentro la testa di chi deve dire sì.

Progetti da osservare.

Buzz, di Block, è una piattaforma aperta dove persone e agenti lavorano nella stessa squadra, con una differenza che pesa: ogni agente ha un'identità sua e permessi suoi. È il recinto di cui si parla da stamattina, scritto come software invece che come legge.

Browser-use permette a un agente di muoversi dentro un browser come farebbe una persona, cliccando e leggendo pagine. È l'infrastruttura degli agenti d'acquisto indipendenti che Graham vede come la crepa nel muro di Amazon.

Hugging Face, il cinque ottobre, ha aperto il suo archivio pubblico agli ambienti di addestramento: le palestre in cui un agente impara per tentativi si possono ora condividere come si condividono i dati. È un colpo all'imbuto, perché abbassa la soglia per valutare agenti fuori dai laboratori di frontiera.

Ai-memory, di Fabio Akita, dà agli agenti una memoria che dura oltre la sessione. Serve ai progetti lunghi, dove il collo di bottiglia è la persona che rivede.

L'ultimo non è software. È la bozza di una legge sulla regolazione dell'intelligenza artificiale, uscita da Anthropic e circolata come documento riservato, ora commentata pubblicamente. Chi scrive il perimetro, in questa storia, è anche chi corre nella monoposto. Tenere insieme le due cose è il problema politico dei prossimi mesi.

Una monoposto che corre di notte, un termometro che misura la stanza sbagliata, un catalogo con i prezzi stampati sopra. Tre immagini della stessa settimana, e nessuna parla di quanto siano intelligenti le macchine. Parlano tutte di quanto vediamo mentre le lasciamo andare. È stato Signal Brief. Alla prossima.