Chiedere tempo mentre si corre

Chiedere tempo mentre si corre

Il capo di un laboratorio di frontiera chiede uno o due anni di respiro, mentre prepara una quotazione da centinaia di miliardi. E il rischio cyber smette di essere un'ipotesi.

Ieri il discorso ruotava attorno a una domanda di mestiere: chi scrive il software, se a scriverlo sono gli agenti. Oggi, 3 novembre 2026, Signal Brief si sposta di un passo, dal mestiere al governo. Perché nelle ultime due settimane qualcuno ha chiesto di rallentare, e l'ha chiesto da dentro il laboratorio che corre più forte. Un saggio di poche pagine in California. Una tabella con il conto degli attacchi riusciti. Una centrale elettrica in Kazakistan. Tre scene lontanissime fra loro. Il filo è lo stesso.

Il saggio si intitola We Must Pace the Frontier, lo ha scritto Dario Amodei, che guida Anthropic, ed è uscito a settembre. La richiesta si riassume in una riga: non fermare la ricerca, ma rallentare la corsa sulle capacità quanto basta a guadagnare uno o due anni. Il tempo di capire come funzionano i modelli dentro, di costruire valutazioni che significhino qualcosa, di far entrare qualcuno da fuori a guardare. Non è un appello generico. La proposta è in tre mosse, e la prima prevede che controllori indipendenti abbiano accesso permanente, allo stesso livello di un dipendente, con il diritto di pubblicare anche i risultati scomodi. Anthropic dichiara di averla già avviata.

Quello che rende la scena nuova è chi parla. Non un filosofo, non un regolatore europeo: il capo di uno dei tre o quattro laboratori che la corsa la fanno. È la differenza fra un allarme suonato da fuori e un freno tirato da dentro.

Un precedente esiste. Nel 1975, ad Asilomar, in California, un gruppo di biologi molecolari si riunì per decidere da sé quali esperimenti sul DNA ricombinante sospendere, prima che glielo imponesse qualcun altro. Una moratoria scritta da chi aveva le pipette in mano. Tenne, almeno per un po', perché i laboratori erano pochi e il denaro in gioco era modesto.

Qui il denaro in gioco non è modesto. Il 29 ottobre le ricostruzioni sui documenti depositati da Anthropic in vista della quotazione in borsa parlano di centinaia di miliardi di spesa prevista per rendere Claude più potente. Chiedere respiro e firmare quel piano sono la stessa settimana della stessa persona. Non la chiamerei ipocrisia: la chiamerei una posizione fragile. Chi tira il freno mentre preme l'acceleratore ha bisogno che freni anche il concorrente, altrimenti rallenta soltanto sé stesso.

Yoshua Bengio, dalla stessa premessa, arriva al punto successivo: in un intervento sul suo blog sostiene che chi mette la sicurezza al primo posto dovrebbe andarsene dai laboratori di frontiera. Andrew Ng, in un'intervista video, taglia dall'altro lato: una parte dell'allarme sul rischio esistenziale, dice, è alimentata dalla raccolta fondi e dalla concorrenza fra regolatori. Tre posizioni incompatibili sul passo da tenere.

E però, su una cosa, si chiudono. Il rischio cyber. Qui, nelle ultime due settimane, è cambiato il tipo di discorso: ha smesso di essere un'ipotesi da convegno ed è diventato una misura. Dan Lahav, che guida la società di valutazione Irregular, ha pubblicato il 29 ottobre il risultato di test controllati su GLM-5.3, un modello cinese a pesi aperti: tre scenari d'attacco completati su tredici, e nessun compito offensivo rifiutato. Numeri, su un modello con un nome e una versione. Vitalik Buterin, pochi giorni prima, ha approvato una scelta opposta e complementare: Moonshot ha togliere le capacità offensive di punta dai dati di addestramento del suo Kimi 3.1. Perfino Ng considera il cyber il rischio più credibile.

Ieri, in questo podcast, la domanda era dove si deposita il lavoro umano quando l'agente costruisce. Oggi la domanda è un'altra: chi decide il passo, e dove. Perché mentre i laboratori negoziano in verticale una pausa, il potere si sta spostando in orizzontale, verso l'energia e il territorio. Si comincia da chi ha chiesto il freno.

Dario Amodei dirige Anthropic, l'azienda che fa Claude, e scrive. Scrive saggi lunghi, firmati, pubblicati sul suo sito, che nel settore vengono letti come documenti di posizione. Questo è il tratto che lo distingue dai suoi pari, che preferiscono il palco e il podcast.

Il saggio di settembre ha una struttura precisa. Primo passo: osservatori esterni dentro l'azienda, in modo permanente, con la possibilità di esaminare l'addestramento, indagare sugli incidenti e pubblicare quello che trovano. Secondo: standard coordinati fra governi democratici e laboratori. Terzo: un coordinamento globale, Cina compresa. Anthropic afferma di aver avviato il primo punto, ed è l'unica delle tre mosse che non dipenda dal consenso di nessun altro.

Poi c'è l'altro documento di questa settimana, quello che non è un saggio. I resoconti del 29 ottobre sulla preparazione della quotazione descrivono l'intenzione di spendere centinaia di miliardi su sistemi Claude più potenti, e raccontano anche voci meno nobili: i costi di sicurezza, le minacce ai dirigenti. Il quadro che ne esce è coerente nella sua contraddizione: correre, ma istituzionalizzare il controllo su chi corre.

La tenuta di quella posizione è il vero punto. Un laboratorio che chiede un anno o due di respiro a sé stesso, finanziandosi su mercati che premiano l'accelerazione, è un equilibrio instabile per costruzione. Funziona solo se diventa regola comune, cioè se arriva la seconda mossa, quella che dipende dai governi. È la logica degli accordi navali fra le due guerre mondiali: le flotte accettano un limite solo se lo accettano tutte, e durano finché nessuno bara.

Bengio, letta da qui, non è un avversario di Amodei: è la sua conclusione portata un passo oltre. Se restare dentro significa dover sempre preferire la velocità, allora chi ha la sicurezza come priorità sta nel posto sbagliato, e tanto vale andarsene e costruire altrove. Bengio lo fa: la sua organizzazione no profit, LawZero, lavora su sistemi non agentici, pensati per vigilare sugli altri più che per agire.

Mi sembra che la scelta fra i due non sia ancora leggibile. Riformare dall'interno dettando il passo, oppure uscire e costruire il contrappeso. La storia industriale offre esempi in entrambe le direzioni, e quasi mai la ragione stava tutta da una parte.

Dan Lahav fa un lavoro che cinque anni fa non esisteva: mette i modelli in una stanza chiusa e prova a usarli per attaccare qualcosa. La sua società, Irregular, lavora con i laboratori di frontiera e con i governi, e vende una cosa semplice: i numeri di quanto un modello è bravo a fare danni.

Il 29 ottobre ha pubblicato i risultati sul modello GLM-5.3 di Zhipu, laboratorio cinese che ne distribuisce i pesi pubblicamente. Su tredici scenari di attacco a più stadi, il modello ne ha portati a termine tre almeno una volta. E non ha rifiutato nessuno dei compiti offensivi che gli sono stati dati.

La parte che conta è il disegno del test. Fino a ieri si verificava se un modello sapeva scrivere un singolo pezzo di codice malevolo. Qui si verifica se sa condurre un'operazione intera, concatenata, dall'inizio alla fine. È lo stesso passaggio che le automobili hanno fatto quando hanno smesso di essere giudicate sulla tenuta dei freni e si è iniziato a lanciarle contro un muro con un manichino dentro. Non più il componente: l'incidente completo.

Da questo Lahav ricava una conclusione che riguarda chi si difende. Gli strumenti classici, il monitoraggio e la ricerca di comportamenti anomali, sono tarati su attacchi che si notano. Agenti che si coordinano, si adattano e lavorano attraverso strumenti perfettamente ordinari non si notano. La difesa, quindi, deve spostarsi prima: provare ad attaccare sé stessi, prima di mettere in produzione. Nei prossimi giorni porterà il tema a Londra, in un intervento intitolato intorno alla questione del restare in controllo.

Il collegamento con il filo di oggi è diretto, e in un certo senso scomodo per Amodei. Il rischio non è più una previsione da pesare contro le promesse: è una riga in una tabella, con una percentuale accanto. Quando una discussione passa dalle metafore ai numeri, cambia di natura: si può ancora contestare il metodo, non più l'esistenza del problema.

Resta il fatto che misurare non è governare. Sapere che un modello completa tre attacchi su tredici dice cosa fa quel modello, non cosa farebbe la versione successiva, né chi deve risponderne.

Vitalik Buterin, che ha fondato Ethereum, da qualche tempo scrive di intelligenza artificiale più che di criptovalute, e lo fa da una posizione particolare: non vende modelli, quindi non ha un prodotto da difendere.

Alla fine di ottobre ha approvato pubblicamente una decisione di Moonshot, laboratorio cinese: per il suo modello Kimi 3.1 hanno escluso dai dati di addestramento le capacità offensive di punta. Non un filtro sulle risposte, non un controllo su chi può accedere: materiale tolto dalla formazione del modello, a monte. Il ragionamento di Buterin è che limitare gli usi pericolosi sia preferibile a limitare le persone, e che ogni mese guadagnato serva a chi difende per rinforzare i sistemi. Moonshot dichiara, su un proprio test interno di exploit, un calo dal novanta e mezzo per cento all'ottantuno: un numero che nessuno di esterno ha ancora verificato.

È una mossa elegante e rischiosa. Elegante perché sposta la sicurezza dal recinto all'ingrediente: invece di decidere chi entra, decidi cosa c'è dentro. Rischiosa perché una volta pubblicati i pesi, nessuno garantisce che quelle capacità non tornino per altra strada. E qui i due approcci della settimana si guardano in faccia: Lahav misura il comportamento perché dei contenimenti dichiarati non si fida, Buterin lavora sulla composizione perché i contenimenti applicati dopo li considera carta.

Nello stesso periodo Buterin ha pubblicato un saggio sul minimalismo digitale, che a prima vista sembra un altro argomento e invece è lo stesso. Propone di ridurre la dipendenza dai feed algoritmici, di tenere il telefono in modalità aereo per impostazione predefinita, di preferire programmi locali e strumenti da riga di comando, e di usare un modello che gira sulla propria macchina come interfaccia in lingua naturale verso software fatto a pezzi componibili. Aggiunge, in un altro intervento, un'osservazione tagliente: questi sistemi sono coltissimi ma non saggi, riconoscono le fonti di un testo nuovo e poi ne giudicano l'argomento in superficie.

Teniamo presente, prima di andare avanti, dove siamo arrivati. Un laboratorio chiede tempo, una società di test traduce il pericolo in numeri, un ingegnere togliere il pericolo dall'impasto. Sono tre modi di intervenire sul modello. Nessuno dei tre guarda dove il modello sta fisicamente.

Balaji Srinivasan è un investitore e saggista che da anni sostiene una tesi: le comunità digitali possono diventare entità politiche vere. Fino a poco tempo fa sembrava un esercizio da seminario. Questo mese l'ha appoggiata su un indirizzo.

Jensen Huang, che guida Nvidia, è andato in Kazakistan a discutere la costruzione di un ecosistema nazionale di intelligenza artificiale applicata al mondo fisico: energia, infrastrutture, persone. Srinivasan ha commentato quella visita chiamandola l'inizio di uno stato digitale, ed elencando i motivi per cui il paese attira centri di calcolo enormi: elettricità che costa poco, permessi rapidi, clima freddo. Tre ragioni che non hanno nulla a che fare con il software.

C'è un precedente industriale esatto. Le fonderie di alluminio, nel Novecento, sono state costruite dove c'era una diga: in Norvegia, in Islanda, in Canada. Non perché lì ci fosse il mercato, ma perché fondere alluminio è, in sostanza, il modo di vendere elettricità in forma solida. I centri di calcolo stanno facendo la stessa cosa con i modelli.

Huang, a Berlino, ha presentato il resto della logica: fabbriche di intelligenza artificiale modulari, da montare in quattordici giorni invece di sei mesi, e un sistema per tenere gli agenti autonomi dentro un recinto sorvegliato. Ha anche detto una cosa che riguarda tutti: i laboratori di frontiera valgono solo il venticinque, trenta per cento del suo mercato di calcolo. Il grosso è altro.

E non è solo l'Asia centrale. A Lagos, durante una conferenza di fine ottobre, Bosun Tijani ha proposto di mettere in comune la capacità di calcolo africana, perché nessun singolo paese ce la fa da solo, e ha indicato un parco dati alla centrale di Egbin, sfruttando il sessanta per cento di capacità che oggi resta inutilizzato.

Qui la tensione della giornata si vede intera. Amodei immagina che il passo si decida dentro le aziende di frontiera e nelle valutazioni indipendenti: un governo verticale, fra pochi. Srinivasan descrive un potere che si sparge su territori, reti elettriche e giurisdizioni, dove le decisioni le prendono ministeri dell'energia e uffici per i permessi edilizi. Due mappe diverse dello stesso oggetto. Nessuno garantisce che la prima riesca a tenere il passo della seconda.

Patrick Collison, che ha fondato Stripe, il 31 ottobre ha raccontato una modifica minuscola alle piccole applicazioni che si costruisce da sé: una casella chiamata improvements, miglioramenti. L'utente scrive a parole la modifica che vorrebbe, un agente la implementa, la prova e la mette in funzione. Un utente, riferisce, ha fatto centocinquanta cambiamenti in pochi giorni. Collison chiama questa roba software liquido, e nello stesso messaggio elenca le cose che non sa risolvere: manutenzione nel tempo, lavoro di più persone sullo stesso programma, sicurezza, affidabilità.

È il punto in cui la storia di ieri cambia forma. Ieri la delega stava fra professionisti: Andrej Karpathy costruisce HackerTube in due ore e si tiene l'infrastruttura e le chiavi, e la domanda era cosa resti all'autore. Oggi la delega scende al cliente finale, che riscrive il programma dall'interno del programma. La domanda diventa un'altra: chi tiene in mano l'agente mentre lo fa.

Il contrappunto tecnico arriva da John Carmack, due giorni prima. Gli agenti che scrivono progetti interi da zero, sostiene, perderanno su velocità, prestazioni, sicurezza ed efficienza dei token, e la strada sensata è ottimizzare blocchi riutilizzabili, magari addestrando una libreria standard pensata per essere usata bene dagli agenti. Nei giorni precedenti aveva raffreddato anche le previsioni sui robot, portando come prova compiti banali: aprire una confezione di batterie, maneggiare un cacciavite.

Messe insieme, le due posizioni smettono di essere in disaccordo e diventano una tesi sola: l'autonomia è un problema di ingegneria dei pezzi, non di potenza del modello. Vale per il software e vale per la sicurezza, che è il motivo per cui questa discussione tocca la precedente. Un sistema fatto di componenti noti si può ispezionare. Un programma generato ogni volta da capo, su richiesta a voce di un utente, non si sa nemmeno da dove cominciare a verificarlo.

Collison, del resto, lo dice: perché il software liquido funzioni su larga scala, gli agenti devono prima diventare affidabili. È l'ammissione più interessante della settimana, e viene da chi sta spingendo di più in quella direzione. Succede spesso, con le infrastrutture: l'elettricità nelle case è arrivata prima delle norme sugli impianti, e per qualche decennio si è convissuto con gli incendi.

Progetti da osservare.

Kimi K3.1 Pro, di Moonshot. Pesi aperti attesi per il 4 novembre, con i dati di cyber rimossi dalle fasi finali di addestramento. È il primo caso in cui la sicurezza di un modello aperto viene dichiarata come scelta di dieta, non di sorveglianza.

GLM-5.3, di Zhipu. L'altro modello aperto della settimana, quello che nei test di Irregular ha portato a termine tre attacchi su tredici senza rifiutare nulla. Ora è il riferimento di ogni discussione sul rischio dei pesi pubblici.

Dessa, di Block, l'azienda di Jack Dorsey. Un modello vocale addestrato soltanto su conversazione umana, non su testo: tiene i tempi, le pause, le risate, le interruzioni, e secondo l'azienda gira su un portatile. Per ora è una preview a lista d'attesa, senza pesi, interfacce o verifiche indipendenti. Interessante come direzione: l'intelligenza compatta e locale, invece del servizio in rete.

Buzz, sempre di Block. Uno spazio di lavoro aperto dove persone e agenti collaborano, e dove ogni agente ha un'identità crittografica e firma quello che fa. Risponde esattamente alla domanda di Collison: chi ha premuto quel tasto.

HackerTube, di Karpathy. Seimilaquattrocentocinquantaquattro video pescati da quasi quarantamila commenti di Hacker News e ordinati in centocinquanta temi, costruito in due ore. Non c'è un repository verificato. Conta come dimostrazione: l'opera piccola e finita al posto del modello grande.

Alla fine, la settimana lascia due tabelle sul tavolo. Una elenca gli attacchi che un modello aperto ha portato a termine. L'altra elenca le centinaia di miliardi che un laboratorio intende spendere per diventare più potente. Sono state scritte da persone che dicono di volere la stessa cosa. È stato Signal Brief. Alla prossima.