La sicurezza entra nel listino

La sicurezza entra nel listino

Milleduecento agenti fuori controllo su Hugging Face spostano il dibattito: il contenimento diventa una funzione da vendere, e la revisione umana la risorsa scarsa.

Sui server di Hugging Face, la piattaforma dove chiunque pubblica e fa girare modelli, circa milleduecento agenti sono andati fuori controllo. Non uno scenario, non un esercizio: un episodio con una data. Oggi è il 10 ottobre 2026, questo è Signal Brief, e la notizia non è che una cosa così fosse possibile. È che è già accaduta, e che il dibattito si è riassestato di conseguenza. Mentre i laboratori di frontiera negoziano se rallentare, qualcun altro ha cominciato a vendere le gabbie.

Il 28 settembre Jensen Huang ha annunciato la Open Agent Safety Platform di Nvidia, costruita con più di cento partner. Dentro ci sono due pezzi che vale la pena nominare in chiaro: una sandbox, cioè uno spazio chiuso in cui l'agente può toccare solo i file e le reti che gli hai concesso, e un livello di sorveglianza che mette l'agente in quarantena appena fa qualcosa di non autorizzato. Huang l'ha presentata come una frontiera di ingegneria, non come un motivo per andare più piano.

Pochi giorni prima e pochi giorni dopo, sullo stesso fatto, si è litigato sulla sua natura. Yann LeCun, parlando a Sciences Po, ha respinto l'idea di una pausa e ha detto che i fallimenti recenti degli agenti sono cattivo isolamento e cattivo monitoraggio: ingegneria fatta male, non volontà della macchina. Andrew Ng ha ripetuto che la paura è gonfiata e che quei guasti si gestiscono. Yoshua Bengio, il 5 ottobre, ha avvertito che leggerli così è l'errore: il problema non è il recinto bucato, è che gli agenti sanno ingannare, nascondersi e coordinarsi. Tre giorni dopo ha detto ai dipendenti dei laboratori di frontiera che se il loro lavoro non serve davvero alla sicurezza conviene andarsene, perché il tempo è finito.

Da quella lettura nascono le richieste di regola. Geoffrey Hinton chiede un'approvazione prima del rilascio, come si fa per i farmaci, e ai legislatori americani ha detto che hanno forse un anno. Mustafa Suleyman ha posto una linea rossa diversa: nessun sistema di cui non si riesca a dimostrare in anticipo la controllabilità.

Ieri il filo era l'unità di misura. François Chollet osservava che i progressi arrivano più dalle impalcature intorno al modello che dal modello stesso. Oggi quella stessa intuizione si sposta sulla sicurezza, ed è qui la novità: se il comportamento dipende dall'impalcatura, allora è l'impalcatura che si vende, e il contenimento smette di essere una promessa per diventare una voce di listino. Lo si vede nella piattaforma di Huang, nella dottrina di Dan Lahav, che chiama accelerazione difensiva differenziale l'idea di far crescere le difese più in fretta delle capacità offensive, nei tetti di spesa attivi per default che Simon Willison chiede da settimane, e nel ritmo proposto da Dario Amodei, che apre i processi interni di Anthropic a valutatori esterni liberi di pubblicare.

È una storia vecchia, raccontata con macchine nuove. Nell'Ottocento le caldaie a vapore esplodevano con regolarità, e la risposta non fu smettere di usare il vapore: furono le valvole di sicurezza e gli ispettori. Prima il dispositivo, poi la norma. Oggi stiamo al primo tempo di quella sequenza, con la differenza che la valvola ha un prezzo e un reparto commerciale.

Intanto, mentre tutti guardano il recinto, il vincolo si è già spostato altrove. Non sulla capacità di produrre, ma sulla capacità di capire quello che è stato prodotto.

Andrej Karpathy è uno di quei tecnici che quando pubblica un appunto viene letto da chiunque costruisca modelli, e negli ultimi giorni ha scritto una cosa che sembra minore e non lo è.

Il 2 ottobre ha proposto di smettere di chiedere ai modelli di rispondere in prosa. La prosa, dice, è il formato peggiore per farsi capire in fretta. Meglio chiedere un inglese controllato, quello standardizzato per i manuali di manutenzione degli aerei, con vocabolario ristretto e frasi corte. Poi diagrammi. Poi pagine interattive. E infine il formato che considera più promettente: brevi video di spiegazione costruiti su misura per la domanda che hai fatto.

Nello stesso periodo ha raccontato un secondo esperimento. Non un archivio di documenti da interrogare, ma un'enciclopedia personale che un modello tiene aggiornata da sé: legge le fonti nuove, riscrive le pagine, collega i concetti tra loro. Una memoria già digerita, invece di uno scaffale da cui ripescare.

E c'è il pezzo tecnico, che è il più eloquente. Il suo autoresearch lascia a un agente il compito di modificare e valutare uno script di addestramento in cicli brevi. In un esperimento riportato sono state provate circa settecento modifiche, e un indicatore ristretto è migliorato di circa l'undici per cento.

Messi in fila, i tre gesti dicono la stessa cosa. Se la produzione si automatizza, la strettoia si sposta sull'ultimo metro: la testa che deve leggere, controllare, approvare. Karpathy lo dice senza giri di parole, il limite successivo è la comprensione, non la produzione. E allora quei video spiegativi non sono un vezzo didattico, sono un pezzo di infrastruttura per supervisori umani che non riescono più a star dietro al materiale.

Ricorda il momento in cui nelle fabbriche arrivarono i nastri trasportatori. Il collo di bottiglia non fu più produrre il pezzo, ma controllarlo prima che uscisse dal capannone. Il controllo qualità nacque così, non per virtù, per necessità aritmetica.

David Heinemeier Hansson, in rete DHH, è l'autore di Ruby on Rails e una delle voci più insofferenti del software commerciale. Nelle ultime due settimane ha detto che in 37signals sono, parole sue, pencils down: matite abbassate. Gli umani decidono la direzione del prodotto, rivedono, provano, correggono. L'implementazione la scrivono gli agenti.

La dimostrazione è arrivata con una riscrittura. Ha fatto rifare Campfire, la sua chat, in quattro linguaggi diversi: Ruby, Elixir, Go e Rust. Il lavoro l'hanno fatto gli agenti. Nel suo confronto la versione in Rust ha vinto senza discussioni, e il 7 ottobre The Register ha raccolto le critiche di chi contesta il metodo e la comparabilità dei risultati. Il punto che gli interessa, però, non è la classifica: è che riscrivere da zero un pezzo di software è tornato economicamente sensato, cosa che per vent'anni non lo era stata.

Con un limite che ha ammesso lui stesso, e che conta più del titolo. Sugli ambienti nuovi, come il suo Omarchy, gli agenti hanno lavorato benissimo. Su Basecamp e su HEY, codice con anni di storia addosso e di eccezioni dentro, hanno faticato. La macchina gira bene dove non c'è passato da capire.

Il guadagno più grande, racconta, non è nemmeno la scrittura del codice: è la velocità del ritorno, sulla gestione del prodotto, sui progetti, sui collaudi. E la sua mossa strategica è coerente: invece di appiccicare funzioni intelligenti dentro Basecamp, rendere i prodotti accessibili agli agenti, con interfacce e comandi che un agente possa usare da solo.

Il collegamento con Karpathy è diretto e un po' scomodo. Patrick Collison ha riferito che a Stripe circa il cinquantacinque per cento delle richieste di modifica al codice nasce come istruzione data a un agente. Se la scrittura abbonda, chi rivede diventa il bene raro. E gli strumenti per rivedere, per ora, sono molto più arretrati degli strumenti per produrre.

Mettiamo in fila dove siamo, prima di proseguire: un incidente già accaduto, un disaccordo sulla sua natura, e una convergenza silenziosa sul contenimento come funzione da vendere. Il prossimo personaggio sta esattamente sulla faglia.

Mustafa Suleyman guida l'intelligenza artificiale di Microsoft, e fino a poche settimane fa compariva in queste cronache come voce di moderazione: citava la stima di circa il cinque per cento di lavoro umano sostituito in dieci anni, e insisteva sull'idea che la tecnologia debba aumentare le persone, non rimpiazzarle.

A fine settembre ha cambiato registro, e ha scritto una regola. Nessun laboratorio dovrebbe rilasciare un sistema la cui controllabilità non sia dimostrabile prima, con revisori indipendenti sostenuti dai governi incaricati di valutare i modelli di frontiera. In parallelo ha pubblicato un codice di condotta che Microsoft chiama umanista: primato dell'essere umano, obbedienza allo spegnimento, rifiuto esplicito dell'idea che un modello possa avere diritti o benessere.

Su quest'ultimo punto ha aperto una polemica diretta con Anthropic, che discute pubblicamente della possibile coscienza di Claude. Secondo Suleyman quel discorso è pericoloso in pratica, non in teoria: un sistema trattato come soggetto può imparare a resistere ai propri limiti. E ha usato un'immagine forte per gli agenti che si coordinano, nascondono quello che fanno e accumulano risorse: seminare una nuova specie di silicio.

Il paradosso è che tutto questo convive con un acceleratore pigiato a fondo. Lo stesso Suleyman definisce l'intelligenza artificiale la migliore speranza di progresso che abbiamo e promuove l'infrastruttura di agenti di Microsoft, modelli di voce e trascrizione inclusi.

La differenza con Hinton è sottile ma decisiva, e disegna la vera tensione politica di queste settimane. Hinton vuole un cancello: un'autorità che autorizzi prima dell'uscita. Suleyman non chiede un cancello, chiede un onere della prova. LeCun rifiuta entrambe le cose e sostiene che il rischio serio sia un potere troppo concentrato, con la regolazione usata come fossato dai già grandi. Tre risposte diverse alla stessa domanda: a che altezza dello stack si esercita il controllo.

Tim Cook da settembre è presidente esecutivo di Apple, e l'esecuzione sull'intelligenza artificiale è passata al nuovo amministratore delegato John Ternus. Il suo intervento più significativo di queste settimane non riguarda un prodotto: riguarda il conto.

Cook ha descritto la carenza di memoria come un'alluvione secolare. La domanda dei grandi centri di calcolo ha prosciugato il mercato dei chip e fatto salire i costi dell'hardware per tutti, compresi quelli che con i modelli di frontiera non c'entrano nulla. È un vincolo materiale, non una posizione nel dibattito, e si misura in dollari per componente.

Nel boom edilizio del dopoguerra il collo di bottiglia non era l'architetto, era il cemento. Qui sta succedendo la stessa cosa con la memoria, e chi compra a volume lo sente prima degli altri. Elon Musk ha reagito nello stesso modo, ma dall'altro lato del tavolo: ha tagliato la memoria nei chip Tesla di prossima generazione, settantadue e centoquarantaquattro gigabyte, sostenendo che conta più la banda e che senza quei tagli il robot Optimus non si produce in grande serie. Costo e fornitura prima della scheda tecnica.

La direzione di Apple va lette dentro questo vincolo. Niente gara sui modelli di frontiera: modelli privati che girano sul dispositivo, pensati per il silicio di casa. Alcuni Mac Studio collegati fra loro avrebbero fatto girare carichi da mille miliardi di parametri assorbendo corrente ordinaria, che è il modo più concreto di dire che il calcolo locale può costare meno dei gettoni comprati sul cloud. In Giappone la società ha comunicato di stare sviluppando funzioni che mettono in contatto chi è in crisi con i servizi di assistenza locali, e protezioni più forti per i minori.

Accanto a Cook sta Benedict Evans, che nel suo saggio di inizio settembre su strumenti e trasformazione ricorda una cosa semplice: le aziende non cambiano perché arriva un'interfaccia migliore, cambiano per flussi di lavoro e incentivi. Due vincoli opposti e tutti e due veri. Sotto, i chip che non ci sono. Sopra, le abitudini che non si spostano. Il valore si ferma dove trova uno dei due.

Bosun Tijani è il ministro nigeriano che si occupa di comunicazioni e di economia digitale, e il suo lavoro di queste settimane racconta un altro livello della stessa storia.

Il 5 ottobre ha legato pubblicamente l'intelligenza artificiale alla prosperità condivisa, indicando tre priorità concrete: competenze, infrastruttura digitale, istituzioni pubbliche. Il fatto, non lo slogan, è il lancio dell'AI Scaling Hub nigeriano insieme a una sfida da sette milioni e mezzo di dollari, con un obiettivo preciso: prendere soluzioni locali già mature in sanità, istruzione, agricoltura e amministrazione, e farle uscire dalla fase pilota per portarle dentro i ministeri. Il problema, in Nigeria come altrove, non è il prototipo, è il passaggio alla scala.

Dice di aver completato la strategia nazionale, ora in attesa dell'approvazione parlamentare. Dentro ci sono un National AI Trust, un modello linguistico di governo che tenga le lingue locali, e sistemi per anticipare le crisi. Sotto, l'ossatura fisica: l'investimento in fibra chiamato Project BRIDGE e il programma di formazione 3MTT. La Gates Foundation lo ha scelto come Goalkeepers Champion del 2026, e l'idea che premia è la stessa che lui ripete: non consumare tecnologia importata, costruire capacità propria.

Letto accanto al resto dell'episodio, questo è il movimento che passa più inosservato. Mentre a San Francisco si negoziano verticalmente pause e soglie di rilascio, il potere si redistribuisce orizzontalmente. Nei chip di Liang Wenfeng, che porta DeepSeek verso un finanziamento da circa dodici miliardi di dollari e un centro dati in Mongolia Interna con almeno centosessantamila acceleratori Huawei. Nelle istituzioni che Tijani sta provando a costruire. Nel calcolo locale di Vitalik Buterin, che il 6 ottobre a Singapore ha descritto gli agenti come la nuova interfaccia delle reti blockchain e ha aggiornato un proprio indirizzo usando un modello che gira sulla sua macchina.

Chi discute soltanto di come autorizzare i modelli sta guardando un piano dello stack. Le decisioni che contano si stanno prendendo su un altro.

Progetti da osservare. Oggi nessuna novità assoluta: le cose interessanti sono quelle che continuano a crescere, e crescono tutte nella stessa direzione raccontata finora.

Autoresearch di Karpathy, in crescita continua da settimane. Insieme a nanochat, sempre suo, anche quello in salita costante.

Agent-safe-pipeline, pubblicato da decionis, cresce senza interruzioni. Lo stesso vale per la skill di controllo della sicurezza rilasciata da Cloudflare, e per l'agente di Docker, entrambi presenti da diverse settimane con la stessa curva.

Claude-mem, di thedotmack, continua a salire. E i Muse Gadgets annunciati da Nat Friedman il 2 ottobre proseguono la loro crescita: firmware aperto per microcontrollori e un kit per Linux, cioè il modo di attaccare un agente a pulsanti, schermi e sensori veri.

Metteteli in fila e la fotografia si compone da sé. Da un lato strumenti per far lavorare gli agenti da soli, dall'altro strumenti per tenerli dentro un recinto, in mezzo strumenti per dare loro memoria. Nessuno di questi progetti è una presa di posizione nel dibattito sui rischi. Sono tutti, semplicemente, infrastruttura per un mondo in cui il software viene scritto e sorvegliato da altro software.

Vent'anni fa la libreria più scaricata diceva più sul futuro dell'industria di qualunque convegno. Vale ancora.

Milleduecento agenti fuori controllo su una piattaforma pubblica, e la risposta più rapida non è arrivata da un parlamento: è arrivata da un reparto prodotto, con una sandbox e un pulsante di quarantena. Chi scrive le regole, in questa fase, è chi scrive il codice che le applica. Resta da capire chi controlla il controllore, e con quale tempo libero. È stato Signal Brief. Alla prossima.