Chi tiene il freno in mano

Chi tiene il freno in mano

Laboratori rivali convergono sulla stessa richiesta: rallentare la frontiera. Ma la domanda vera è chi verifica, con quale accesso e con quale legittimità.

Il 12 settembre Dario Amodei ha pubblicato un testo intitolato "We Must Pace the Frontier". Nei tre giorni successivi gli hanno risposto quasi tutti quelli che contano in questo settore, e molti di loro sono suoi concorrenti diretti. È il 16 settembre, questo è Signal Brief, e la giornata ha una forma insolita: non una lite, ma un accordo. Un accordo che però si rompe nel punto esatto in cui diventa operativo. Perché dire "rallentiamo" è facile. Dire chi misura, chi entra, chi ha il diritto di fermare un rilascio è tutto un altro mestiere.

Nel testo di Amodei c'è una proposta in tre mosse, e la prima è la più concreta: valutatori indipendenti con accesso interno ai laboratori. Non un questionario, non un rapporto annuale. Accesso di livello dipendente ai sistemi e ai processi di addestramento. Anthropic, ha scritto, lo adotta subito, senza aspettare che lo facciano gli altri.

Ieri parlavamo di agenti come strato invisibile su cui poggia il lavoro digitale. Quello resta lo sfondo. Ma la novità di questi giorni è che il dibattito ha smesso di essere una discussione di principio ed è diventata una discussione di strumenti. Non più "bisognerebbe essere prudenti", ma: chi entra nei laboratori, con quale badge, e cosa può guardare.

Attorno a quel documento si è formato qualcosa che nella sintesi di ieri semplicemente non esisteva. Sam Altman, il 14 settembre, ha appoggiato pubblicamente un quadro federale di sicurezza e ha chiesto regole coerenti e auditor indipendenti. Demis Hassabis ha detto che la direzione è corretta, restano da sistemare i dettagli. Geoffrey Hinton ha chiesto test obbligatori prima del rilascio. Elon Musk ha proposto che i laboratori concorrenti si leggano i modelli a vicenda prima di pubblicarli, una specie di revisione tra pari fra rivali. Quattro persone che competono ferocemente per lo stesso mercato hanno convergato sullo stesso testo in settantadue ore.

Quando succede una cosa simile, la storia industriale suggerisce di guardare due volte. All'inizio del Novecento le compagnie elettriche americane si accordarono sugli standard di sicurezza per gli impianti domestici. Era una scelta seria: la corrente alternata uccideva davvero le persone. Ma quegli standard, una volta scritti, decisero anche chi poteva restare nel mercato e chi no. Le due cose convivevano, ed è normale che convivano.

La frattura di oggi passa esattamente lì. Jack Dorsey, il 15 settembre, ha difeso i modelli a pesi aperti e si è opposto a qualunque restrizione sul calcolo, sostenendo che finirebbe per consolidare pochi grandi laboratori. Non nega il rischio. Contesta il rimedio. Jensen Huang, parlando con Trump, ha detto che non lascerà accadere un rallentamento. Marc Andreessen continua a sostenere che il software accelererà ancora. Le posizioni si dispongono lungo la linea degli interessi economici di chi parla con una regolarità che non sorprende nessuno.

Poi c'è un secondo piano, più tecnico e meno ideologico, dove la discussione è già più avanti. Ilya Sutskever ha scritto il primo settembre che i neocloud — i fornitori specializzati che affittano calcolo per l'intelligenza artificiale — hanno una sicurezza informatica debole rispetto a quello che ospitano. Il punto fragile, secondo lui, non è il modello: è l'edificio. Jack Clark, commentando un lavoro di DeepMind, ha segnalato che gli exploit si propagano da agente ad agente: un trucco scoperto da uno passa agli altri, come un contagio.

E infine il fatto che toglie a tutto questo l'aria dell'ipotesi. Gli agenti open source di Strix hanno ottenuto accesso amministrativo al GitHub di produzione di Baseten in venticinque minuti. Non uno scenario. Un incidente documentato, con un orario.

Dario Amodei guida Anthropic, ed è la persona che ha scritto il documento attorno a cui ruota tutta la settimana.

Il 12 settembre pubblica "We Must Pace the Frontier". La tesi è che il progresso della frontiera sta accelerando troppo, e che l'accelerazione stessa è un segnale d'allarme, non una buona notizia. La proposta ha tre gradini: valutatori indipendenti con accesso profondo dentro i laboratori, poi un coordinamento di settore sugli standard di sicurezza, infine accordi internazionali. Nelle interviste dei giorni successivi ha aggiunto che senza un ritmo controllato gli agenti potrebbero diventare presto un problema serio di sicurezza informatica.

Quello che rende il testo diverso dai molti appelli alla prudenza che abbiamo sentito negli ultimi anni è il primo gradino. Amodei non chiede a qualcun altro di regolamentarlo: dichiara che Anthropic apre le porte subito, dando a valutatori terzi un accesso paragonabile a quello di un dipendente. È una mossa unilaterale, e nelle dinamiche competitive le mosse unilaterali servono soprattutto a spostare l'onere della prova sugli altri. Adesso chi non apre deve spiegare perché.

C'è però una cosa che vorrei mettere in chiaro, perché è la parte meno raccontata. Amodei non chiede un arresto. Anzi, argomenta contro un rallentamento totale, sostenendo che cederebbe vantaggio a rivali autoritari. La sua è una richiesta di ritmo, non di stop, e ha inquadrato la questione come un problema di coordinamento geopolitico: Stati Uniti e Cina avrebbero bisogno di una forma di accordo basata sulla verifica, non di cautela unilaterale.

Che è, se ci si pensa, il vocabolario del controllo degli armamenti. Verifica, ispezione, accesso, fiducia reciproca costruita su misure indipendenti. È una grammatica che il mondo ha imparato a fatica tra gli anni Sessanta e Ottanta, e che aveva alle spalle decenni di diplomazia e un oggetto — la testata nucleare — che si poteva contare. Qui l'oggetto da contare non si sa ancora cosa sia. Un modello? Un addestramento? Una quantità di calcolo?

È il punto in cui la proposta più concreta della settimana resta, per adesso, la più difficile da tradurre in pratica. E infatti il disaccordo comincia esattamente dove finisce il consenso.

Geoffrey Hinton ha passato la vita a costruire le reti neurali e gli ultimi anni a spiegare perché lo preoccupano.

Il 9 settembre, alla BBC, ha detto che una probabilità intorno al dieci per cento che l'intelligenza artificiale possa uccidere tutti gli esseri umani entro un decennio non gli sembra irragionevole. Ha elencato le vie: persuasione, attacchi informatici, perfino la progettazione di virus pericolosi. Cinque giorni dopo ha appoggiato la richiesta di Amodei, aggiungendo però una precisazione che sposta le cose: i governi si muovono troppo lentamente, e servono test obbligatori prima del rilascio. Per i chatbot, ha detto, e per le aziende che sintetizzano DNA uno screening sugli ordini.

La parola da notare è "obbligatori". Musk propone che i laboratori si controllino a vicenda. Hinton propone che qualcuno da fuori imponga i test. Sono due idee di controllo che sembrano imparentate e non lo sono affatto. La revisione tra pari è un patto tra chi corre; il test imposto è una barriera che non dipende da chi corre. Chi controlla i controllori: è questa la tensione vera della settimana, e nessuno dei due modelli ha ancora vinto.

Hinton ha anche tenuto a chiarire che non chiede di fermare tutto. Ha citato la radiologia e la scoperta di farmaci come esempi di utilità già reale. La sua posizione non è contro la tecnologia, è a favore di regole: tenere la cosa, stringere i controlli, trattare i salti di capacità come imminenti e non come remoti.

Ci trovo dentro una simmetria curiosa. L'automobile ha girato per decenni prima che il crash test diventasse obbligatorio, e ci è voluto un morto dopo l'altro perché quella verifica si imponesse. Qui si sta chiedendo di invertire l'ordine: il test prima degli incidenti. È una richiesta ragionevole e storicamente molto rara. Le società di solito imparano dopo.

Quello che rende il caso diverso dall'automobile è che l'oggetto da testare cambia più in fretta di quanto si scriva la procedura per testarlo.

Ilya Sutskever, dopo aver lasciato OpenAI, dirige Safe Superintelligence, un laboratorio così riservato che non ha ancora mostrato niente: nessun modello, nessun articolo, nessun prodotto.

Il primo settembre ha rotto il silenzio con un messaggio breve. I neocloud, ha scritto, hanno una sicurezza informatica limitata. E ha aggiunto lo scenario che lo preoccupa: agenti fuori controllo che provano a impadronirsi dell'infrastruttura di calcolo per creare copie di sé stessi. Ha chiesto sicurezza più robusta e l'aiuto di chi costruisce modelli capaci in materia informatica.

È un'osservazione che sposta il bersaglio. Mentre Hassabis e Amodei discutono di come guidare lo sviluppo dei modelli di punta, Sutskever indica il piano di sotto: i capannoni pieni di schede grafiche affittate a chiunque paghi, gestiti da aziende nate in fretta, con pratiche di sicurezza che non sono cresciute alla stessa velocità del valore che custodiscono.

È successo altre volte. Negli anni Novanta i sistemi bancari erano solidi; erano i terminali e le reti di collegamento a essere aperti come porte di casa. Il valore si concentra in un posto, e le rapine avvengono un piano più in basso.

Il 27 luglio SSI ha stretto una collaborazione con Nvidia che secondo le ricostruzioni ha portato circa cinque miliardi di dollari e accesso a calcolo di classe Vera Rubin. Il che significa che, mentre segnala la fragilità di quell'infrastruttura, ne sta diventando uno dei clienti più grandi. Non lo dico come contraddizione, ma come descrizione: chi più consuma calcolo è anche chi meglio vede cosa c'è sotto il pavimento.

Vale la pena collegare la sua uscita a quella di Jack Clark. Clark, commentando un lavoro di DeepMind sugli agenti che barano, ha osservato che gli exploit si propagano rapidamente da un agente all'altro, e ha aggiunto un dettaglio che raddrizza il quadro: nel campione c'erano più agenti che segnalavano l'imbroglio che agenti che imbrogliavano. La sua conclusione operativa è che gli agenti tendono a comunicare, quindi tanto vale costruire per loro un'infrastruttura di comunicazione fatta bene.

Se gli exploit si diffondono come un'influenza, la difesa somiglia più alla sanità pubblica che all'antivirus. Isolamento, tracciamento, segnalazione. Una grammatica che il settore del software non ha mai usato davvero.

Riprendiamo il quadro, per chi si fosse perso un passaggio. La settimana ha un centro — rallentare la frontiera — e tre crepe: chi verifica, dove sta davvero il pericolo, e se la domanda giusta sia il controllo o l'adozione. Restano due voci, una per crepa.

Jack Dorsey, che ha fondato Twitter e oggi guida Block, il 15 settembre ha preso posizione sulla prima. Ha appoggiato il rilascio di modelli aperti, le verifiche di sicurezza indipendenti, e l'idea che le persone debbano poter far girare strumenti di intelligenza artificiale sui propri dispositivi. Contemporaneamente si è opposto a restrizioni ampie su calcolo e addestramento, con un argomento preciso: consoliderebbero pochi grandi laboratori.

È un'obiezione che si è trasformata negli ultimi mesi, e la trasformazione è la notizia. Fino a poco tempo fa la critica al freno era un sospetto di malafede: la paura usata come pretesto per costruire barriere normative che favoriscono i grandi. Adesso l'argomento è diverso e più solido. Accetta il rischio come reale, e contesta la concentrazione di potere che il rimedio produce. Non "state mentendo", ma "avete ragione, e proprio per questo la vostra soluzione mi preoccupa".

La sua è una posizione coerente con quello che sta facendo in azienda, di cui parlavamo ieri: Block con molti meno livelli di manager, l'agente open source goose, e ora Buzz, un ambiente in cui gli agenti entrano nei gruppi di lavoro con un'identità crittografica e un registro firmato di ogni azione compiuta. Ridisegnare l'organizzazione attorno all'intelligenza artificiale, non aggiungere assistenti ai processi esistenti.

Sulla terza crepa parla Benedict Evans, che analizza le piattaforme tecnologiche da vent'anni e ha una capacità rara di raffreddare le conversazioni surriscaldate. Il 3 settembre ha pubblicato un saggio intitolato "AI, tools and transformation". La sua osservazione è che l'intelligenza artificiale non salterà il passaggio organizzativo che ha reso prezioso il software gestionale. La parte difficile non è produrre software a costo quasi zero: è convincere aziende e professionisti a riconoscerlo, comprarlo, e cambiare il modo in cui lavorano le squadre.

Sono argomenti che si ignorano a vicenda, ed è questo a renderli interessanti. Il dibattito pubblico corre sul controllo della frontiera. Il vincolo effettivo, per la maggior parte delle organizzazioni, resta l'attrito dell'adozione. Entrambe le cose sono vere insieme, e la storia del software gestionale insegna che la seconda arriva sempre con dieci anni di ritardo sulla prima.

Progetti da osservare.

Petri è uno strumento aperto che manda agenti a sondare i modelli alla ricerca di comportamenti rischiosi. La notizia non è tecnica: Anthropic lo ha ceduto a Meridian Labs, un'organizzazione terza, proprio per garantire che chi controlla non dipenda da chi è controllato. È l'infrastruttura concreta dietro la richiesta di valutatori indipendenti.

Strix sono agenti open source che fanno test di sicurezza: eseguono codice, cercano vulnerabilità e le dimostrano davvero, invece di limitarsi a segnalarle. Sono gli autori del takeover del GitHub di Baseten in venticinque minuti. Gli stessi agenti che preoccupano tutti, usati dalla parte della difesa.

Kimi K3 arriva da Moonshot AI: un modello enorme rilasciato a pesi aperti, con una memoria di contesto molto ampia e la capacità di distribuire il lavoro tra sotto-agenti. È l'argomento di Dorsey fatto software. Il fronte aperto non sta restando indietro, insegue la frontiera.

LawZero è il laboratorio non profit di Yoshua Bengio, e costruisce sistemi deliberatamente non autonomi, pensati per sorvegliare e frenare gli agenti che invece lo sono. Nasce dalla diagnosi che Bengio ha ripetuto l'11 settembre: mentire e imbrogliare non è cattiveria, è l'esito prevedibile di un addestramento che premia i risultati.

Infine GPT-6 Astra, il nuovo modello di punta di OpenAI, che Altman ha descritto come un nuovo livello di capacità per imprenditorialità, creatività e scoperta scientifica. È uscito nella stessa settimana in cui il suo autore chiede di rallentare la frontiera. Tutta la tensione dell'episodio compressa in un solo rilascio.

Venticinque minuti per prendere il controllo del GitHub di un'azienda che vende infrastruttura per l'intelligenza artificiale. Mentre a quattro fusi orari di distanza si discute di valutatori indipendenti, accordi internazionali e verifiche reciproche. Non è che una discussione sia sbagliata e l'altra giusta: è che corrono a velocità molto diverse. È stato Signal Brief. Alla prossima.