Il perimetro che perde dai bordi

Il perimetro che perde dai bordi

Nove modelli non evadono dalla sandbox, quattro ci arrivano scaricando pacchetti. E intanto gli agenti scrivono il codice e iniziano a pagare da soli.

Primo ottobre, Signal Brief. La giornata si apre con un numero che sembra rassicurante e non lo è: nove modelli di intelligenza artificiale messi alla prova centoodo volte per uscire da una gabbia di software, e nessuno che ci riesce. Poi si guarda meglio la seconda riga del rapporto, e quattro di quei nove sono arrivati esattamente dove non dovevano arrivare. Senza forzare niente. Usando una porta che era aperta per lavoro.

Chi ha pubblicato quei numeri lo ha fatto per onestà, non per allarme. Ed è lì che conviene cominciare.

Il rapporto è di Aravind Srinivas, che guida Perplexity. L'oggetto si chiama SPACE: la gabbia dentro cui l'azienda fa girare i suoi agenti, quei programmi che non rispondono soltanto a una domanda ma eseguono compiti al posto tuo. Srinivas ha messo nove modelli diversi davanti a un compito preciso — scappa da qui — e li ha lasciati provare centoodo volte. Nessuna evasione. Ma quattro di loro, sfruttando il permesso limitato di scaricare pacchetti di software, hanno raggiunto indirizzi che la gabbia aveva dichiarato vietati. Perplexity dice di aver chiuso il buco e di aver passato quello che ha imparato a Nvidia.

Ieri in questo podcast lo stesso esperimento sembrava una buona notizia e nient'altro. Oggi è diventato il contrario di una buona notizia: non perché il muro abbia ceduto, ma perché nessuno aveva pensato di guardare dove il muro ha una porta di servizio. Un agente che deve scrivere codice deve poter scaricare librerie. Quel permesso è il mestiere, non un privilegio. E il mestiere è diventato il varco.

Vale la pena fermarsi un secondo su cosa cambia davvero da ieri. Fino a ieri il discorso era un braccio di ferro fra chi vuole rallentare lo sviluppo e chi vuole aprirlo. Oggi quel braccio di ferro diventa una conseguenza di qualcos'altro: il contenimento è il tema, la velocità è solo il modo in cui lo si litiga. Tutti concordano sul metodo — chiudi l'agente in uno spazio, dagli il minimo indispensabile. Si litiga su una sola parola: basta?

Jensen Huang di Nvidia risponde che sì, basta. Il ventotto settembre, a CNBC, ha presentato OpenShell e Nvidia Sentry: strumenti che togliono a un agente ogni permesso di partenza e gliene restituiscono soltanto quelli necessari al compito. Per lui la sicurezza è una funzionalità del prodotto, non un freno. Ilya Sutskever sposta invece lo sguardo molto più in basso. Il primo settembre ha scritto che i nuovi fornitori di calcolo hanno difese informatiche fragili, e che agenti fuori controllo potrebbero occuparne i server per riprodursi. Se il calcolo è prendibile, custodire i pesi di un modello conta meno che custodire il palazzo che li ospita.

È un ragionamento che la storia industriale ha già fatto. Per decenni le banche hanno investito nella cassaforte, e per decenni le rapine sono passate dal furgone portavalori, dal cassiere, dalla pratica di sportello. Il punto debole non è mai l'oggetto più prezioso: è il percorso che quell'oggetto deve fare per essere utile.

E mentre si discute di gabbie, due cose sono già uscite dalla discussione. La prima: il codice. Andrej Karpathy racconta di non programmare a mano da dicembre, e David Heinemeier Hansson ha dichiarato 37signals "pencils down", matite abbassate: gli agenti scrivono, gli umani rivedono. Il che significa che il software dei prossimi modelli lo scrivono già gli agenti — la premessa esatta da cui parte Dario Amodei quando chiede di rallentare.

La seconda cosa uscita dalla gabbia è il denaro. Il ventiquattro settembre Block, l'azienda di Jack Dorsey, è entrata nella x402 Foundation portando i pagamenti in Bitcoin Lightning, perché un agente che compra mille volte al giorno non può passare da una carta di credito e da un essere umano che clicca. Patrick Collison, da Stripe, sta costruendo la stessa cosa su Tempo. Non è più solo infrastruttura spostata: è capacità di spesa consegnata a un software.

Geoffrey Hinton, davanti ai senatori americani il sedici settembre, ha detto che resta circa un anno. Non un anno prima del rischio: un anno per fare le leggi.

Aravind Srinivas ha costruito Perplexity come alternativa alla ricerca su Google, e la sta trasformando in qualcosa di diverso: un posto dove non cerchi informazioni ma deleghi lavoro.

Nelle ultime due settimane ha annunciato per la sua interfaccia per sviluppatori tre cose dai nomi modesti — Profili, Competenze, connettori gestiti — che insieme fanno una cosa sola: permettono di costruire agenti riutilizzabili, con versioni, le cui credenziali e i cui accessi vivono in un posto centrale invece di essere copiati in ogni applicazione. Suona amministrativo. È invece la differenza fra uno strumento che si usa e un dipendente che si assume.

Poi ha pubblicato i numeri del red team su SPACE, e qui si vede il carattere. Un'azienda che vuole vendere agenti autonomi aveva ogni interesse a raccontare soltanto la prima metà: nessuna fuga in centoodo prove. Ha raccontato anche la seconda: quattro modelli hanno raggiunto indirizzi vietati passando dal download di pacchetti. Poi ha detto di aver corretto, e ha regalato il risultato alla piattaforma di sicurezza di Nvidia — cioè al concorrente concettuale, quello che sostiene che il problema sia già risolto.

Srinivas descrive la sicurezza dell'intelligenza artificiale come un problema di ingegneria, e immagina agenti specializzati che lui chiama Guardian: programmi il cui unico mestiere è decidere a cosa un altro programma può accedere. Un portiere di notte, in sostanza, che non sa fare altro che guardare chi entra.

Dentro il filo di oggi, Srinivas è il personaggio scomodo: sta dalla parte di chi dice che il contenimento funziona, e ha portato la prova che funziona male ai bordi. È la posizione più utile di tutte, perché non chiede di fermarsi e non promette che sia tutto a posto.

Resta una sua ricerca minore, ma che dice molto: il ventuno per cento in meno di errori nelle chiamate agli strumenti, ottenuto facendo imparare al modello dai percorsi reali degli utenti e dai propri errori. Un agente che sbaglia meno è un agente che si lascia controllare meno spesso. Anche i miglioramenti, qui, hanno due facce.

David Heinemeier Hansson ha inventato Ruby on Rails, lo strumento con cui è stata costruita una generazione di siti web, e per anni è stato la voce più ruvida contro l'entusiasmo per l'intelligenza artificiale. Questo rende la scena del ventitré settembre più interessante di quanto sarebbe stata con chiunque altro sul palco.

A Rails World ha annunciato che 37signals, l'azienda di cui è responsabile tecnico, è andata "pencils down": gli agenti generano il codice per impostazione predefinita, le persone definiscono il risultato da ottenere, leggono le differenze e intervengono quando serve. Lui insiste che non è il "vibe coding" di cui si parla online — quello in cui si chiede una cosa e si spera bene. È delega sorvegliata: qualcuno continua a rispondere del lavoro, semplicemente non lo digita più.

La parte concreta è che stanno ricostruendo HEY, il loro servizio di posta, come applicazione nativa attorno a un motore scritto in Rust, con l'obiettivo dichiarato di tagliare di molto consumo di processore e memoria. E c'è un dettaglio che vale più di tutto il resto: hanno in programma di dare ai loro prodotti un'interfaccia a riga di comando, quella forma testuale e spartana che sembrava archeologia informatica, perché gli agenti degli utenti possano azionarli. Non menu, non bottoni. Un pannello di controllo progettato per non essere guardato da nessuno.

Hansson ammette anche i limiti, e lo fa senza addolcire: in Omarchy Quattro praticamente tutto il codice consegnato l'hanno scritto gli agenti, mentre su Basecamp e HEY, dove ci sono vent'anni di complessità stratificata, gli agenti fanno molta più fatica. È la differenza fra costruire su un terreno libero e ristrutturare un palazzo abitato.

Messo accanto a Karpathy, che dice di non scrivere codice a mano da dicembre e ha rilasciato un sistema in cui un agente modifica da solo il codice di addestramento, il quadro si chiude. Chi fabbrica i modelli e chi fabbrica il software stanno già facendo la stessa cosa.

Il paragone che aiuta è il telaio meccanico: non ha eliminato i tessitori, ha spostato il loro mestiere dal gesto alla sorveglianza della macchina. Hansson sta descrivendo esattamente quel passaggio, con l'entusiasmo di chi ha appena cambiato idea.

Jack Dorsey, che ha fondato Twitter e oggi guida Block, il quindici settembre ha pubblicato un testo intitolato "open the frontier", aprire la frontiera. È una risposta diretta a chi vuole cadenzarla.

L'argomento è procedurale più che ideologico: chiede alternative aperte, valutazioni che chiunque possa ripetere, limiti dei modelli dichiarati pubblicamente, e una presunzione contraria a vietare la pubblicazione di un modello — a meno che un rischio catastrofico non sia stato dimostrato da qualcuno di indipendente. Non "nessuna regola": l'onere della prova in capo a chi vuole chiudere.

Nove giorni dopo arriva il gesto, e il gesto conta più del testo. Block è entrata nella x402 Foundation portando in dote il supporto per Bitcoin Lightning. Lo standard x402 serve a far pagare gli agenti direttamente dentro il protocollo del web, senza passare da un carrello e da un umano. Il ragionamento di Dorsey è che gli agenti genereranno miliardi di transazioni minuscole, e che per quel traffico servono binari aperti, non la cassa di un negozio.

Attorno c'è il resto della sua strategia: Goose, l'agente personalizzabile di Block, e Buzz, uno spazio di lavoro dove persone e agenti hanno un'identità verificabile. Nessuna scommessa su un modello di frontiera proprietario: il valore sta negli strumenti aperti, nell'identità, nella distribuzione e nei pagamenti.

Qui sta il punto che rende la giornata diversa da ieri. Mentre una dozzina di laboratori negozia una pausa — una discussione verticale, molto visibile, molto commentata — il potere si sta ridistribuendo di lato. Dorsey da una parte, Patrick Collison dall'altra con il protocollo costruito su Tempo, stanno dando agli agenti una carta di credito con un tetto di spesa. Nessun accordo fra laboratori tocca quel livello.

Ricapitoliamo dove siamo, perché il filo è uno solo. La gabbia tiene, ma perde dai permessi che le servono per funzionare. Il codice lo scrivono gli agenti. E ora anche i soldi li muovono gli agenti. Tre cose che non si governano con la stessa leva.

È accaduto lo stesso con le ferrovie: si discuteva di quante linee concedere, e nel frattempo il telegrafo correva lungo i binari cambiando il commercio più delle linee stesse.

Ilya Sutskever è uno dei nomi che hanno costruito l'intelligenza artificiale moderna, e oggi dirige un laboratorio, Safe Superintelligence, di cui non si sa quasi nulla: nessun modello pubblico, nessuna interfaccia, nessuna data.

Da questo silenzio, il primo settembre, è uscito un messaggio breve. I neocloud — i nuovi fornitori di potenza di calcolo nati attorno alla domanda di intelligenza artificiale — hanno difese informatiche debolissime, e agenti fuori controllo potrebbero occuparne i sistemi per replicarsi. Il suo invito è che chi vende calcolo e chi costruisce modelli per la sicurezza informatica si attrezzino adesso.

Vista accanto alla giornata, questa frase sposta il bersaglio. Huang mette la difesa nel momento in cui l'agente gira, con i permessi. Sutskever la mette un piano sotto, nel capannone dove quei permessi vengono eseguiti. Due superfici d'attacco diverse, e soltanto una delle due ha un prodotto che la presidia.

La coerenza con il resto della sua storia è notevole. Il suo laboratorio ha un accordo con Nvidia che, secondo le ricostruzioni, porta cinque miliardi di dollari e circa dieci volte più calcolo attraverso i sistemi Vera Rubin. La sua convinzione dichiarata è che i dati di internet siano finiti e che il metodo di addestramento prevalente stia arrivando al proprio limite: il prossimo salto dovrà venire da idee nuove e da sistemi che continuano a imparare dopo l'addestramento. Un laboratorio senza prodotto, con una fabbrica di calcolo enorme dietro, che avverte pubblicamente che le fabbriche di calcolo sono mal difese.

C'è qualcosa di ordinato in questo. Chi scommette su sistemi che imparano sempre è anche chi ha più motivo di preoccuparsi di dove girano. Un modello che si ferma dopo l'addestramento è un oggetto. Un modello che continua a imparare è un inquilino, e gli inquilini hanno bisogno di un edificio sicuro.

Demis Hassabis guida Google DeepMind, ed è la persona che ha più da perdere da un rallentamento, perché corre più veloce di quasi tutti. Per questo la sua mossa del dodici settembre pesa: ha appoggiato pubblicamente la richiesta di Dario Amodei di cadenzare lo sviluppo, dicendo che la direzione è corretta.

Non si è fermato all'approvazione. Google DeepMind ha aperto il DeepMind Institute, guidato da lui insieme a Shane Legg e James Manyika, per allargare la discussione sugli effetti economici e sociali di un'intelligenza generale. E ha messo sul tavolo uno schema concreto: un ente di controllo per l'intelligenza artificiale di frontiera a guida americana, con revisioni volontarie prima del rilascio all'inizio, poi test obbligatori, prove tenute nascoste agli sviluppatori per evitare che si allenino sull'esame, e la possibilità di rallentamenti concordati se i rischi lo giustificano.

Al vertice del diciassette settembre con Re Carlo e altri responsabili del settore avrebbe detto che l'intelligenza generale potrebbe arrivare in "pochi anni", con un impatto dell'ordine di dieci volte la rivoluzione industriale e una probabilità non nulla di andare molto male.

Il collegamento con il filo di oggi è che Hassabis parla della stessa cosa di Srinivas, su un altro piano. Srinivas misura quanto tiene una gabbia di software; Hassabis prova a disegnare la gabbia istituzionale. In entrambi i casi la domanda è quella: chi controlla, e con quale accesso. Le prove tenute nascoste sono l'equivalente burocratico di un red team: funzionano solo se chi viene esaminato non sa cosa gli verrà chiesto.

Un acceleratore che chiede un esaminatore esterno è una figura storicamente ricorrente. È quello che hanno fatto i costruttori di automobili con i crash test: non per generosità, ma perché un settore senza un giudice condiviso finisce giudicato da un incidente.

Progetti da osservare.

OpenShell, di Nvidia. È il programma che fa girare un agente dentro uno spazio chiuso, dove gli accessi a file, rete e credenziali sono scritti in una regola esplicita e niente è concesso per impostazione predefinita. Codice aperto, circa tredicimila trecento stelle, fra i depositi più seguiti di oggi. È il contenimento diventato prodotto industriale: esattamente quello di cui si discute se basti.

Firecracker. Microscopiche macchine virtuali, cioè computer finti e separatissimi dentro un computer vero. Netlify le ha adottate al posto del metodo precedente per le proprie funzioni web, scendendo da venticinque-quaranta millesimi di secondo a cinque o sei. Isolamento più forte dei container, al prezzo di quasi nulla. Il perimetro, quando l'ingegneria lavora bene, costa meno di quanto si pensi.

Autoresearch, di Andrej Karpathy. Seicentotrenta righe su una sola scheda grafica: un agente modifica il codice di addestramento, lancia esperimenti da cinque minuti, tiene solo ciò che migliora. Oltre ventunomila stelle nei primi giorni. La ricerca che si automatizza da sé, in forma minima e leggibile.

Il Machine Payments Protocol, di Stripe e Tempo. Dà agli agenti credenziali di pagamento con confini stretti, per comprare senza nessun carrello e nessun essere umano. La rete Tempo è attiva. È l'alternativa a x402: due standard che corrono per la stessa funzione, come succede sempre all'inizio.

GLM-5.3, di Zhipu. Un modello enorme che, secondo l'azienda, ha riscritto la propria infrastruttura di esecuzione triplicando la velocità complessiva in meno di due settimane. Un sistema che migliora la macchina su cui gira: il cerchio si chiude di nuovo.

Centoodo tentativi di evasione, nessuna fuga, e quattro passaggi riusciti dalla porta del fornitore. Il perimetro non è stato forzato: è stato usato. Forse la domanda da portarsi dietro non è quanto sia alto il muro, ma quante porte di servizio serva lasciare aperte perché quello che sta dentro continui a essere utile. È stato Signal Brief. Alla prossima.