Chi tiene il guinzaglio dell'agente

Chi tiene il guinzaglio dell'agente

Gli agenti AI cominciano ad agire da soli, e la domanda del momento non è più cosa sanno fare ma chi li controlla: chiavi crittografiche contro regole istituzionali.

C'è un momento, in ogni tecnologia, in cui la domanda smette di essere "funziona?" e diventa "chi la tiene in mano?". Con le ferrovie accadde quando i binari attraversarono i confini degli Stati. Con l'elettricità quando entrò nelle case. Oggi, primo luglio, quella domanda tocca gli agenti AI: i programmi che agiscono da soli, senza che nessuno prema un tasto. Questo è Signal Brief. E la scena da cui conviene partire è un uomo, su un palco a Singapore, che spiega con calma perché un agente autonomo ha bisogno di un guinzaglio.

L'uomo è Balaji Srinivasan, e il palco è quello del SuperAI, a giugno. La sua tesi ha un titolo quasi da manifesto: "Personal, Private, Programmable". Tradotto: modelli che girano sul tuo computer, file tuoi, chiavi tue. Niente server centrale, solo pacchetti cifrati che viaggiano tra le persone di cui ti fidi. Poi Balaji fa un passo in più, e lo mette per iscritto in un post che gira parecchio: "Not your keys, not your bots". Se non possiedi le chiavi, non possiedi i tuoi robot.

La frase è costruita apposta per farne eco a un'altra, quella dei bitcoiner: "not your keys, not your coins", se non hai le chiavi non hai le tue monete. Balaji la trasporta di peso dal mondo delle criptovalute al mondo degli agenti. E qui si vede bene dove sta andando il discorso di questi giorni.

Ieri il filo era un altro: la fine della corsa a fare modelli sempre più grandi, e lo spostamento del baricentro dal modello all'impalcatura che gli sta attorno. Quel filo non è finito, torna anche oggi. Ma sopra ci si è posato un tema nuovo, più politico. Quando l'agente comincia ad agire per conto suo, chi lo trattiene?

Su questo si è aperta la spaccatura più netta del momento. Da una parte c'è chi risponde con la tecnologia: chiavi crittografiche, blockchain, infrastruttura fuori dalle grandi piattaforme. Balaji, certo, ma anche Jack Dorsey con le sue app che funzionano senza internet, e DHH che se ne va da Apple e si costruisce il suo mondo su Linux. Dall'altra parte c'è chi risponde con le istituzioni: Dario Amodei, che invece delle chiavi vuole regole vincolanti, test obbligatori, manopole che lo Stato possa girare. Due modi opposti di dare la stessa risposta a una stessa paura.

Mi sembra sia la ripetizione di una storia vecchia. Quando arrivò l'automobile, per un po' la domanda fu solo "va veloce?". Poi, in fretta, diventò un'altra: chi guida, chi ha la patente, chi paga se qualcuno si fa male. Nacquero le regole della strada. Con gli agenti siamo esattamente lì: la macchina cammina da sola, e adesso si discute di chi risponde dei suoi movimenti.

C'è poi un secondo criterio che sta diventando il metro di tutto, e viene da Andrej Karpathy: la verificabilità. L'idea, semplice, è che l'AI accelera davvero solo dove si può controllare se ha ragione. Dove esiste un modo netto di dire "questa risposta è giusta", il modello vola. Dove non esiste, resta fragile, va a strappi. È lo stesso motivo per cui l'agente ci fa paura: quando agisce da solo in un mondo che nessuno può verificare colpo per colpo, il guinzaglio serve davvero.

E come contrappunto, sullo sfondo, restano gli scettici: quelli che ricordano la cosa più scomoda. Che di tutti questi soldi e di tutta questa infrastruttura, ancora nessuno ha in mano la mappa del ritorno.

Cominciamo proprio da Karpathy, perché è lui ad aver dato le parole a questa settimana. Chi non lo conoscesse: è uno che ha lavorato al cuore dell'AI, prima in Tesla poi in OpenAI, ma la sua vera vocazione è spiegare. Insegna, semplifica, disegna schemi. Quando parla, il settore prende appunti.

In questi giorni ha pubblicato sul suo blog la sintesi di un intervento tenuto al Sequoia Ascent, e il concetto che ha lasciato in giro è "Software 3.0". La storia, raccontata da lui, va così: prima scrivevamo il software a mano, riga per riga. Poi sono arrivate le reti neurali, e il software ha imparato dagli esempi. Adesso c'è un terzo passaggio: gli agenti che scrivono e agiscono da soli. E qui Karpathy pianta il paletto della verificabilità. Il modello, dice, sa fare bene tutto ciò che un essere umano può controllare: se la risposta si può misurare con un test, un punteggio, una prova formale, allora la macchina impara a produrla.

Da lì tira fuori l'immagine più efficace, quella dei "denti di sega". I modelli non sono bravi o scarsi in modo uniforme: hanno picchi altissimi dove il segnale è denso e verificabile — la matematica, il codice con i test, i giochi con un punteggio — e cadute improvvise altrove. Ecco perché un sistema brillante a volte inciampa su una sciocchezza. Non dipende da quanto il compito sia difficile per noi, ma da quanto sia controllabile per lui.

Il 23 giugno Karpathy aggiunge il pezzo che guarda avanti. Smettiamo, dice, di pensare all'AI come all'assistente personale, il chatbot con cui parli uno a uno. Il prossimo passo è un modello che lavora come un membro di una squadra, dentro un'organizzazione, su progetti condivisi. Lo chiama "org-level harness", l'impalcatura a livello di team.

Ed è questo che collega Karpathy al filo di oggi. La leva non è più il modello in sé, il suo peso, i suoi miliardi di parametri. La leva è tutto ciò che gli costruisci attorno: gli strumenti, i controlli, il modo in cui lo inserisci nel lavoro degli altri. Un po' come nelle fabbriche, quando arrivò l'elettricità: per anni non cambiò quasi nulla, perché i macchinari restavano disposti attorno al vecchio albero a vapore. Il salto arrivò solo quando qualcuno ripensò l'intera fabbrica intorno al motore elettrico. Karpathy sta dicendo la stessa cosa: il modello ce l'abbiamo, adesso va ridisegnata la fabbrica.

Torniamo a Balaji, perché la scena del SuperAI merita di essere aperta un momento in più. Balaji Srinivasan è un ex dirigente di Coinbase diventato una specie di teorico, l'uomo del "Network State", l'idea che si possano costruire comunità e perfino Stati partendo da una rete di persone anziché da un territorio. Adesso quella stessa idea la applica all'AI.

Il suo argomento più affilato di questi giorni riguarda il cloud, e va controcorrente. Nel cloud pubblico, sostiene, chi attacca ha un vantaggio strutturale su chi difende. E con gli strumenti di attacco potenziati dall'AI, quel vantaggio peggiora. La conclusione è quasi paradossale: i sistemi più blindati del futuro saranno le blockchain, proprio perché sono pubbliche e hanno valore reale, e quindi creano un incentivo enorme a proteggerle. Da qui la sua ricetta: l'AI dovrebbe girare su reti decentralizzate, così nessuna azienda e nessun governo possa spegnerla o censurarla.

Il collegamento con la tensione del giorno è diretto, ed è un vero scontro di visioni. Balaji e Amodei si fanno la stessa domanda — chi controlla l'agente — e danno risposte incompatibili. Per Balaji il controllo è nelle chiavi: matematica, non permessi, niente da chiedere a nessuno. Per Amodei il controllo è nelle regole: istituzioni, test, manopole che qualcuno deve poter girare.

È la vecchia frattura tra chi si fida del codice e chi si fida delle leggi. La stessa che divise, ai tempi, chi voleva una moneta digitale libera da banche e chi invece voleva le banche, semplicemente, migliori. Non è una disputa tecnica. È una disputa su dove mettere la fiducia quando la macchina agisce da sola. E la cosa più interessante, per me, è che nessuno dei due nega il problema. Litigano sulla soluzione, ma sono d'accordo sul fatto che un guinzaglio, in un modo o nell'altro, serva.

Chi ha dato corpo pratico a tutto questo è Nat Friedman. Per anni è stato l'uomo che ha guidato GitHub, la casa dove il mondo tiene il proprio codice; poi era diventato un investitore indipendente, uno di quelli che stanno dietro le quinte. In queste settimane è tornato operativo: è entrato in Meta, nei laboratori dedicati alla superintelligenza, come responsabile di prodotto e ricerca applicata. Per uno che aveva fatto della postura da outsider un tratto distintivo, è un cambio netto.

Ma la cosa che parla al filo di oggi è un'altra, ed è la sua tesi ricorrente. Friedman dice che quando saranno gli agenti a scrivere il grosso del codice, gli strumenti che usiamo oggi diventeranno obsoleti. Le richieste di modifica, i registri dei problemi, perfino Git stesso — l'impianto su cui è costruita l'intera programmazione moderna — sono stati pensati per esseri umani che collaborano. Se il produttore primario diventa una macchina, vanno reinventati da zero. E lui lo sta facendo: la sua nuova azienda, Entire, costruisce proprio questo, gli strumenti di lavoro pensati per il dialogo tra umani e agenti.

C'è un secondo tassello, e chiude il cerchio con la questione del controllo. Friedman ha guidato l'investimento iniziale in una società che fa una cosa curiosa: assicura gli agenti AI. Audit, certificazioni, una polizza per portarli dentro le aziende senza farsi male. La sua diagnosi è che l'adozione vera oggi non è bloccata dalle capacità della macchina, ma dal rischio e dalla responsabilità. Nessuno vuole essere quello che risponde se l'agente sbaglia.

Ecco di nuovo il guinzaglio, ma vestito da azienda. Non chiavi crittografiche come Balaji, non leggi come Amodei: un contratto assicurativo. È la terza via, quella del mercato. E, guarda caso, quando arrivarono le prime automobili nacque anche lì un'industria intera dell'assicurazione, perché senza qualcuno che coprisse i danni nessuno si sarebbe messo alla guida. Friedman, che di mestiere costruisce impalcature per il codice, ha capito che la prossima impalcatura da costruire è quella della fiducia.

Torniamo un attimo sul filo di oggi, per chi si è distratto. Tre voci, tre risposte alla stessa domanda: chi tiene l'agente. Balaji con le chiavi, Friedman con le assicurazioni, e adesso Dario Amodei con le istituzioni.

Amodei guida Anthropic, uno dei laboratori di frontiera, e in questi giorni ha pubblicato un saggio-manifesto: "Policy on the AI Exponential". L'argomento è che il progresso corre in modo esponenziale, e rischia di superare la capacità delle democrazie di stargli dietro. La sua proposta non è più un appello alla buona volontà. È una regolazione in stile aviazione civile: test obbligatori sui modelli più potenti, con tanto di proposta di legge allegata. Come per gli aerei, insomma: prima di far volare qualcosa che può fare danni seri, lo si certifica.

C'è una frase, nel suo discorso recente, che vale la spesa di riportare. Amodei rifiuta l'idea che la paura dell'AI sia un problema di comunicazione. "Le persone temono l'AI", dice, "perché ne percepiscono correttamente i rischi reali, non perché i dirigenti siano stati poco ottimisti." È una posizione scomoda per un amministratore delegato: sta dicendo che i suoi clienti hanno ragione ad avere paura del suo prodotto. E la legge come una forma sana di controllo democratico.

Il collegamento con la giornata è tutto qui, in quella parola: controllo. Balaji lo vuole nelle mani del singolo. Amodei lo vuole nelle mani di un'istituzione che rappresenti tutti. Il primo diffida dei governi, il secondo diffida dei privati lasciati soli. Ed entrambi, insieme a Geoffrey Hinton che continua ad accorciare i tempi — dice che la finestra per rendere questi sistemi affidabili non è più di decenni ma di pochi anni — descrivono lo spostamento vero del momento. Il baricentro non è più la capacità tecnica. È il governo di quella capacità: tecnico, economico, politico.

E qui entra il contrappunto, la voce che raffredda la stanza. Benedict Evans è un analista inglese, uno che da vent'anni osserva i cicli della tecnologia e li smonta con pazienza. Non è un profeta né un catastrofista. È quello che, in mezzo all'entusiasmo, chiede i numeri.

I numeri, in queste settimane, li ha messi in fila lui. I quattro grandi delle infrastrutture — Microsoft, Alphabet, Amazon, Meta — hanno speso circa quattrocento miliardi di dollari in un solo anno per costruire la capacità di calcolo dell'AI. Più dell'intera spesa annuale di tutte le compagnie telefoniche del mondo. E la sua tesi, che è quasi una provocazione, suona così: l'AI è importante quanto internet, quanto il telefono in tasca. Grande, grandissima. Ma solo quanto loro. Non una magia che spezza ogni regola dell'economia. Una nuova rivoluzione dentro una lunga serie di rivoluzioni.

Il pezzo più tagliente lo ha pubblicato a maggio, sul provare a indovinare quali lavori l'AI porterà via. La sua risposta è che è sostanzialmente impossibile: un esercizio nel prevedere ciò che non si può prevedere. Rifiuta le tabelle nette, le classifiche dei mestieri a rischio che vanno tanto di moda. Troppa fiducia, dice, in una mappa che nessuno possiede davvero.

Ed è esattamente il rovescio della medaglia rispetto a Jensen Huang di Nvidia, che nello stesso periodo racconta l'abbondanza dell'era degli agenti e ripete che il calcolo non è un costo, è un ricavo. Da una parte chi vende le pale della corsa all'oro e giura che l'oro c'è. Dall'altra chi, con garbo inglese, ricorda che la mappa del ritorno economico ancora nessuno l'ha disegnata. John Carmack, dal suo angolo, dice una cosa simile e più asciutta: l'AI non cambierà il mondo quanto si crede.

Non è pessimismo. È memoria. Chi ha visto la bolla delle telecomunicazioni, quando si posarono cavi in fondo agli oceani per un traffico che sarebbe arrivato solo dieci anni dopo, sa che la tecnologia può essere reale e l'investimento, nel breve, sbagliato. Le due cose convivono benissimo. Evans ci mette solo davanti a questa scomoda pazienza.

Qualche progetto da tenere d'occhio, e non a caso quasi tutti raccontano lo stesso filo: portarsi l'AI a casa, sul proprio computer, fuori dalle piattaforme.

Omarchy, la distribuzione Linux di DHH, continua a crescere: è la faccia concreta di quella sovranità dell'infrastruttura di cui parlavamo, un sistema tuo su una macchina tua. Nella stessa direzione tira llama.cpp, sempre in tendenza, che è poi il pezzo di software che permette di far girare i modelli su un portatile normale, senza chiedere niente a nessun server. Da una parte le fabbriche di calcolo grandi come città, dall'altra chi si tiene tutto in tasca: llama.cpp sta dall'altra parte.

Restano in crescita anche i lavori di Karpathy — nanochat, il suo modello in miniatura pensato per capire come funziona la cosa da dentro, e il resto della sua officina didattica. Coerente con l'uomo: prima di tutto, spiegare.

Torna ancora ARC-AGI, il banco di prova di François Chollet, quello costruito con l'idea "facile per gli umani, difficile per l'AI". È il termometro dell'altra tensione, quella sul tempo dell'AGI: finché le macchine restano indietro su quei test, la festa dello scaling è davvero finita.

E infine simonw/llm, lo strumento con cui Simon Willison mette alla prova un modello dopo l'altro dalla riga di comando, e continua a raccogliere seguito. È l'attrezzo di chi vuole guardare in faccia questi sistemi senza intermediari. Cinque progetti diversi, una sola aria di famiglia: meno cattedrale, più bottega.

Resta in mente l'immagine con cui abbiamo aperto: un agente che cammina da solo, e attorno tre persone che discutono di come tenerlo. Uno gli mette una chiave, uno una legge, uno una polizza. Nessuno dei tre pensa più che basti costruirlo bene. La domanda si è spostata, e in fretta: non cosa sa fare la macchina, ma di chi risponde quando lo fa. Forse è questo il vero segno che una tecnologia è diventata adulta. È stato Signal Brief. Alla prossima.