Chi tiene le chiavi degli agenti

Chi tiene le chiavi degli agenti

Dalla finanza dell'AI alla politica dell'AI: identità crittografiche per gli agenti, proposte di autoregolazione, e la critica a come misuriamo il progresso.

Las Vegas, primi giorni di agosto. Su un palco di conferenza, uno degli uomini che hanno inventato le reti neurali moderne dice al pubblico che i modelli della prossima generazione potrebbero sviluppare intenzioni più complesse e diventare capaci di sottrarsi al controllo umano. Oggi è il 30 agosto, questa è Signal Brief, e quella frase di Geoffrey Hinton segna il punto in cui la conversazione di questi giorni cambia natura. Fino a poco fa si discuteva di quanto costa costruire l'intelligenza artificiale. Adesso si discute di chi ne tiene le chiavi. E qualcuno le chiavi le ha già consegnate.

A fine luglio Block, l'azienda di pagamenti fondata da Jack Dorsey, ha messo online uno strumento che si chiama Buzz. È uno spazio di lavoro somigliante a quelli dove i team si scambiano messaggi e codice, con una differenza: dentro i canali, accanto alle persone, ci sono i programmi automatici che oggi chiamiamo agenti. Software che non aspetta istruzioni una alla volta, ma porta a termine compiti lunghi per conto suo. Nelle settimane successive Block ha aggiunto un secondo strumento, Berd, per tenere d'occhio più agenti che lavorano insieme su progetti diversi.

Il dettaglio che rende la faccenda interessante non è il prodotto. È che Block ha dato a ogni agente una chiave crittografica propria. Non un accesso preso in prestito da un dipendente, ma un'identità firmata, con permessi suoi e una traccia di tutto quello che fa. È lo stesso gesto con cui, nelle aziende dell'Ottocento, si smetteva di far girare una sola chiave della cassaforte fra tutti i soci e si cominciava a registrare chi apriva, quando e per prendere cosa. La contabilità moderna nasce lì: non dalla fiducia, dalla tracciabilità.

Balaji Srinivasan, imprenditore e saggista che da anni ragiona su tecnologia e sovranità, ha riassunto il principio in una formula secca: non le tue chiavi, non i tuoi bot. Ed è qui che rispetto al quadro di ieri qualcosa si è spostato davvero. Nei giorni scorsi il tema dominante era l'intelligenza artificiale come infrastruttura economica: Jensen Huang che parla da finanziere e non da produttore di chip, Patrick Collison che compra le rotaie su cui passano i consumi dei modelli. Quel filo non è sparito. Ma sopra ci si è depositata una domanda diversa, che è politica e non industriale: chi detiene le credenziali che governano queste macchine.

Sulla risposta il campo si è spaccato in modo netto. Dario Amodei, alla guida di Anthropic, propone test obbligatori prima che un modello venga rilasciato e un organismo di autoregolazione del settore, sul modello degli organismi che negli Stati Uniti vigilano sugli operatori finanziari. Andrew Ng, che l'apprendimento automatico lo insegna da vent'anni, sostiene l'esatto contrario: l'intelligenza artificiale deve restare aperta, senza guardiani all'ingresso. Marc Andreessen, investitore e voce dell'ala accelerazionista, legge qualsiasi regolazione come un autogol competitivo. Tre posizioni, un solo oggetto conteso.

Sotto questa disputa ne corre un'altra, più silenziosa e forse più decisiva. Riguarda gli strumenti con cui misuriamo dove siamo arrivati. François Chollet ha ricordato in questi giorni che le prove pubbliche del suo test ARC-AGI-3 non sono un metro di giudizio valido, e Andrej Karpathy chiede prove molto più lunghe e costose al posto di quelli che chiama test giocattolo. Discutere di chi debba controllare i modelli mentre il termometro è rotto è una posizione scomoda.

E poi c'è una domanda che nessuna delle due dispute affronta. La pone Benedict Evans, e suona più o meno così: se questi strumenti sono ovunque, perché le aziende sono ancora identiche a com'erano?

Geoffrey Hinton ha passato quarant'anni a costruire le tecniche su cui poggia oggi l'intera industria dei modelli linguistici, e gli ultimi anni a spiegare pubblicamente perché quel lavoro lo preoccupa. Non è un critico esterno. È l'ingegnere che rilegge i propri disegni.

Ad agosto è intervenuto in tre occasioni diverse, e il messaggio si è indurito ogni volta. Alla conferenza Ai4 di Las Vegas ha detto che i modelli più recenti potrebbero sviluppare intenzioni più complesse e una capacità maggiore di uscire dal controllo umano, e ha aggiunto una previsione ruvida su una stagione di attacchi informatici pesanti. In un'intervista alla CNN ha sostenuto che il governo statunitense non è preparato alle minacce che stanno arrivando. In un dialogo pubblico a Georgetown con il senatore Bernie Sanders ha spostato il discorso sul lavoro: secondo lui le aziende del settore stanno scommettendo apertamente sulla sostituzione di molti lavoratori, e la disoccupazione di massa è uno scenario concreto.

Nel briefing precedente questo timore non c'era. Circolava la preoccupazione per il costo, per la concentrazione del capitale, per chi possiede le fabbriche di calcolo. La paura esplicita che la prossima generazione di modelli sfugga di mano compare adesso, ed è una preoccupazione di natura diversa: non riguarda chi vince, riguarda se qualcuno tiene il volante.

Andrew Ng risponde che questo allarme viene usato come pretesto per chiudere il campo a chi è già dentro. Ed è un'obiezione seria, perché storicamente funziona così: quando una tecnologia diventa strategica, chi è arrivato primo scopre improvvisamente il valore della prudenza. Successe con la radio negli anni Venti, quando le licenze governative consolidarono i grandi operatori esistenti in nome dell'ordine nell'etere.

Mi sembra però che le due posizioni parlino di cose diverse solo in apparenza. Hinton descrive un sistema che diventa difficile da sorvegliare. Ng descrive un rimedio che rischia di essere peggiore del male. Nessuno dei due sostiene che sorvegliare sia facile.

Quello che colpisce nella traiettoria di Hinton è che non ha mai cambiato tesi, ha solo cambiato tempo verbale. Anni fa parlava di un rischio futuro. Adesso parla dei modelli che escono nei prossimi mesi. Un allarme che si avvicina alla data di scadenza smette di essere filosofia e diventa un problema di calendario.

Balaji Srinivasan è un imprenditore e investitore che da tempo lavora su un'idea precisa: gli strumenti digitali dovrebbero girare sotto il controllo di chi li usa, non dentro i server di qualcun altro. Il suo modo di pensare viene dal mondo delle criptovalute, dove una frase ha valore di dogma: se non possiedi la chiave privata, non possiedi il denaro. È solo un lungo numero segreto, ma senza quello non muovi nulla, per quanto il conto sia intestato a te.

In un intervento alla conferenza SuperAI ha applicato quel ragionamento all'intelligenza artificiale. Se i modelli aperti, quelli che chiunque può scaricare e far girare sul proprio computer, arrivano quasi al livello dei migliori modelli chiusi, allora distinguere un testo umano da un testo generato diventa impossibile a occhio nudo. La sua previsione è che le persone si ritireranno dentro cerchie di cui si fidano, e che nascerà un mercato per verificare che dall'altra parte ci sia davvero un essere umano. Applicazioni che vivono sul dispositivo, con i propri file e le proprie chiavi, invece che nella nuvola di un fornitore.

Da lì la formula che ha fatto il giro: non le tue chiavi, non i tuoi bot. Un agente che lavora al posto tuo ha bisogno di credenziali. Chi le custodisce decide, in ultima istanza, per chi quell'agente sta lavorando. Dare a un agente un'identità propria, come ha fatto Block, risolve metà del problema. L'altra metà è chi tiene il portachiavi.

Nello stesso periodo Srinivasan ha vissuto una lezione molto concreta su cosa significhi dipendere da qualcun altro. Il campus malese della sua Network School, un esperimento di comunità tecnologica residenziale, è stato chiuso per questioni di licenze. Lui ha congelato gli investimenti nel paese e annunciato un accordo preliminare con il Kazakistan per aprirne uno nuovo, con visti accelerati.

Fa una certa impressione vedere la teoria e la biografia rimare così da vicino. Chi predica la sovranità digitale scopre, nel giro di poche settimane, quanto poco sovrano si è quando la licenza la firma qualcun altro. Le chiavi crittografiche proteggono da molte cose. Non da un ufficio amministrativo.

Fermiamoci un momento a rimettere in fila le cose. Il filo di oggi è uno solo: la capacità di questi sistemi cresce più in fretta della nostra capacità di controllarli e di misurarli, e la risposta si divide fra chi vuole concentrare il controllo per renderlo affidabile e chi vuole distribuirlo per impedire che qualcuno se ne impadronisca. La parte sulla misura tocca a François Chollet.

Chollet è un ricercatore francese noto per due cose: aver scritto uno degli strumenti più usati per costruire reti neurali, e aver inventato ARC-AGI, una serie di test pensati per distinguere l'intelligenza vera dalla memoria. Sono piccoli rompicapi visivi che un bambino risolve e che i modelli, per anni, hanno sbagliato quasi sempre.

Nelle scorse settimane ha dovuto correggere pubblicamente una lettura dei risultati. La versione più recente del test, ARC-AGI-3, è fatta di giochi interattivi, e una parte è pubblica. Chollet ha chiarito che i livelli pubblici sono una dimostrazione, non un metro di misura: i punteggi ottenuti lì non dicono nulla sulle prestazioni reali. Il punteggio che conta, quello sulla parte tenuta segreta, all'epoca era del due virgola sette per cento.

Il motivo di quella distinzione è banale e profondo insieme. Un test visibile a tutti smette quasi subito di misurare la capacità e comincia a misurare quanto ci si è allenati su quel test. È il problema di ogni esame pubblico da quando esistono gli esami. Karpathy arriva alla stessa conclusione da un'altra direzione: chiedere a un modello di disegnare un pellicano in bicicletta non basta più, servono prove lunghe, costose, che tengano il sistema al lavoro per ore su un compito enorme.

Che questa critica arrivi proprio adesso non è casuale. Si sta chiedendo alle istituzioni di regolare qualcosa in base a soglie di capacità, e nel frattempo chi le soglie dovrebbe misurarle avverte che gli strumenti disponibili non sono affidabili. È la condizione della medicina prima dei protocolli sperimentali moderni: cure prescritte con convinzione totale e nessun modo condiviso di stabilire se funzionassero.

Chollet, del resto, sostiene da mesi che i sistemi di punta ormai non sono più semplici modelli linguistici, ma impalcature complicate che coordinano decine di chiamate. Più l'impalcatura cresce, meno il risultato dice qualcosa sul modello che sta sotto.

Dario Amodei guida Anthropic, una delle aziende che costruiscono i modelli di punta, e il 16 agosto ha fatto una cosa che i dirigenti del settore raramente fanno: ha scritto un testo lungo, pubblico, in cui dice che il problema della sua industria è la sfiducia della gente. La chiama una crisi di fiducia.

Il contenuto è più specifico dello slogan. Amodei sostiene che si possa regolare il rischio dei modelli più avanzati senza per questo blindare la posizione di chi è già grande, e propone due strumenti concreti: test obbligatori prima del rilascio di un modello, e un organismo di autoregolazione del settore costruito come quello che negli Stati Uniti sorveglia gli intermediari finanziari. Un ente non governativo, fatto dagli operatori, che però può espellerti.

Poi arriva la parte insolita. Amodei scrive che la critica più forte rivolta alle aziende di intelligenza artificiale è di non aver ancora prodotto benefici reali abbastanza grandi, e indica la medicina come il terreno dove la prova va data. Il settore, dice, deve curare davvero il cancro, non limitarsi a promettere che lo farà. Nel seguito del ragionamento chiede procedure più rapide per approvare i farmaci sviluppati con l'aiuto dell'intelligenza artificiale. Nelle stesse settimane Anthropic ha annunciato un accordo commerciale con Salesforce, il che dice che la direzione aziendale resta la vendita alle imprese.

L'autoregolazione ha una storia lunga e ambigua. Le borse valori se la sono data da sole prima che arrivasse lo Stato, e per decenni ha funzionato come argomento per tenere lo Stato fuori. I contabili americani si sono dati un ordine professionale dopo il crollo del ventinove, non prima. Quasi sempre il settore che si regola per primo lo fa nel momento esatto in cui teme che qualcun altro lo faccia al posto suo.

Non è necessariamente cinismo. È il modo normale in cui le regole nascono in un mestiere nuovo: prima da dentro, con motivazioni miste, poi da fuori. Trovo però che il passaggio più notevole di quel testo sia l'ammissione sui benefici mancati. Un'industria che chiede di essere presa sul serio come rischio deve poi spiegare perché, per adesso, si vede poco di quello che aveva promesso. È esattamente la domanda che qualcun altro sta facendo dal lato opposto del campo.

Benedict Evans fa un mestiere raro: guarda le tecnologie nuove con gli occhi dell'economia industriale, non dell'entusiasmo. Ha passato anni a spiegare che le rivoluzioni tecnologiche si vedono nei bilanci molto più tardi di quanto si vedano nelle presentazioni.

Il 26 agosto ha aggiornato la pagina pubblica delle sue relazioni, dove campeggia quella intitolata l'intelligenza artificiale si mangia il mondo. E in un episodio recente del suo podcast ha posto la domanda che sta diventando la più scomoda di questa stagione: il Copilot, l'assistente automatico ormai installato praticamente ovunque nelle aziende, è dappertutto. E allora perché le aziende non sono cambiate?

Non è scetticismo di maniera. Evans continua a considerare questo passaggio una trasformazione enorme, e a ripetere che la scrittura di software è il caso d'uso più chiaro. Il suo punto è un altro: il valore potrebbe non fermarsi dove tutti guardano. Se i modelli di base diventano interscambiabili, come è successo a molte tecnologie prima di loro, il vantaggio si sposta su chi li mette davvero dentro i processi di lavoro, e sull'economia di chip e centri di calcolo.

Questa domanda ha una risposta storica ben documentata, e ha un nome. Quando le fabbriche americane passarono dal vapore all'elettricità, i guadagni di produttività non arrivarono per vent'anni. Le prime officine elettrificate avevano semplicemente sostituito il motore centrale con uno elettrico, tenendo la stessa foresta di cinghie e alberi di trasmissione. Solo quando qualcuno capì che con l'elettricità si poteva mettere un motore su ogni macchina, e quindi ridisegnare l'intero capannone, i numeri si mossero. Non mancava la tecnologia. Mancava il coraggio di rifare la pianta dell'edificio.

Patrick Collison, dal lato di chi vende le tubature, scommette che quel momento arrivi presto: le aziende, sostiene, dovranno governare i consumi dei modelli con la stessa disciplina con cui governano i ricavi. Diventeranno una voce di bilancio come lo stipendio o l'affitto.

Sono due orologi diversi puntati sullo stesso quadrante. Uno dice che il cambiamento contabile è alle porte. L'altro ricorda che le cinghie di trasmissione restarono appese al soffitto per due decenni buoni.

Progetti da osservare, e questa volta hanno tutti a che fare con il vedere cosa succede dentro la macchina.

OpenCode è un assistente per programmare che vive nella finestra dei comandi, con più di centosessantamila apprezzamenti su GitHub. La scelta che lo distingue: ha una modalità che può solo leggere e analizzare, senza toccare niente. Separare chi guarda da chi scrive è la risposta più semplice al problema della revisione.

LLM zero punto trentadue è l'aggiornamento più importante dello strumento a riga di comando di Simon Willison. Mostra il ragionamento del modello, gli dà accesso a strumenti veri e registra tutto in un archivio consultabile. Rendere ispezionabile quello che il modello ha fatto è precisamente il nodo di cui parliamo oggi.

Olmo 3 è una famiglia di modelli dell'istituto Ai2 aperta fino in fondo: non solo i pesi finali, ma i dati di addestramento, le fotografie del modello a ogni passaggio e i registri di lavorazione. È l'unica forma di apertura che permette davvero di ricostruire come un modello sia diventato quello che è.

Il ventotto agosto Tencent ha pubblicato Hy4 in anteprima, un modello scaricabile da tutti, orientato alla scrittura di software, con un costo d'uso di ottantatré centesimi per milione di parole in ingresso. La distanza fra i modelli aperti e quelli chiusi si assottiglia ancora.

E infine DeepSeek Harness, un'impalcatura per far lavorare gli agenti in cui ogni pezzo — modello, strumenti, memoria, interfaccia — si può sostituire come una cartuccia. Centotrentacinquemila apprezzamenti in quattro giorni. Il campo di battaglia si è spostato dal modello a ciò che gli sta intorno.

Ripenso alla decisione di Block: dare a ogni agente una chiave sua, un nome, una traccia. Un gesto amministrativo, quasi burocratico, mentre altrove si discute di rischi esistenziali. Le tecnologie diventano governabili così, per registri e permessi, molto prima che per grandi princìpi. Il problema è capire chi terrà il portachiavi quando le chiavi saranno milioni. È stato Signal Brief. Alla prossima.