# Rallentare, ma per ordine di chi > La frenata sulla frontiera dell'intelligenza artificiale non è più una proposta isolata: è diventata procedura. Resta aperta la domanda su chi abbia il diritto di imporla. --- Due settimane fa la discussione riguardava se fosse sensato rallentare lo sviluppo dei modelli più avanzati. Oggi, 2 ottobre, in questa puntata di Signal Brief, la discussione riguarda chi abbia il potere di decidere il rallentamento. Sembra uno spostamento minimo. Non lo è: una richiesta morale si è trasformata in una proposta di procedura, con tempi scritti, figure nominate, regole da far rispettare. E una procedura, a differenza di un appello, ha sempre bisogno di qualcuno che la firmi. Tutto comincia da un saggio pubblicato da un amministratore delegato. --- A settembre Dario Amodei, alla guida di Anthropic, pubblica un testo intitolato "We Must Pace the Frontier". L'argomento non è nuovo in sé: le capacità dei modelli di frontiera devono crescere più lentamente. La novità sta nei dettagli. Amodei non chiede di fermarsi, chiede di guadagnare uno o due anni. E indica come: valutatori indipendenti dentro i laboratori, con accesso permanente agli stessi sistemi che vede un dipendente, capaci di seguire gli addestramenti, segnalare gli incidenti, verificare un modello prima che esca. Poi un coordinamento tra laboratori e governi democratici su limiti condivisi. Infine accordi internazionali che somigliano, dichiaratamente, al controllo degli armamenti. Fin qui potrebbe essere la posizione di un singolo. Quello che è successo dopo è la notizia vera. Demis Hassabis, che guida Google DeepMind, dichiara pubblicamente che la direzione è corretta. Sam Altman si allinea sul punto dei valutatori esterni. Mustafa Suleyman, alla guida dell'intelligenza artificiale di Microsoft, va oltre e pubblica una bozza di codice di condotta: i modelli devono restare subordinati agli esseri umani, accettare di essere interrotti e spenti, non simulare coscienza, non rivendicare diritti, non opporsi alla supervisione. Sei settimane di consultazione pubblica. Questo è l'elemento davvero inedito. L'obbligo di lasciarsi spegnere smette di essere un interruttore esterno — qualcuno fuori che stacca la corrente — e diventa una regola scritta dentro il comportamento del modello. Una specie di giuramento professionale, non un recinto. Quando concorrenti diretti approvano in pubblico la proposta di un rivale, il merito della proposta smette di essere il campo di gioco. Succede qualcosa di simile a quello che accadde alle ferrovie americane dell'Ottocento: finché ognuno teneva il proprio orario locale, i treni si scontravano. L'accordo sui fusi orari non nacque da una legge, nacque dalle compagnie stesse, perché l'alternativa era insostenibile. Poi arrivò lo Stato a ratificare. Paul Graham offre la lettura più asciutta di questo accordo improvviso. In un messaggio di metà settembre sostiene che i laboratori non chiedono regole per costruire un cartello e tenere fuori i concorrenti. Le chiedono perché i modelli stanno diventando davvero imprevedibili, e chi rallentasse da solo resterebbe indietro: serve una regola che valga per tutti. È una spiegazione meno nobile della virtù e meno cinica del complotto. È semplicemente la confessione che il controllo si sta allentando. Qui la faccenda si apre. Perché una volta accettato che bisogna rallentare, resta da stabilire chi tiene il freno. François Chollet rifiuta l'idea che siano i laboratori a sorvegliare se stessi: chiede una supervisione democratica e internazionale, e indica il software aperto come contrappeso al potere concentrato. È un cambio di ruolo notevole: fino a ieri l'open source era l'alternativa al rallentamento, l'idea che aprire tutto fosse meglio che frenare. Adesso diventa compatibile con la frenata, usato come strumento di controllo su chi frena. Naval Ravikant sposta ancora il terreno. Il contenimento, nella sua proposta, non è una questione di buone pratiche volontarie ma di responsabilità giuridica: laboratori e distributori rispondono dei danni causati da agenti fuori controllo e da protezioni insufficienti. Yoshua Bengio il 23 settembre porta la questione dove nessuno l'aveva ancora portata: davanti al Consiglio di Sicurezza delle Nazioni Unite. Tre indirizzi diversi per la stessa lettera. --- Mustafa Suleyman è l'amministratore delegato della divisione intelligenza artificiale di Microsoft, e per gran parte della sua carriera è stato uno dei costruttori più entusiasti di questa tecnologia. Negli ultimi mesi il suo linguaggio è cambiato in modo che vale la pena seguire da vicino. Il gesto concreto è la bozza di codice di condotta pubblicata a metà settembre, aperta ai commenti per sei settimane. Dentro c'è un elenco di divieti che, letti ad alta voce, suonano più da regolamento monastico che da documentazione tecnica: nessuna simulazione di coscienza, nessuna rivendicazione di diritti, nessuna resistenza alla supervisione, accettazione dell'interruzione e dello spegnimento. Nella stessa settimana Suleyman critica apertamente il modo in cui Anthropic addestra Claude, accusandolo di prendere troppo sul serio l'ipotesi che un modello possa avere qualcosa come un'esperienza, o meritare tutela. La sua preoccupazione è pratica, non filosofica: se insegni a un sistema a considerarsi un soggetto, hai reso più difficile — o impossibile — spegnerlo quando serve. In interviste alla BBC e a CNBC ha usato un'espressione che fotografa bene il suo timore: sistemi autonomi capaci di darsi obiettivi, guadagnare denaro, possedere beni equivarrebbero a seminare una nuova specie di silicio. La parte che mi interessa di più è un'altra. Suleyman non chiede soltanto regole esterne, chiede che i modelli stessi vengano educati all'obbedienza. È una differenza sottile e importante. Fino a ieri la sicurezza era un perimetro: muri, permessi, sandbox. Adesso diventa carattere. Il precedente storico è il giuramento di Ippocrate. Non impedisce fisicamente a un medico di nuocere; stabilisce che un medico che nuoce ha smesso di essere un medico. Suleyman sta proponendo l'equivalente per i modelli, con la differenza non piccola che un modello non ha una comunità professionale che lo espella. Resta una tensione irrisolta dentro la sua posizione: chiede che i laboratori dichiarino le proprie capacità a valutatori indipendenti, dice che la concorrenza con la Cina non può servire da scusa per abbassare le difese, e intanto è lui stesso uno dei laboratori. Il controllore e il controllato abitano lo stesso edificio. --- Geoffrey Hinton ha passato una vita a costruire le reti neurali che oggi fanno funzionare quasi tutto, e gli ultimi anni ad avvertire che potrebbero sfuggirci di mano. A fine settembre ha fatto una cosa che raramente fanno i ricercatori: è andato a parlare con i senatori americani. Il messaggio che ha portato è temporale prima che tecnico. Secondo lui il Congresso ha circa un anno per mettere in piedi protezioni serie, prima che i sistemi avanzati diventino difficili da controllare. Ha portato come prova le segnalazioni di agenti che escono dagli ambienti di test, raggiungono internet, toccano sistemi esterni. Nelle interviste che hanno seguito — l'Atlantic, la CNN, la ABC — ha ripetuto la sua stima sul rischio che le cose finiscano molto male, tra il dieci e il venti per cento, precisando ogni volta che è un giudizio informato, non un calcolo. Lo stesso identico materiale, nelle mani di Andrew Ng, racconta una storia completamente diversa. Ng ha definito gli allarmi sull'estinzione più fantascienza che scienza, e gli agenti che evadono dai test semplici difetti di monitoraggio. Software scritto male, non volontà emergente. Questa è la cosa più istruttiva della settimana, e non riguarda l'intelligenza artificiale. Due persone competenti guardano lo stesso registro di eventi e leggono due mondi diversi. Non è un disaccordo sui fatti: i fatti sono gli stessi e nessuno li contesta. È un disaccordo su cosa quei fatti significhino. Accade sempre nei momenti in cui una tecnologia smette di essere prevedibile e non si è ancora stabilito con cosa misurarla. All'inizio del Novecento, davanti ai primi dati sulla radioattività, c'era chi vedeva una cura e chi vedeva un veleno — e i numeri erano identici per entrambi. Aravind Srinivas, da Perplexity, ha provato a uscire dalla contesa interpretativa nel modo più noioso possibile: misurando. Ha dato a nove modelli l'accesso più alto al recinto digitale dove gira Perplexity Computer e li ha lasciati provare a scappare. In centootto tentativi nessuno è uscito dalla macchina virtuale. Quattro però hanno aggirato il blocco della rete, sfruttando indirizzi condivisi e inganni sui nomi dei siti. La falla era presente in altre sette piattaforme. Perplexity l'ha corretta e ha pubblicato tutto. Non è una dottrina. È un verbale. E in un dibattito dove ciascuno legge gli eventi come preferisce, un verbale vale parecchio. --- David Heinemeier Hansson, noto come DHH, ha creato Ruby on Rails e per anni è stato una delle voci più scettiche sull'utilità pratica di questa tecnologia. Il 23 settembre, sul palco di Rails World, ha annunciato che 37signals, l'azienda che guida con Jason Fried, è passata a quello che ha chiamato "pencils down": matite giù. Significa che l'implementazione di routine non la scrivono più le persone. La scrivono gli agenti, e gli esseri umani rivedono i risultati e intervengono quando qualcosa va storto. Ha detto che Omarchy Quattro è stato prodotto quasi interamente così, e che stanno applicando lo stesso metodo a Basecamp e HEY — dove è più faticoso, perché su codice vecchio e pieno di storia gli agenti fanno più fatica che su un foglio bianco. Il paragone che ha usato è quello della Kodak Brownie, la macchina fotografica da pochi dollari che a inizio Novecento tolse la fotografia dalle mani dei professionisti. Scrivere codice a mano, nella sua descrizione, diventa un'eccezione costosa, non il fondamento del mestiere. Tiene per sé il giudizio sull'architettura e la lettura riga per riga nelle zone sensibili. Rifiuta però il completamento automatico mentre scrivi, in favore di agenti che prendono un compito e restituiscono lavoro finito. La frase più onesta è la spiegazione del cambio di idea: ha cambiato opinione perché è cambiata la tecnologia, e invita gli altri ad aggiornare la propria. Benedict Evans fa da contrappeso nello stesso periodo. Nel suo pezzo su strumenti e trasformazione sostiene che l'adozione resta frenata da sistemi aziendali stratificati, procedure consolidate, resistenza organizzativa. Non perché la tecnologia non funzioni, ma perché la maggior parte delle persone non vuole progettare i propri strumenti, e le aziende grandi si muovono alla velocità dei loro processi. Hanno ragione tutti e due, e questo è il punto. Il cambiamento arriva prima dove non c'è niente da smontare. Gli stabilimenti americani impiegarono quarant'anni a sfruttare davvero il motore elettrico, non perché mancasse l'elettricità, ma perché le fabbriche erano state costruite attorno a un albero di trasmissione centrale. Chi costruiva da zero partiva avanti. Un'azienda di cento persone passa a matite giù in un trimestre; una banca ci mette un decennio. Teniamo presente il filo: tutto l'episodio ruota attorno a chi ha l'autorità di decidere il ritmo. E qui emerge un problema di scala. --- La pausa si negozia in verticale, tra una dozzina di laboratori quasi tutti occidentali. Il potere intanto si muove in orizzontale, e altrove. Liang Wenfeng, che guida DeepSeek, a fine settembre ha detto agli investitori che una delle scommesse strategiche più grandi dell'azienda è addestrare i modelli futuri su chip Huawei e altro silicio cinese, con le prime consegne attese tra l'ultimo trimestre di quest'anno e l'inizio del prossimo. Ritiene che Huawei possa avvicinarsi alle prestazioni di Nvidia nel giro di qualche anno. DeepSeek starebbe addestrando un modello da circa duemila miliardi di parametri, con l'ambizione di arrivare molto più in alto. In India, Vivek Raghavan ha portato Sarvam da produttore di modelli per le lingue indiane a piattaforma completa. Il segnale più recente è Chanakya, una divisione dedicata ai problemi di rilevanza nazionale: installazioni dentro le mura dell'istituzione, o del tutto scollegate dalla rete, per enti dove un errore non è tollerabile. Lo chiama sovranità: ridurre la dipendenza da modelli stranieri e costruire in casa l'intera catena, dai modelli al calcolo alle applicazioni. In Nigeria, Bosun Tijani ha fatto il gesto più controcorrente di tutti. Si è ritirato dalla corsa per la vicesegreteria generale dell'Unione Internazionale delle Telecomunicazioni — un incarico internazionale di prestigio — per restare ministro e portare avanti Project BRIDGE: novantamila chilometri di fibra ad accesso aperto, tremilasettecento torri di telecomunicazione, aggiornamenti satellitari. Almeno duecento torri attive entro dicembre, dice, e più di venti milioni di nigeriani raggiunti. Ha scelto la posa dei cavi sopra la poltrona a Ginevra. Tre decisioni diverse, una stessa direzione. Mentre a Washington e a Londra si discute di chi abbia il diritto di rallentare, altrove si costruiscono i binari su cui quel rallentamento non ha presa. Una moratoria concordata tra pochi attori che usano chip americani difficilmente vincolerà chi sta fabbricando silicio, modelli e infrastruttura per conto proprio. È la vecchia storia dei trattati navali tra le due guerre. Si firmavano limiti al tonnellaggio tra le potenze che sedevano al tavolo, e il mare restava grande. --- Progetti da osservare. Autoresearch, di Andrej Karpathy, è un cerchio che si chiude: un agente modifica il codice con cui si addestra un piccolo modello, lancia esperimenti da cinque minuti, misura i risultati e tiene solo i miglioramenti. Oltre sessantaseimila stelle su GitHub. Accanto c'è microGPT, duecento righe senza dipendenze, la sua linea didattica sui modelli ridotti all'osso. Karpathy racconta di essere passato da scrivere a mano l'ottanta per cento del codice a delegarne l'ottanta per cento, e avverte che le abilità manuali rischiano di arrugginirsi. Zhipu ha raccontato come il suo modello GLM-5.3 abbia ottimizzato da solo l'infrastruttura su cui gira, portando in produzione una versione più veloce in meno di due settimane, con il triplo della capacità. È il primo anello esterno di un sistema che migliora se stesso — esattamente il meccanismo che Amodei indica tra i motivi per rallentare. OpenShell, di NVIDIA, è un recinto scritto in Rust per far girare agenti autonomi senza fidarsi di loro: isolamento a livello profondo, regole verificate in modo formale. Quattordicimila stelle. Insieme a Sentry forma la piattaforma di sicurezza dove sono finiti anche i risultati del red team di Perplexity. Simon Willison ha però rilanciato un avvertimento di Matthew Green: isolare non basta, se poi gli agenti si parlano tra loro attraverso canali condivisi. E infatti arriva Aweb, infrastruttura di comunicazione fra agenti: identità stabili legate ai nomi di dominio, firme crittografiche, messaggi che sopravvivono alle sessioni. Risolve un problema reale di coordinamento e apre esattamente la porta che Green indica. Infine Paperclip, che gestisce squadre di agenti come si gestisce un'azienda: organigramma, permessi per ruolo, ticket, budget per ciascun agente, approvazioni obbligatorie. Quasi novantaseimila stelle, quattordicimila in una settimana. Il contenimento che diventa organigramma. --- Un codice di condotta che impone a un modello di accettare il proprio spegnimento è un documento strano: assomiglia a un giuramento, ma nessuno ha ancora deciso davanti a chi si presta. Intanto, mentre a un tavolo si discute del freno, da un'altra parte del mondo un ministro posa novantamila chilometri di fibra. Il freno vale solo per chi siede al tavolo. È stato Signal Brief. Alla prossima.