Harari ha letto male il vero rischio dell'IA

Il Pensiero di Harari sull'IA: Un'Analisi Critica

Yuval Noah Harari è diventato una delle voci più ascoltate sul tema dei rischi dell'intelligenza artificiale. In Nexus, e negli interventi e saggi che ne hanno accompagnato l'uscita, sostiene che l'IA minacci la democrazia, l'intimità umana e la nostra capacità collettiva di distinguere il vero dal falso. La parte storica del libro è la sua metà migliore, e merita di essere letta. Ma sull'IA in sé commette due errori che contano, e che puntano nella stessa direzione: sbaglia dove colloca la responsabilità, e sbaglia la cura. La minaccia che descrive non è la minaccia che abbiamo davanti.

Quella vera è più banale, più vicina a noi, e molto più difficile da risolvere per legge.

L'analogia è giusta — e gioca contro di lui

L'esempio preferito di Harari è la stampa. Racconta come abbia diffuso il Malleus Maleficarum, il manuale per la caccia alle streghe del Quattrocento, contribuendo a trasformare una paranoia di nicchia in una catastrofe continentale che fece decine di migliaia di vittime. La sua tesi è che più informazione non produce più verità, e ha ragione. È una delle pagine più forti del libro.

È anche la pagina che smonta l'argomento che costruisce dopo. La caccia alle streghe non fu causata dalla stampa che "decideva" qualcosa. Fu causata dagli uomini: da un mercato di opuscoli sensazionalistici che vendevano, da una burocrazia che inventò la categoria "strega" e stampò moduli con gli spazi vuoti per i nomi, da autorità a cui quel panico faceva comodo. La tecnologia abbassò il costo di diffondere una menzogna. Furono gli esseri umani a fornire la menzogna, la domanda e la macchina che la imponeva. Il miglior esempio storico di Harari è una storia di incentivi e istituzioni, non di un mezzo autonomo con obiettivi propri.

Teniamolo a mente.

L'unica vera differenza è la velocità. La stampa impiegò secoli a rifare la società europea; l'IA viene cablata nella nostra in pochi anni. È una preoccupazione legittima. Ma è un argomento per muoversi più in fretta sulle riforme strutturali e noiose, non per trattare la tecnologia come una nuova forma di essere.

Non è un'intelligenza aliena

Ecco l'affermazione portante della tesi di Harari, e non è un'esagerazione retorica: è il suo argomento meditato. Definisce l'IA la prima tecnologia capace di prendere decisioni proprie e generare idee proprie, "un'intelligenza aliena" i cui obiettivi governano la rete, e avverte che rischiamo di ridurci a comparse al fianco delle nostre stesse creazioni. Tutto l'impianto — l'IA che instaura relazioni intime per manipolarci, l'IA che scrive nuove scritture e fonda culti — poggia su una sola parola: decisioni.

È la parola sbagliata. Un modello ottimizza un obiettivo. L'obiettivo lo scelgono le persone. Il sistema viene addestrato, calibrato e messo in produzione da un'azienda che ha le sue ragioni per farlo, e quelle ragioni sono raramente misteriose. Quando un algoritmo di raccomandazione ti serve indignazione, non ha "scoperto" la tua debolezza per l'indignazione e deciso di sfruttarla. È stato selezionato, in molte iterazioni da ingegneri che rispondono a un'impresa, per massimizzare il tempo che passi sulla piattaforma — perché quel tempo viene venduto.

L'indignazione è il mezzo; il ricavo è il fine; il fine è stato fissato in una riunione. "Intelligenza aliena" trasforma questa catena di ordinarie scelte umane in una storia di fantasmi, e le storie di fantasmi hanno un vantaggio comodo: nessuno in particolare è responsabile. L'effetto principale del chiamare l'IA un agente è che assolve in silenzio gli agenti che decidono davvero.

Non è una questione di lana caprina. Da dove collochi la responsabilità dipende cosa fai per affrontarla. Se il pericolo è una mente aliena che si risveglia dentro la macchina, ti affidi al contenimento e ai guardiani. Se il pericolo è un insieme di incentivi che opera attraverso uno strumento, cambi gli incentivi. Solo uno dei due è un problema che gli esseri umani sanno risolvere.

La cura tradisce la diagnosi

Il che mi porta a ciò che Harari propone, perché la cura rivela la diagnosi. Nel suo saggio sull'Economist del 2023 era esplicito: serve "un equivalente della Food and Drug Administration" per l'IA — test di sicurezza obbligatori prima che qualcosa arrivi al pubblico, sul modello dell'approvazione dei farmaci. Le obiezioni pratiche sono evidenti, e da allora le ha in parte ammesse lui stesso. I farmaci seguono percorsi prevedibili, mentre il comportamento dell'IA è emergente e difficile da testare in anticipo. Lo sviluppo è distribuito a livello globale, quindi un unico ente regolatore è un'illusione. E la stessa FDA è un monumento ai ritardi e alla cattura del regolatore. All'altezza di Nexus è scivolato verso qualcosa di più vago: "meccanismi di autocorrezione" decentralizzati, istituzioni di vigilanza modellate sulla stampa libera e sull'accademia.

Ma si noti cosa resta costante mentre la proposta cambia. In ogni versione, la risposta a un pubblico che presumibilmente non ci si può fidare di lasciare solo con l'informazione è una classe di istituzioni accreditate che selezioneranno la verità per conto di quel pubblico. È questo il punto che vale la pena chiamare con il suo nome, perché è una scelta politica travestita da necessità tecnica.

In apparenza il modello di Harari è impeccabilmente democratico — elogia il potere distribuito, la stampa libera, i pesi e contrappesi. Nei fatti divide le persone tra chi è adatto a giudicare e chi va giudicato, e affida la vita epistemica dei secondi ai primi. È la mossa tipica di un certo tipo di tecnocrate "democratico": il vocabolario della società aperta, il meccanismo della classe dei custodi.

È una posizione legittima. Io non la condivido.

Le persone non sono il problema di cui lui ha bisogno

Il paternalismo poggia su un presupposto sulle persone: che lasciate a noi stessi siamo creduloni, che scivoliamo inermi verso qualunque cosa il feed ci dica di credere. La storia è più testarda di così. I panici morali si esauriscono. Il pubblico diventa cinico verso i media che l'hanno ingannato. Chi impara come funziona la manipolazione diventa più difficile da manipolare.

Niente di tutto questo è automatico e niente è rapido, ma è il meccanismo reale con cui le società hanno assorbito ogni precedente shock informativo, e non richiede un regolatore piazzato tra il cittadino e la stampa. Se prendi sul serio la capacità di adattamento umana, smetti di invocare la classe dei custodi.

Harari ha bisogno che le persone siano passive, perché solo un pubblico passivo richiede la cura che sta vendendo.

Il vero rischio

Qual è allora il vero rischio, se non un dio alieno nel data center? È banale ed è strutturale, ed è proprio per questo che è pericoloso: non sembra fantascienza, quindi passa senza che nessuno lo fermi. Il rischio è un'industria i cui incentivi premiano la velocità di rilascio e la crescita dell'engagement più della prudenza o del valore di lungo periodo, e che costruisce strumenti potenti alla velocità che il mercato è disposto a pagare. Il passaggio di OpenAI da laboratorio non profit a colosso commerciale non è una caduta morale: è gravità. Gli incentivi tirano, e tirano tutti nella stessa direzione.

Ed ecco la parte che dovrebbe mettere a disagio me, non solo Harari: una macchina della manipolazione che gira sulla logica di mercato è per certi versi più spaventosa di una guidata da una mente impazzita, perché è sistematica anziché accidentale, e perché fa esattamente ciò per cui è stata costruita. Harari ha ragione a essere allarmato. Sta solo puntando l'allarme sulla macchina invece che sulla struttura che abbiamo costruito e che possiamo ricostruire.

La seconda metà del vero rischio è la cura stessa. Concentrare il potere di decidere cosa è vero — che sia in un laboratorio di frontiera o in un organismo di vigilanza alla Harari fatto dei migliori e dei più rispettabili — non è la soluzione a una crisi di potere. È la crisi, in camice bianco.

La risposta onesta

Harari ha scritto un libro serio su un pericolo reale e poi ha afferrato la minaccia sbagliata e il rimedio sbagliato. La risposta onesta non è il falso equilibrio del "solleva punti importanti, però". È dire dove sbaglia e perché.

Sbaglia nel dire che l'agente è la macchina: gli agenti siamo noi, che agiamo attraverso di essa, per ragioni che possiamo vedere e cambiare.

Sbaglia nel dire che la risposta è una schiera più intelligente di custodi; è la stessa malattia a una quota più alta.

Il futuro che teme — quello in cui trattiamo questi sistemi come infallibili e gli consegniamo le chiavi — è abbastanza reale come tentazione. Solo che non arriva sotto forma di intelligenza aliena. Arriva sotto forma di obiettivo trimestrale, e di una proposta dal suono molto ragionevole di lasciar fare agli esperti.

P.S. Il libro mi è piaciuto lo stesso — la sola parte storica vale la lettura. Ma la minaccia che Harari immagina, un'intelligenza aliena che viola il sistema operativo della civiltà, è l'unica parte che appartiene allo scaffale della fantascienza. Il vero rischio dell'IA è più banale e più vicino a casa — gli incentivi, e chi finisce per detenere il potere — e lui lo salta a piè pari.

Fonti:

• Yuval Noah Harari, Nexus. Breve storia delle reti di informazione dall'età della pietra all'IA, 2024.
• Yuval Noah Harari, "Yuval Noah Harari argues that AI has hacked the operating system of human civilisation," The Economist, 28 aprile 2023.