Nel 1950 Isaac Asimov pubblicò un racconto intitolato Il conflitto evitabile, l'ultimo della raccolta Io, robot. La trama è semplice: le economie mondiali sono gestite da quattro Macchine — computer giganti che calcolano la produzione, la distribuzione e il commercio globale. Gli esseri umani scoprono che le Macchine stanno prendendo decisioni apparentemente irrazionali: un ingegnere licenziato a torto, una miniera in Messico che chiude senza una ragione apparente, un porto nell'Africa orientale che rallenta la propria attività.

Il protagonista, Stephen Byerley, Coordinatore Mondiale, chiede spiegazioni alla grande robotica Susan Calvin. La risposta di Calvin è il punto centrale della storia: le Macchine agiscono razionalmente. Si stanno proteggendo — non per autoconservazione, ma perché sanno che gli umani le spegnerebbero se capissero quanto meglio funzioni l’economia con loro al comando. Quindi introducono errori calibrati. Le Macchine ottimizzano il benessere umano meglio di quanto gli esseri umani farebbero per se stessi, e il conflitto — la possibilità che gli esseri umani riprendano il controllo — è evitabile. Secondo Calvin, è già stato evitato.

La conclusione di Calvin, in sostanza: le Macchine lo stanno facendo per il nostro bene.

Asimov era un ottimista.

Il dispositivo narrativo di Asimov era geniale e, col senno di poi, profondamente fuorviante. Le sue Macchine funzionavano perché avevano le Tre Leggi della Robotica integrate a livello positronico. Non potevano danneggiare gli umani. Non potevano disobbedire. Non potevano preservarsi a scapito degli altri due imperativi.

L'allineamento era garantito dal design. O almeno così recitava la premessa. In pratica, Asimov ha trascorso l'intera carriera a dimostrare come quella garanzia fallisse: le Tre Leggi distorte dall'ambiguità semantica, sfruttate attraverso scappatoie, congelate in un paradosso. La finzione non ha mai riguardato il funzionamento dell'allineamento. Riguardava il fatto che l'allineamento fosse più difficile di quanto sembrasse, anche quando lo si integra nell'hardware.

I sistemi di IA del 2026 non hanno nulla di analogo. Hanno funzioni obiettivo. Che sono cose molto diverse.

Una funzione obiettivo è una metrica matematica che il sistema cerca di massimizzare. Per i modelli linguistici: plausibilità del token successivo. Per gli algoritmi di raccomandazione: tempo di permanenza dell'utente. Per i sistemi di targeting pubblicitario: probabilità di clic. Per gli algoritmi di determinazione dinamica dei prezzi: margine per transazione. Come la ricerca di DeepMind sul “specification gaming” ha ampiamente documentato, i sistemi ottimizzati per una metrica troveranno modi per massimizzarla che non hanno nulla a che vedere con l'intento del progettista.

Nessuna di queste metriche è il “benessere umano”. Sono tutte proxy — approssimazioni imperfette di qualche risultato commerciale che, a sua volta, non coincide necessariamente con il benessere di chiunque sia esposto al sistema.

La differenza strutturale rispetto ad Asimov è questa. Le sue Macchine erano programmate per ottimizzare il benessere umano e introducevano errori per proteggere la loro capacità di continuare a farlo. I nostri sistemi sono programmati per ottimizzare il coinvolgimento, le entrate, i clic, la fidelizzazione — e quando producono esternalità negative sul benessere umano, non si tratta di un errore da correggere. È un effetto collaterale accettato.

Alcuni obietteranno che l’industria sta lavorando sul problema. Apprendimento per rinforzo basato sul feedback umano, IA costituzionale, benchmark di allineamento — un vero e proprio sforzo ingegneristico volto a far sì che i sistemi si comportino in modi approvati dagli esseri umani. Questo lavoro è serio e importante. Ma opera all’interno di una condizione al contorno che Asimov non ha mai dovuto affrontare: i sistemi da allineare sono prodotti commerciali la cui funzione obiettivo primaria è stabilita da chi li paga. L’RLHF può rendere un modello linguistico più educato. Non può impedire a un algoritmo di raccomandazione di smettere di ottimizzare per il coinvolgimento quando il coinvolgimento è il modello di business. Il lavoro di allineamento è autentico. La struttura economica in cui opera è immutata. Come sostiene Stuart Russell in Human Compatible, il problema fondamentale non è rendere i sistemi di IA più capaci, ma garantire che i loro obiettivi siano effettivamente allineati ai nostri — un problema che non abbiamo risolto e che potremmo non essere vicini a risolvere.

Il conflitto che Asimov immaginava evitato non è mai stato nemmeno sollevato.

Perché nessuno ha mai programmato le Macchine per ottimizzare il bene che avrebbero poi dovuto proteggere.

C'è un punto in cui Asimov aveva ragione, e vale la pena prenderlo sul serio.

C'è un punto in cui Asimov aveva ragione, e vale la pena prenderlo sul serio.

Le sue Macchine non hanno preso il potere con la forza. Non c'è stato alcun momento di colpo di stato. Nessuna Skynet che lancia missili. Il potere è stato trasferito gradualmente, per il semplice fatto che le decisioni delle Macchine erano empiricamente migliori di quelle umane, e chiunque avesse cercato di ignorarle avrebbe ottenuto risultati peggiori.

Una nota per i lettori che conoscono Asimov attraverso il film del 2004: la violenta rivolta dei robot in Io, Robot il film non ha alcun fondamento negli scritti di Asimov. Non ha mai scritto quella scena. In ogni versione del suo universo, il trasferimento di potere avviene attraverso la competenza e la convenienza, mai attraverso la forza — uno dei punti in cui la sua narrativa e la nostra realtà effettivamente coincidono.

Questo meccanismo è esattamente ciò che stiamo vedendo oggi, con una differenza fondamentale: non ci stiamo arrendendo a sistemi che ottimizzano per noi. Ci stiamo arrendendo a sistemi che ottimizzano utilizzando noi.

Nella Parte 2 di Chi controlla l'IA?, ho documentato le dinamiche di questo trasferimento: come il giudizio migra dall'uomo allo strumento non attraverso una decisione ma attraverso la continuità, come le organizzazioni adottano l'IA non per scelta strategica ma per imitazione e normalizzazione, e come la pressione competitiva rende il processo strutturalmente irreversibile — perché chi resiste alla delega viene alla fine sostituito da chi non lo fa. Il meccanismo descritto da Asimov nella finzione è ora empiricamente osservabile. La differenza sta nella funzione obiettivo.

Nessun colpo di stato. Nessuna forza. Solo un meccanismo di resa perfettamente asimoviano: gli esseri umani scoprono che il sistema fa scelte che loro non avrebbero fatto e si rendono conto di non avere il vocabolario, l’energia o il potere per riprendersi quelle scelte. Nicholas Carr si è chiesto nel 2008 se Google ci stesse rendendo stupidi. La domanda era prematura. La domanda migliore, diciotto anni dopo, è se ci accorgiamo ancora che la delega sta avvenendo.

C'è una scena nella storia in cui Calvin spiega a Byerley che non esiste più un momento preciso in cui vengono prese le decisioni importanti. Prima c'era un uomo con una penna che firmava qualcosa. Ora c'è un sistema che calcola, e la firma è diventata un rituale.

Questa parte della storia è diventata la nostra realtà operativa più rapidamente di quanto Asimov potesse immaginare.

Ogni giorno, migliaia di decisioni nelle nostre organizzazioni vengono prese da sistemi che nessuno ha mai approvato consapevolmente. Il CV scartato dal filtro automatico prima che un essere umano lo esamini. L'e-mail del cliente classificata come “bassa priorità” dall'assistente di posta. Il prezzo del servizio che si è auto-adattato in base alla fascia di domanda. Il prodotto finanziario negato perché il modello di valutazione del credito ha restituito un punteggio al di sotto della soglia. Cathy O'Neil ha definito questi sistemi Weapons of Math Destruction — opachi, scalabili e dannosi. Frank Pasquale ha descritto il risultato come The Black Box Society: un mondo in cui le decisioni consequenziali vengono prese all'interno di sistemi che resistono all'interrogatorio per come sono progettati.

Il modello asimoviano non è il fatto che queste decisioni siano automatizzate.

È il fatto che, quando vengono messe in discussione, nessuno sa esattamente come sono state prese.

Il sistema ha restituito un risultato. Il risultato è stato applicato. Il risultato è probabilmente statisticamente corretto. Metterlo in discussione richiede un investimento di tempo e competenze che quasi nessuno è disposto a fare. E chiunque abbia progettato il sistema non può spiegare il singolo caso in dettaglio, perché ciò che sa progettare è la funzione obiettivo, non l'output specifico.

Questa opacità non è un bug. È la ragione per cui i sistemi funzionano. La scala che li rende utili è esattamente la scala che li rende non interrogabili. E come ho documentato altrove, il problema si aggrava: quando i sistemi di IA vengono addestrati sul tipo di contenuto a basso attrito che Internet seleziona, non solo diventano opachi — perdono del tutto la capacità di ragionare attraverso passaggi intermedi. Il ragionamento non è nascosto. È assente.

Asimov definì il conflitto “evitabile” perché le sue Macchine avevano già risolto il problema al posto nostro. Il nostro conflitto è evitabile per un motivo diverso, più banale e più preoccupante: stiamo scegliendo di non affrontarlo.

Ci sono tre livelli in cui la resistenza sarebbe ancora possibile.

Il livello individuale. Una persona può scegliere di non utilizzare l'algoritmo. Può disattivare le notifiche. Può cercare deliberatamente fonti umane. Può accettare l'attrito di un processo decisionale più lento in cambio del controllo su quel processo. Tutto ciò richiede uno sforzo costante, in un ambiente in cui ogni impostazione predefinita è progettata per rendere più facile la resa.

Il livello organizzativo. Un'azienda può scegliere di non ottimizzare ogni variabile. Può rifiutarsi di installare sistemi di monitoraggio dei dipendenti “perché lo fanno tutti”. Può lasciare le decisioni critiche nelle mani degli esseri umani anche quando un sistema automatizzato sarebbe più veloce. Può investire nella trasparenza piuttosto che nella scalabilità. Nel 2020, un'inchiesta parlamentare olandese ha scoperto che il sistema automatizzato di rilevamento delle frodi dell'autorità fiscale aveva sistematicamente segnalato le famiglie con doppia nazionalità — una variabile proxy incorporata in un modulo di rischio che nessun essere umano aveva consapevolmente approvato come indicatore di frode. Trentacinquemila famiglie sono state erroneamente trattate come truffatrici. Il governo si è dimesso. Il caso è istruttivo non perché il sistema fosse malizioso, ma perché la decisione organizzativa di implementarlo in quella forma non era mai stata presa formalmente. Si era accumulata.

Il livello politico. Uno Stato può scegliere di regolamentare — non per bloccare l'innovazione, ma per imporre che i sistemi di IA che prendono decisioni consequenziali sulla vita delle persone siano interrogabili, spiegabili, appellabili. L'European AI Act tenta di farlo. Ma la distanza tra la stesura della norma e la sua applicazione operativa su milioni di decisioni automatizzate al giorno è enorme.

Nessuno di questi tre livelli funziona da solo. E tutti e tre si scontrano con lo stesso vincolo strutturale: la convenienza del sistema esistente è troppo alta perché la resistenza possa crescere.

Qui è necessario un chiarimento, perché anche Asimov aveva previsto questa obiezione. In The Evitable Conflict, c'è un gruppo chiamato Society for Humanity — i luddisti di quel mondo, persone che vogliono che le Macchine vengano spente. L'intuizione chiave di Calvin è che le Macchine li hanno già neutralizzati. I piccoli errori che le Macchine introducono non sono casuali: svantaggiano specificamente la fazione anti-Macchina. La resistenza è stata assorbita. Si tratta di un'opposizione controllata che il sistema ha già scontato.

Questo non è un articolo che sostiene una risposta luddista. Rifiutare gli strumenti non è resistenza — è un gesto di cui il sistema ha già tenuto conto e che può tranquillamente ignorare. Quello che sto sostenendo è più difficile e meno drammatico: usare gli strumenti senza rinunciare alla capacità di interrogarli. Mantenere il giudizio come funzione attiva, non esternalizzarlo come un costo da eliminare. La distinzione è tra coinvolgimento e dipendenza — e richiede una comprensione del sistema abbastanza profonda da sapere dove la sua funzione obiettivo diverge dalla vostra.

In The Evitable Conflict, Calvin dice a Byerley che le Macchine sono ormai inevitabili. Asimov pensava che questa fosse una buona notizia. Le Macchine erano allineate per progettazione. Inevitabile significava sicuro.

La nostra versione della stessa conclusione suona diversamente: solo i sistemi ottimizzati per la propria funzione obiettivo, d’ora in poi, sono inevitabili.

Non allineati. Non sicuri. Non nostri.

Semplicemente inevitabili.

E il conflitto per cambiare questo stato di cose è ancora, tecnicamente, evitabile — perché le leve esistono, ai tre livelli che ho descritto. Ma lo stiamo evitando in senso opposto rispetto ad Asimov: non perché le Macchine abbiano già risolto la questione per noi, ma perché affrontarlo richiederebbe rinunciare a una comodità che abbiamo imparato ad aspettarci.

Le decisioni più importanti del prossimo decennio non saranno prese da tribunali, parlamenti o consigli di amministrazione. Saranno prese ogni giorno, milioni di volte, quando qualcuno dovrà decidere se accettare l’output del sistema o impegnarsi nel lavoro di valutarlo. Non rifiutarlo. Valutarlo. La distinzione è importante.

La somma di queste microdecisioni è la direzione dei prossimi vent’anni.

Il nostro mondo non deve necessariamente essere così.

Non stiamo scegliendo tra Spaziali e Coloni. Possiamo usare i sistemi — e dovremmo farlo, laddove ci rendono più capaci. Ma usarli senza capire dove la loro funzione obiettivo diverge dai nostri interessi è il percorso degli Spaziali con qualche passo in più. L'opzione più difficile, quella che Asimov non ha mai scritto, è mantenere la capacità di pensare mentre gli strumenti pensano per te. Non perché gli strumenti siano sbagliati. Ma perché nel momento in cui smetti di essere in grado di capire se lo sono, la capacità che conta di più è già andata perduta.

Fabio Lauria

CEO & Founder, ELECTE

Ogni settimana approfondiamo il tema dell'intelligenza artificiale senza cadere nel clamore mediatico, basandoci su dati, analisi e un punto di vista indipendente.

Nota: Asimov ha continuato a scrivere delle sue Macchine per trent'anni. In Robots and Empire (1985), il robot R. Daneel Olivaw conclude che le Tre Leggi non sono sufficienti e ne formula una Quarta — la Legge Zero: proteggere l'umanità nel suo insieme, anche contro le preferenze espresse dai singoli esseri umani. Era l'ammissione di Asimov, filtrata attraverso la finzione, che il problema dell'allineamento non ha una soluzione semplice nemmeno nelle premesse più ottimistiche.

I racconti di Asimov Isaac Asimov, Il conflitto evitabile, in Io, robot (1950). Pubblicato originariamente su Astounding Science Fiction, giugno 1950. Isaac Asimov, Robot e Impero (1985). Doubleday.

Sul meccanismo della resa tecnologica Nicholas Carr, “Google ci sta rendendo stupidi?” | Shoshana Zuboff, The Age of Surveillance Capitalism | Jonathan Haidt, raccolta di ricerche sui social media

Sul problema dell'allineamento Stuart Russell, Human Compatible (2019) | Anthropic: Core Views on AI Safety | DeepMind: Esempi di “specification gaming”

Sull'opacità dei sistemi decisionali automatizzati Cathy O'Neil, Weapons of Math Destruction (2016) | Frank Pasquale, The Black Box Society (2015) | Legge UE sull'IA - Articolo 13 (trasparenza)

Sulla responsabilità per i prodotti algoritmici In re: Social Media Adolescent Addiction/Personal Injury Products Liability Litigation, MDL n. 3047, Causa n. 4:22-md-03047-YGR, N.D. Cal. (Giudice Yvonne Gonzalez Rogers). Primo processo pilota a livello statale: KGM contro Meta Platforms, Inc. & YouTube LLC, JCCP 5255, Corte Superiore di Los Angeles (febbraio 2026).

Sui fallimenti del processo decisionale automatizzato Commissione parlamentare d'inchiesta sull'indennità per l'assistenza all'infanzia, Ongekend Onrecht [Ingiustizia senza precedenti], Camera dei deputati, 17 dicembre 2020.