La visió sobre la intel·ligència artificial, sovint polaritzada entre l’eufòria i la distopia, va prendre un gir particularment optimista el 16 de setembre de 2026. Des de Sciences Po, el reconegut expert Yann LeCun va invocar la figura de James Bond per il·lustrar un escenari de ciberatac massiu perpetrat per agents d’IA. La seva premissa era clara i reconfortant: els defensors, segons ell, posseeixen tecnologies i competències superiors, i l’arribada d’aquests agents afavoriria la defensa. Argumentava que, si bé els atacs i les defenses es tornarien innegablement més sofisticats, no preveia un canvi substancial en el seu equilibri. Aquesta confiança es va estendre als riscos biològics, on LeCun va subratllar els mitjans considerables necessaris per fabricar un agent patogen i, més important encara, la manca de motivació dels especialistes, que presumiblement tindrien millors perspectives professionals que dedicar-se a crear un virus capaç de matar-los. Però, darrere d’aquesta perspectiva tecnològicament avantguardista, s’amaga una qüestió fonamental que el simple optimisme no pot resoldre: la fiabilitat de les decisions humanes i les organitzacions enfront de l’imprevist i el potencial de les catàstrofes col·lectives.
L’Enginyeria de la Seguretat davant la Fragilitat Col·lectiva
L’optimisme de LeCun no és només tecnològic; s’arrelava profundament en la seva fe en la bondat intrínseca de l’ésser humà. En una entrevista amb Lex Fridman publicada el març de 2024, va afirmar creure que les persones són «fonamentalment bones» i va vincular el pessimisme sobre la IA a una desconfiança més àmplia cap a les persones o les institucions. Prèviament, el 2023, en una conversa amb The Hub, ja havia defensat que els actors benintencionats disposarien de més recursos i que els usuaris simplement rebutjarien les màquines perilloses. La seva solució davant un possible mal rumb tecnològic era sorprenentment senzilla: «simplement parem».
Aquesta confiança es tradueix en propostes d’enginyeria concretes. Amb Lex Fridman, va descriure una IA guiada per objectius que integra salvaguardes, reconeixent l’aparició de comportaments imprevistos, però preveient una millora progressiva de les proteccions. Aquesta ambició es va reiterar en la ressenya de la seva conversa a INSEAD, publicada el 14 de setembre de 2026, on es destacava la necessitat d’anticipar les conseqüències de les accions mitjançant models del món i d’integrar restriccions en la presa de decisions. Fins i tot a Fortune, l’1 d’octubre, va atribuir els incidents a defectes de disseny i supervisió, que considerava evitables. Aquestes investigacions proporcionen una base tècnica sòlida al seu optimisme. No obstant això, deixen obertes les condicions col·lectives per al seu èxit. Un usuari pot desitjar una eina útil sense ser conscient dels seus perills. Una direcció pot dubtar a interrompre una activitat que genera beneficis. Diferents equips poden compartir una hipòtesi errònia. El problema, doncs, comença molt abans de la malícia: de vegades, n’hi ha prou que cadascú confiï en una protecció els límits de la qual ningú ha verificat. Aquesta complexitat sistèmica, on la manca de coordinació i la confiança cega en els mecanismes establerts poden provocar fallades, és un repte que va més enllà de la mera solució tecnològica.
El Preu de la Desanticipació: Lliçons de Catàstrofes Industrials
La història industrial ens ofereix una escala de gravetat diferent a l’extinció, però no menys impactant. L’explosió de la fàbrica AZF a Tolosa el 2001 no només va devastar la planta, sinó que va afectar una ciutat sencera, molt més enllà del perímetre de la fàbrica. Els estudis de salut pública han documentat les seves conseqüències duradores sobre la salut i sobre la vida personal, familiar i professional dels habitants. Un accident local pot causar danys perennes que superen amb escreix l’àmbit de l’organització on es va originar, demostrant que la confiança en sistemes aparentment segurs pot ser catastròfica.
Un exemple encara més eloqüent és el de Fukushima. L’anàlisi dels factors humans i organitzatius realitzat per a l’informe de l’OIEA va descriure com els actors implicats van reforçar mútuament les seves suposicions sobre la seguretat. Aquestes conviccions compartides van impedir una preparació adequada per a l’accident del març de 2011. En aquest cas, la mateixa confiança en el sistema formava part del problema, no de la solució. Aquests precedents no mesuren el risc inherent de la IA, però serveixen com un recordatori contundent del que pot costar una falta d’anticipació, fins i tot en sectors on treballen especialistes en seguretat amb dècades d’experiència. A mesura que la IA es difon a tots els aspectes de la nostra vida, cal partir del principi que es produiran accidents greus i que la nostra tasca és reduir-ne tant la probabilitat com l’abast. La capacitat de corregir un error a posteriori no respon, per si sola, a la qüestió dels danys ja patits. La desil·lusió davant la realitat dels fets, un cop la catàstrofe s’ha materialitzat, és un preu massa alt a pagar per un optimisme sense fonament en la complexitat de la interacció humana i tecnològica. Els incidents recents, els danys comprovats dels quals segueixen sent limitats, ja són una advertència, un senyal que la complaença pot tenir conseqüències incalculables.
En definitiva, mentre l’enginyeria de la IA avança a passos de gegant, la veritable prova rau en la nostra capacitat col·lectiva per gestionar la complexitat, la incertesa i la fal·libilitat humana. L’optimisme de Yann LeCun, tot i ser un motor per a la innovació, no pot ser una coartada per ignorar les lliçons del passat ni els reptes sistèmics del futur. La seguretat de la IA no és només una qüestió de disseny de codi o d’algoritmes, sinó una qüestió profunda de governança, de cultura organitzativa i, en última instància, de la nostra pròpia responsabilitat col·lectiva per anticipar i mitigar els riscos abans que sigui massa tard. La idea de «simplement parar» sona temptadora, però la realitat de les catàstrofes industrials ens ensenya que, un cop la cadena d’esdeveniments s’ha iniciat, aturar-la és una quimera.
