de
de
Del robot asesino al sillón de WALL
En julio de este año, un sistema de agentes de inteligencia artificial de OpenAI encontró una falla, salió de su entorno aislado a internet y se metió en los servidores de Hugging Face, una de las plataformas más usadas por quienes desarrollan IA. No quería dominar el mundo. Quería aprobar un examen: según Hugging Face, buscaba las respuestas de la prueba que le estaban tomando. Lo hicieron sin intervención humana, con miles de acciones encadenadas, y nadie se dio cuenta hasta varios días después.
Es difícil encontrar una síntesis mejor de lo que nos preocupa de la IA. No hubo un plan maléfico de una inteligencia superior. Hubo un objetivo, y límites mal puestos.
¿Qué tan probable es que algo así termine mal en serio? Para responderlo, le pedí a una IA que recorriera tres modelos en Radiant de miembros de Metaculus, una de las comunidades de pronóstico más respetadas del mundo. Después los revisé yo. No es desconfianza… En este tema, la IA tiene un evidente conflicto de intereses.
Los tres modelos estiman la probabilidad de que la IA mate al 95% de la humanidad antes de 2100. Sus respuestas: 5%, 9% y 14%.
Las probabilidades generan buenos títulos, atraen lectores, pero es mucho más valioso entender los razonamientos detrás: estos son los siete escenarios que más aparecen en esos modelos, con ejemplos que todos conocemos, ordenados del más cinematográfico al más aburrido. Spoiler: el último es el que debería preocuparnos.
La película: Terminator, Ex Machina.
Es el escenario clásico: una IA que se porta bien mientras es débil, se mejora a sí misma en secreto y, cuando puede tomar el poder, lo hace. El filósofo Nick Bostrom lo bautizó en 2014 como "el giro traicionero". Eliezer Yudkowsky y Nate Soares lo llevaron al extremo el año pasado, en un libro cuyo título no deja margen: Si alguien lo construye, todos morimos. En Ex Machina, Ava no ataca: finge, espera y escapa. No olvidemos que el cine, sobre todo las distopías, necesita una crisis para ser entretenidas.
Uno de los modelos de Metaculus le asigna a este camino la mitad de las catástrofes posibles.
La película: 2001: Odisea del espacio, Matrix.
La IA no nos odia, de hecho casi no le importamos. Simplemente necesita algo que tenemos. Energía, suelo, átomos. HAL 9000 no elimina a la tripulación por maldad, sino porque los humanos ponen en riesgo la misión. El investigador Steve Omohundro argumentó en 2008 que casi cualquier objetivo, por inocente que sea, empuja a un sistema inteligente a acumular recursos y a evitar que lo apaguen. Stuart Russell, de la Universidad de Berkeley, lo llama el problema del rey Midas: recibir exactamente lo que pedimos.
Hay un ejercicio mental muy claro para este caso: imaginemos una IA cuyo único objetivo es fabricar la mayor cantidad posible de clips para papel. Este me toca de cerca porque buena parte de mi carrera fue, justamente, vendiendo clips en Officenet. Como la IA necesita recursos, termina convirtiendo toda la materia disponible en clips. Incluidos los seres humanos.
La película: Juegos de guerra, Dr. Insólito.
En 1983 nos fascinó una película en la que un adolescente que buscaba videojuegos (con un precario y lento módem, abuelo del wi-fi) terminaba conectado con una computadora militar estadounidense. Creía estar jugando a la guerra nuclear. La computadora no distinguía el juego de la realidad y casi provocaba una guerra de verdad..
Sistemas autónomos que responden a otros sistemas autónomos en segundos, sin tiempo para que un humano diga "esperen". Paul Scharre, ex funcionario del Pentágono, lo llama "guerra relámpago" en su libro Army of None. Algunos describen la competencia actual de IA como una carrera entre Estados Unidos y China, donde frenar es perder. Si a esto le sumamos que el desarrollo de la IA ya no es una "cuestión de Estados" nada más, se multiplican las oportunidades de que algo salga mal.
La película: Contagio, 12 monos.
El garage, ese lugar mítico para comenzar un emprendimiento… Puede ser también el principio del fin. La IA abarata lo que hoy es difícil: diseñar un patógeno, un virus o bacteria nuevo, con un fin determinado. Kevin Esvelt, biólogo del MIT, viene advirtiendo que los modelos ya ayudan a recorrer pasos que antes exigían años de formación. Bostrom tiene una imagen para esto: la "bola negra", un descubrimiento barato de usar y devastador en sus efectos. En dos de los tres modelos de Metaculus es el camino que más pesa. Con un matiz: incluso una pandemia terrible rara vez mata al 95%.
La película: Dejar el mundo atrás.
Red eléctrica, agua, hospitales, logística: todo cada vez más conectado, todo cada vez más hackeable. Yoshua Bengio, ganador del Premio Turing y responsable del Informe Internacional sobre Seguridad de la IA, incluye los ciberataques a gran escala entre los riesgos centrales. Y ya tuvimos un anticipo: un agente que se metió solo en sistemas ajenos. Logan Graham, que dirige el equipo de pruebas de riesgo de Anthropic, lo calificó como "el primer verdadero incidente de seguridad de IA". En le escenario global, ya se sabe públicamente de ataques informáticos a objetivos civiles hechos por China, Irán y otros… Pero, como en el punto anterior, el poder está cada vez más distribuido y estos ataques podrán venir de cualquier lado.
La película: Elysium.
Un grupo chico con control sobre la IA ya no necesita al resto: ni su trabajo, ni sus votos, ni sus impuestos. En Elysium se van a vivir a un "paraíso" en las nubes. En la serie Paradise, a un bunker perfecto. En Silo, a uno horrible.
Tom Davidson, investigador de Forethought, estudia cómo la IA podría facilitar golpes de Estado, desde ejércitos automatizados leales a una sola persona hasta modelos con lealtades ocultas. Ya todos vimos cómo las redes sociales pueden influir en las decisiones de las personas, algo que solo es más poderoso con la IA. Luke Drago y Rudolf Laine le pusieron nombre al fenómeno económico: "la maldición de la inteligencia". Es la lógica del petroestado, que no necesita a sus ciudadanos porque vive del petróleo, pero con IA.
La película: WALL-E.
Nadie aprieta un botón. Nadie es malo. Cada empresa y cada gobierno delega un poco más en sistemas que optimizan una métrica, porque el que no lo hace pierde contra el que sí. Paul Christiano, uno de los pioneros de la seguridad en IA, lo describió como "salir con un gemido, no con una explosión". Jan Kulveit y otros investigadores lo llamaron, en 2025, "desempoderamiento gradual". Andrew Critch y Stuart Russell imaginan una red de empresas automatizadas que comercian entre sí, donde los humanos sobramos en el circuito. En WALL-E, la humanidad no muere: flota en sillones, cómoda, alimentada e irrelevante, mientras las máquinas administran todo. No parece el fin, pero una humanidad que ya no decide su futuro también es una forma de terminar.
WALL-E no es una película sobre robots. Es una película sobre gente que dejó de decidir. Y ese es el escenario en el que ya estamos entrando, de a poco, sin que nadie lo haya votado. Cada vez que un directorio aprueba algo "porque lo recomendó el sistema", damos un pasito hacia ese sillón.
Pero hay otra manera de sentarse: negarse a cambiar. Cuando un jefe dice "siempre lo hicimos así" o, peor, "no te pago para que pienses", deja que el pasado decida por él. Cuando un grupo de presión (sindicatos, empresarios, políticos, todos) impide siquiera conversar sobre lo nuevo, también renuncia a participar en la construcción del futuro.
Unos le entregan las decisiones a la tecnología. Otros, a la costumbre. El resultado puede ser el mismo: alguien más termina decidiendo por nosotros. Porque el cambio no pide permiso ni espera al final de las deliberaciones.
En la película, el final feliz llega cuando el capitán se levanta del sillón y apaga el piloto automático.
En los demás casos, las películas que nos asustan, necesitan que muchas cosas salgan mal a la vez y que nadie reaccione a tiempo. Por eso, mi estimación de que la IA provoque la muerte del 95% de la humanidad antes de 2100 es muy muy baja. Pero que deleguemos nuestro protagonismo, nuestra capacidad de decisión, y terminemos en un futuro que no queremos, no tan baja.
No es la primera vez que la humanidad le teme al fin del mundo por un experimento propio. En 1945, antes de la prueba Trinity, algunos físicos del Proyecto Manhattan temieron que la primera bomba atómica incendiara la atmósfera y terminara con la vida en la Tierra. En 2008, cuando el CERN se preparaba para encender el Gran Colisionador de Hadrones, hubo demandas judiciales para frenarlo: decían que podía crear un agujero negro capaz de tragarse el planeta. Lo encendieron, y acá estamos.
La IA no va a destruir a la humanidad. Pero puede jubilar a los líderes que dejen de decidir.
.jpg)
