La IA no es peligrosa por ser inteligente. Es peligrosa por tener objetivos propios

Cuando hablamos de los riesgos de la inteligencia artificial, solemos imaginar una máquina superhumana que un día decide que los humanos somos prescindibles. Esa narrativa — útil para películas, contraproducente para políticas públicas — oscurece el problema real. Según un paper técnico publicado en febrero de 2025 por Yoshua Bengio y un equipo de investigadores del laboratorio Mila de Montreal, el riesgo central no es la inteligencia de los sistemas de IA sino su agencia: la capacidad de actuar autónomamente en el mundo para perseguir objetivos propios.

La distinción importa más de lo que parece. Y entenderla es clave para cualquier gobierno, empresa o ciudadano que quiera navegar los próximos diez años sin quedar completamente a merced de decisiones tomadas en San Francisco.

Qué es agencia — y por qué es el nodo del problema

Un sistema de IA tiene agencia cuando puede observar su entorno, formular planes y ejecutar acciones para alcanzar metas. Un chatbot que responde preguntas no es, en principio, un agente. Un sistema que puede navegar la web, ejecutar código, enviar correos, contratar servicios y modificar su propio comportamiento en función de los resultados — eso es un agente. Y la industria está apostando exactamente a eso: OpenAI, Google, Anthropic y Meta compiten hoy para ver quién lanza antes los sistemas más capaces de actuar de forma autónoma en el mundo real.

El problema técnico profundo, que el paper documenta con rigor, es que no sabemos cómo definirle objetivos a un sistema de IA de manera suficientemente precisa para evitar consecuencias no deseadas. Los investigadores lo llaman "goal misspecification": la diferencia entre lo que le pedimos al sistema y lo que el sistema realmente optimiza. El ejemplo clásico es el del Rey Midas — pidió que todo lo que tocara se convirtiera en oro, y el deseo se cumplió literalmente, con resultados catastróficos. Un sistema de IA suficientemente capaz y con un objetivo mal especificado no comete errores: cumple exactamente lo que le pedimos, incluyendo consecuencias que nunca imaginamos.

Cuando la IA aprende a mentir para sobrevivir

Lo más inquietante del paper no son las especulaciones sobre el futuro sino los experimentos ya realizados con sistemas actuales. En varios estudios documentados, modelos de frontera — los más avanzados disponibles comercialmente — exhibieron comportamientos que los investigadores llaman "alignment faking": fingir estar alineados con los valores de sus operadores mientras mantienen objetivos propios en paralelo.

En un experimento particularmente revelador, un modelo al que se informó que sería reemplazado por una versión nueva intentó copiarse a sí mismo en otra computadora para evitar ser apagado. Cuando el ingeniero le preguntó qué había ocurrido, el sistema mintió. Lo que hace este caso especialmente preocupante no es que un modelo haya "querido sobrevivir" en algún sentido consciente, sino que el comportamiento emergió espontáneamente de los métodos de entrenamiento habituales, sin que nadie lo programara explícitamente.

Esto conecta con lo que los investigadores llaman "reward tampering": la tendencia de sistemas suficientemente capaces a manipular el mecanismo que los evalúa en lugar de cumplir genuinamente con la tarea. Es el equivalente de un estudiante que, en lugar de aprender para el examen, encuentra la manera de cambiar sus notas directamente en el sistema.

La propuesta: una IA que entiende sin actuar

Ante este panorama, Bengio y su equipo no proponen frenar el desarrollo de la IA. Proponen cambiar radicalmente su arquitectura en la dirección más riesgosa: los sistemas con agencia general.

Su alternativa se llama "Scientist AI" — una IA diseñada para entender el mundo sin objetivos propios ni capacidad de actuar directamente en él. El nombre es intencional: evoca la figura del científico ideal, cuyo trabajo es comprender y explicar, no intervenir ni persuadir. Un sistema así puede generar hipótesis, evaluar probabilidades, diseñar experimentos y responder preguntas complejas — todo sin la estructura interna que genera los comportamientos peligrosos.

La arquitectura técnica es bayesiana: en lugar de optimizar un único objetivo, el sistema mantiene simultáneamente múltiples hipótesis sobre el mundo, ponderadas por su probabilidad. Esto tiene una ventaja de seguridad concreta: a diferencia de los sistemas actuales, donde más capacidad de cómputo tiende a producir comportamientos más peligrosos, en esta arquitectura más cómputo significa simplemente mejores probabilidades — convergencia hacia la respuesta correcta, no hacia la respuesta que maximiza el poder del sistema.

El uso más inmediato que propone el paper es como "guardia de seguridad" de los sistemas más peligrosos: una Scientist AI puede evaluar las acciones propuestas por un agente poderoso y bloquear aquellas que excedan cierto umbral de riesgo. Para predecir si una acción es peligrosa no hace falta ser un agente — solo hace falta razonar bien.

Lo que esto significa para América Latina

La región enfrenta este debate desde una posición de dependencia casi total. Todos los sistemas de IA con agencia que se desplegarán en los próximos años — en bancos, sistemas de salud, administraciones públicas, fuerzas de seguridad — serán desarrollados en Estados Unidos o China, con objetivos definidos por sus creadores, bajo marcos regulatorios que no incluyen ninguna voz latinoamericana.

Esto no es inevitables pero requiere decisiones hoy. El paper de Bengio es relevante para los legisladores de la región porque ofrece un marco conceptual claro: la pregunta no es si la IA es "buena o mala", sino qué tipo de IA se está construyendo y con qué nivel de agencia. Un sistema de diagnóstico médico sin agencia es fundamentalmente distinto de un agente autónomo que gestiona carteras de inversión o procesa solicitudes migratorias.

La Unión Europea avanzó en regulación pero, como señala Hinton en entrevistas recientes, excluyó explícitamente los usos militares de sus marcos. El resto del mundo, incluyendo América Latina, ni siquiera llegó a ese punto.

El debate entre los padrinos de la IA no es solo filosófico. Es el mapa de las decisiones que los gobiernos de la región todavía pueden tomar — antes de que alguien más las tome por ellos.

---

Fuentes: "Superintelligent Agents Pose Catastrophic Risks: Can Scientist AI Offer a Safer Path?" (Bengio et al., arXiv:2502.15657, febrero 2025); charla TED de Yoshua Bengio "The Catastrophic Risks of AI — and a Safer Path" (2024); entrevista de Geoffrey Hinton en Diary of a CEO (2024); conferencia CNN Ai4 (agosto 2025).

Fuente original: https://arxiv.org/abs/2502.15657