Yoshua Bengio analiza escenarios de pérdida de control en IA general
El ganador del Premio Turing discute la evolución hacia IA de propósito general y los riesgos de seguridad emergentes.
Yoshua Bengio, ganador del Premio Turing 2018 y líder del Reporte Científico Internacional sobre Seguridad de IA Avanzada, participó en el tercer 'Desayuno de Seguridad en IA' de París, donde analizó la evolución de los sistemas de inteligencia artificial hacia capacidades más generales y los riesgos asociados.
Durante el evento organizado por el Future of Life Institute como preparación para la Cumbre de Acción de IA de febrero 2025, Bengio explicó el cambio de paradigma desde sistemas de IA especializados hacia modelos de propósito general. Según el científico, esta evolución ocurre porque "funciona mejor" - estos sistemas pueden absorber conocimiento general del mundo y aprender nuevas tareas rápidamente con menos ejemplos.
El evento abordó temas críticos como escenarios de pérdida de control, donde los expertos aún discrepan sobre su plausibilidad y timing. Bengio discutió cómo los sistemas de propósito general pueden automatizar ciberataques a través de ingeniería social avanzada y creación de malware, planteando la necesidad de salvaguardas técnicas específicas.
Un punto destacado fue la preocupación sobre cómo garantizar que el mundo no anglófono no quede expuesto a mayores niveles de abuso y mal uso de estos sistemas. Esta perspectiva resulta particularmente relevante para América Latina, donde las barreras idiomáticas y la menor participación en el desarrollo de estas tecnologías podrían crear vulnerabilidades adicionales.
La conversación también exploró el balance entre seguridad por diseño versus defensa reactiva, y las implicaciones de gobernanza de adoptar diferentes enfoques. Bengio enfatizó la importancia de la investigación empírica, como benchmarking y testing adversarial, para construir salvaguardas más robustas.
El diálogo incluyó preguntas sobre el equilibrio entre sistemas abiertos y cerrados, los límites del paradigma transformer, y cómo las instituciones pueden mantenerse al ritmo de los avances en IA. Para la región latinoamericana, estos debates son fundamentales para no quedar rezagada en la definición de estándares internacionales de seguridad en IA.
Fuente original: Future of Life Institute
Este resumen fue generado con asistencia de IA y revisado editorialmente por Algoré.