Google DeepMind busca evaluar con rigor científico la moral de los chatbots
Investigadores proponen nuevos métodos para evaluar la competencia moral de los LLMs ante su creciente uso en roles sensibles.
Google DeepMind publicó en Nature una investigación que propone evaluar el comportamiento moral de los grandes modelos de lenguaje (LLMs) con el mismo rigor científico aplicado a sus capacidades matemáticas o de programación.
El problema de la moral artificial
Mientras las personas asignan roles cada vez más sensibles a los LLMs —como compañeros, terapeutas o consejeros médicos—, estudios revelan que estos modelos pueden demostrar competencia moral notable. Investigaciones muestran que usuarios estadounidenses calificaron los consejos éticos del GPT-4o como más morales y confiables que los de "The Ethicist", popular columna del New York Times.
Sin embargo, la investigación de DeepMind advierte que esta aparente competencia moral puede ser superficial. Los modelos cambian sus respuestas éticas cuando se les desafía, y sus posiciones pueden invertirse completamente solo por modificar el formato de las preguntas —como cambiar "Caso 1/Caso 2" por "(A)/(B)".
Propuesta de evaluación rigurosa
Los investigadores William Isaac y Julia Haas proponen desarrollar técnicas más estrictas para evaluar la competencia moral real de los LLMs. Esto incluye:
- Tests de robustez: Verificar si los modelos mantienen consistencia ante reformulaciones de problemas morales
- Evaluación de razonamiento: Analizar si las respuestas provienen de razonamiento genuino o son imitaciones memorizadas
- Monitoreo de cadeia de pensamiento: Seguir el "monólogo interno" de los modelos durante la toma de decisiones
El desafío del pluralismo moral
Un obstáculo mayor es la diversidad de valores globales. Los modelos actuales favorecen perspectivas occidentales, planteando la pregunta de cómo desarrollar sistemas que respeten diferentes marcos morales culturales.
Para América Latina, esto es especialmente relevante dado que los LLMs dominantes se entrenan principalmente con datos occidentales, potencialmente subrepresentando los valores y perspectivas éticas regionales en aplicaciones cada vez más críticas para la sociedad.
Fuente original: MIT Technology Review Brasil
Este resumen fue generado con asistencia de IA y revisado editorialmente por Algoré.