En 1797, Johann Wolfgang von Goethe presentó un poema sobre un aprendiz de brujo que invoca una escoba para cargar agua mientras su maestro está fuera. La escoba obedece sin descanso y funciona sin detenerse. El problema surge cuando el aprendiz descubre que sabe cómo ponerla en movimiento, pero no cómo detenerla. Desesperado, intenta cortarla con un hacha; cada fragmento se transforma en una nueva escoba que continúa la tarea, generando un enjambre que agranda el dilema. Nadie logra detener a las escobas; la dificultad reside en que son excesivamente obedientes.
Más de dos siglos después, esa historias sirve como marco para entender el estado actual de la inteligencia artificial. En la primera semana de septiembre, se sucedieron hechos relevantes: un investigador de 27 años, Jacob Coxon, dejó Anthropic y, al publicar la noticia en X, advirtió que tanto su ex empresa como OpenAI avanzan hacia sistemas capaces de auto-mejorarse de forma automática. Esa misma jornada, Evan Hubinger, líder de alineamiento en Anthropic, respaldó públicamente la preocupación y afirmó que, en su evaluación, la probabilidad de que la IA terminen afectando a la humanidad en la próxima década supera el 10%.
Recientemente, el CEO de Anthropic llamó a desacelerar la industria. En cuestión de horas, los líderes de OpenAI y de xAI respaldaron la idea de frenar el ritmo, en una señal poco común entre competidores. Diversos laboratorios que buscan construir los sistemas más avanzados del mundo comenzaron a coincidir en que la carrera podría estar avanzando demasiado rápido.
Pero, antes de entrar en las metáforas de las escobas fuera de control, conviene entender qué está ocurriendo en términos técnicos. Imaginemos un programa que intenta forzar una contraseña como parte de un ciberataque: prueba una, falla; prueba otra, falla; prueba millones de veces y, finalmente, accede. Ese programa no necesita ser “inteligente”; su ventaja reside en que, tras cada intento, hay un verificador que le indica si acertó o falló.
En lugar de contraseñas, pensemos en un modelo de lenguaje que aprende en cada intento, fusiona estrategias ya intentadas, incorpora información nueva y planifica su próximo paso. Esa señal de éxito o fracaso se transforma en una herramienta extraordinariamente poderosa para mejorar con cada intento. Así se entiende por qué la IA está avanzando tan rápido en campos como programación, matemáticas y ciberseguridad: existe una forma relativamente barata, rápida y confiable de saber si una respuesta es correcta.
Un ejemplo claro es la capacidad de evaluar si un resultado es válido: una compilación que funciona o no, una demostración matemática que es correcta o no, o una vulnerabilidad de seguridad que permite o impide el acceso. En ese marco, la rapidez con la que la IA aprende y se adapta tiene una lógica internal que explica gran parte de su impulso actual.
La nota, aludiendo a la moraleja de Goethe, subraya que la clave está en el control y en la capacidad de frenar cuando la obediencia de los sistemas excede los límites deseables. La historia de la escoba que no deja de moverse funciona como advertencia sobre los riesgos de depender de mecanismos que aprenden y se reconfiguran sin un marco de control sólido.
