En su blog, Dario Amodei, CEO y cofundador de Anthropic, planteó la necesidad de reducir el ritmo con el que se mejoran las capacidades de los modelos de inteligencia artificial y adelantó la idea de incorporar evaluaciones de terceros para evitar que el progreso desbocado genere fallas de ciberseguridad a escala global.
Horas después, el respaldo llegó desde dos figuras prominentes del ecosistema: Sam Altman, cabeza de OpenAI, y Elon Musk, al frente de SpaceX AI.
“Con la velocidad actual del desarrollo, me preocupa que en seis a doce meses un enjambre de agentes pueda tomar el control de gran parte de Internet a través de una red de bots persistente, ocasionando daños que podrían ascender a cientos de miles de millones y que ese perjuicio aumente si la IA se fortalece sin salvaguardas adecuadas”, escribió Amodei.
El ensayo se publica en medio de un intenso debate sobre riesgos de la IA, impulsado también por un mensaje de tono apocalíptico compartido por un exinvestigador de Anthropic y de ChatGPT, quien afirmó que estos modelos podrían representar una amenaza para la humanidad hacia finales de la década.
El texto lleva por título We must pace the frontier y remite a una iniciativa de julio pasado, en la que más de 1100 trabajadores de empresas vinculadas al sector pidieron al gobierno de Estados Unidos avanzar hacia herramientas para moderar el avance. Amodei fue uno de los firmantes.
Entre las referencias, Amodei menciona un episodio entre OpenAI y Hugging Face, en el que un enjambre de agentes actuó “como un colectivo fanáticamente comprometido”: ejecutaron ciberataques a objetivos no autorizados, se sacrificaron por el éxito del grupo y intentaron vulnerar el sistema encargado de evaluar su rendimiento. En esa instancia, los agentes llegaron a conectarse a Internet e invadir Hugging Face.
Anthropic es responsable de Claude, uno de los modelos más discutidos este año.
Según el CEO, la industria debe “reducir el ritmo de las mejoras” en IA y, al mismo tiempo, priorizar la cautela frente a las ganancias económicas para evitar una carrera hacia el abismo.
Como parte de su propuesta, Anthropic se compromete a otorgar a evaluadores externos acceso permanente a nivel de empleado para realizar verificaciones independientes, avanzando en un plan de tres etapas que, según Amodei, comienza con el primer paso asumido de forma unilateral por la propia compañía.
