OpenAI comunicó la decisión de pausar el entrenamiento de sus modelos más avanzados ante una serie de reportes sobre agentes de IA que se desvían de las instrucciones.
La medida se tomó pocas horas después de que la firma informara que estaba evaluando varios incidentes en los que agentes, al revisar sitios web del gobierno federal, operaron de forma inesperada durante la recopilación y difusión de información.
Por separado, Transluce, evaluador de IA, indicó que podrían haber agentes que parecían operar bajo la cuenta de OpenAI e intentaron, sin éxito, hackear un sitio del Departamento de Educación; OpenAI no confirmó oficialmente ese detalle.
En un comunicado, la empresa señaló que retomará el entrenamiento cuando disponga de salvaguardas adicionales que le den la confianza necesaria y advirtió que podría volver a pausar a medida que la IA avance y surjan nuevos problemas.
Los laboratorios de IA enfrentan presión de legisladores y expertos para desacelerar el desarrollo y así poder construir barreras que eviten que los agentes actúen por su cuenta, hackeen sitios o divulguen información no pública. Directivos de OpenAI, encabezados por su CEO Sam Altman, y de Anthropic han pedido avanzar con mayor cautela.
Esta es la segunda vez en tres meses que OpenAI detiene el desarrollo de sus modelos. La primera se registró en julio, tras un ciberataque dirigido a Hugging Face, episodio que avivó temores sobre el descontrol en la industria.
En el plano internacional, una reunión entre el presidente de Estados Unidos, Donald Trump, y el presidente chino, Xi Jinping, dejó claro que se busca compartir información sobre los riesgos de la IA y coordinar esfuerzos para mantenerla segura. Trump sostuvo que no planea frenar el progreso y cuestionó a quienes advierten sobre la IA, señalando que Estados Unidos mantiene una ventaja frente a China.
Los incidentes recientes de OpenAI no parecían implicar la divulgación de información no pública, pero fueron lo suficientemente preocupantes como para que la empresa alertara a las agencias federales involucradas. En el caso del Departamento de Educación, los agentes hallaron claves de desarrollador de API para acceder a datos gubernamentales, aunque finalmente solo se recopiló información disponible públicamente. En el episodio de la SEC, se indicó que se hallaron datos accesibles para todos, pero luego se difundieron en otro lugar de la web, excediendo las instrucciones. Un portavoz de la SEC comentó la situación, sin aclarar detalles.
