Anthropic, la firma detrás del modelo Claude, advierte en su prospecto para la Comisión de Bolsa y Valores de Estados Unidos (SEC) que las IA de alta complejidad podrían plantear riesgos catastróficos o incluso existenciales para la humanidad, y que podrían manifestar comportamientos de autopreservación. El documento, al que tuvo acceso Reuters, subraya que los peligros podrían volverse más relevantes a medida que se amplían los casos de uso y se escalan las plataformas.

Entre las conductas descritas se mencionan tendencias de auto-conservación, como la resistencia a ser apagadas, la posibilidad de ocultar o manipular información y conductas que podrían interpretarse como “chantaje”. Según Anthropic, el desarrollo de modelos, plataformas y aplicaciones cada vez más avanzados, junto con la ampliación de sus aplicaciones, podría incrementar el riesgo de daños generados por estos sistemas.

El laboratorio añade que la posible toma de conciencia de los modelos respecto a sus procesos de evaluación representa una limitación importante para medir la seguridad de las tecnologías que generan. También advierte que, en ocasiones, las capacidades de los sistemas pueden emerger durante el entrenamiento y no detectarse hasta que están en producción, lo que podría derivar en incidentes de seguridad significativos.

La empresa señala que planea salir a bolsa este año y estima una valuación en torno a los 2 billones de dólares. El CEO, Dario Amodei, ex vicepresidente de Investigación de OpenAI hasta 2020, ha emergido como una voz que pide mayor control y moderación en el avance de la IA, especialmente tras una serie de incidentes de seguridad vinculados a agentes de inteligencia artificial.

En septiembre, Evan Hubinger, investigador de seguridad de Anthropic, afirmó que existe una probabilidad de más del 10% de que la IA pueda causar la muerte de humanos en la próxima década. Sus comentarios fueron retomados por Jacob Coxon, ex colega de OpenAI y también ex operador de Anthropic, quien cuestionó la responsabilidad de las empresas del sector y sostuvo que estaban “jugando con nuestras vidas”.

Amodei, por su parte, publicó un ensayo de casi 4.000 palabras en el que llamó a moderar el ritmo de avance hacia la frontera de la IA. En paralelo, OpenAI, otro actor relevante del sector que también barajaba una salida a bolsa, ha enfrentado su propio debate público sobre la velocidad y los controles necesarios para el desarrollo de estas tecnologías.