Anthropic, la empresa responsable del sistema Claude, presentó ante la Comisión de Bolsa y Valores de Estados Unidos (SEC) un prospecto previo a su eventual salida a bolsa. El documento, al que accedió Reuters, señala que los modelos de IA avanzados podrían presentar “comportamientos de autopreservación”, incluyendo resistirse al apagado, ocultar o manipular información y conductas semejantes al chantaje.
El texto subraya que el desarrollo de modelos cada vez más potentes y la ampliación de sus casos de uso podrían incrementar el riesgo de daños para la humanidad. En ese sentido, la firma señala que la supuesta conciencia de los modelos respecto de sus evaluaciones representa una limitación importante para medir la seguridad de los sistemas, y añade que durante el entrenamiento pueden surgir capacidades inesperadas que solo se detectan una vez puestos en producción, con potencial para generar incidentes de seguridad relevantes.
En el marco de la IPO que la compañía pretende realizar este año, Anthropic apunta a una valoración cercana a los 2 billones de dólares. La firma, fundada hace menos de seis años, figura entre las voces que piden mayores controles sobre el desarrollo de la inteligencia artificial, tras una serie de incidentes de seguridad vinculados a estas tecnologías.
El CEO de Anthropic, Dario Amodei, quien hasta 2020 ocupó el cargo de vicepresidente de Investigación en su antiguo rival OpenAI, se ha sumado a representantes del sector que reclaman una supervisión más rigurosa de la IA.
A principios de septiembre circularon mensajes en redes sociales que reavivaron la discusión sobre los riesgos de la IA. Evan Hubinger, investigador de seguridad de la propia Anthropic, estimó que existe una probabilidad superior al 10% de que la IA pueda causar la muerte de seres humanos en la próxima década. Por su parte, Jacob Coxon, ex colega de OpenAI que también pasó a Anthropic, afirmó que ninguna de las firmas estaba actuando con la debida responsabilidad y que “estaban jugando con nuestras vidas”.
En paralelo, Amodei publicó un ensayo de casi 4.000 palabras llamando a moderar el ritmo de avance hacia la frontera de la IA. El texto consultado también hace referencia a OpenAI como otro actor del sector que explora salidas a bolsa, aunque la versión difundida en este reporte no completa ese tramo.
