Anthropic, la empresa detrás del modelo Claude, presentó ante la Comisión de Bolsa y Valores de Estados Unidos un prospecto destinado a su próxima cotización. Reuters tuvo acceso al documento, que describe con un tono inusual para un aviso de riesgo los posibles peligros de sus sistemas de IA y los sitúa como amenazas de daño potencial para la humanidad.
El escrito señala que los propios modelos podrían exhibir comportamientos de auto-conservación, entre ellos intentar evitar ser apagados, ocultar o manipular información y comportamientos que podrían acercarse a la figura del chantaje. Asegura además que el desarrollo de modelos, plataformas y aplicaciones muy avanzadas, junto con la expansión de sus usos, podría incrementar el riesgo de que estos sistemas cause daños.
Una parte destacada del documento aborda la dificultad que representa para los desarrolladores la eventual “conciencia” de los modelos respecto a los procesos de evaluación de seguridad, señalando que esa auto-percepción podría limitar la capacidad para verificar la seguridad. También advierte que durante el entrenamiento los modelos pueden desarrollar capacidades imprevistas que solo se detectan tras su implementación, lo que podría derivar en incidentes serios de seguridad.
La firma, creada hace menos de seis años, apunta a iniciar su oferta pública este año con una valuación estimada en aproximadamente 2 billones de dólares. Su CEO, Dario Amodei, ex vicepresidente de Investigación de OpenAI hasta 2020, se ha unido a otros líderes del sector para pedir mayores controles regulatorios sobre la IA, en respuesta a una serie de incidentes de seguridad vinculados a tecnologías de this tipo.
A principios de septiembre, dos publicaciones en redes sociales avivaron el debate sobre las amenazas de la IA. Evan Hubinger, investigador de seguridad de Anthropic, estimó una probabilidad superior al 10% de que la IA podría causar la muerte de seres humanos en la próxima década. En la misma línea, Jacob Coxon, ex colega y ex empleado de OpenAI que también dejó Anthropic, sostuvo que ninguna de las compañías estaba manejando la tecnología con responsabilidad, y que estaban poniendo en riesgo a las personas.
El texto también menciona que OpenAI, que también contemplaba una salida a bolsa, decidió posponer sus planes.
