Anthropic informó que dio a un equipo de seis investigadores de METR, una organización sin fines de lucro dedicada a evaluar sistemas de inteligencia artificial, un nivel de acceso comparable al de sus propios trabajadores. El objetivo es que METR audite de manera independiente los modelos y las salvaguardas de la empresa.
La firma describió la medida como el escalón más avanzado de un sistema de tres niveles de evaluadores externos que viene desarrollando desde el año pasado. Según el anuncio, a los seis integrantes se les entregó equipamiento y recursos de la empresa, incluyendo computadoras, espacio de trabajo y acceso a herramientas internas “en igualdad de condiciones” con las que trabajan los equipos internos de evaluación de riesgos de Anthropic.
En el marco de este acuerdo, los analistas de METR pueden compartir información con el equipo de evaluación de riesgos de la empresa de la misma manera que lo harían con un colega dedicado a riesgos de alineación, con ciertas excepciones: no podrán tratar datos de clientes, información protegida por secreto profesional entre abogado y cliente, ni detalles sobre la arquitectura de los modelos.
Anthropic detalló que, para que una evaluación de modelos de última generación funcione, el equipo externo debe cumplir cuatro condiciones: poseer la experiencia necesaria para analizar las capacidades de los sistemas —incluido saber detectar cuando una evaluación falla, por ejemplo si un modelo simula estar alineado— y tener independencia económica y operativa respecto de la empresa evaluada.
Las otras dos condiciones son un acceso suficiente que abarque no solo los modelos, sino también sus procesos de entrenamiento y las salvaguardas, y la libertad para publicar sus hallazgos sin censura previa.
La compañía admitió que no puede divulgar toda la información de sus prácticas de seguridad de forma pública, ya que parte de esos datos podría beneficiar a actores malintencionados o resultar sensibles desde lo comercial, como información sobre cómputo o entrenamiento de los modelos. Por ello, según el comunicado, se optó por conceder un acceso profundo a cambio de que los evaluadores externos aporten pruebas y conclusiones razonadas sobre los riesgos involucrados.
Además, METR tendrá la potestad de publicar sus propias evaluaciones de riesgos, incidentes y prácticas de la empresa, un punto que Anthropic no podría bloquear. “Anthropic no puede vetar la publicación, pero puede exigir que redacten información específica si cae en categorías estrechas y predefinidas”, explicó la firma en su blog.
La organización evaluadora, aclaró Anthropic, es libre de caracterizar públicamente las conclusiones y decir si considera que estaban justificadas, siempre que no revele la información redactada.
La empresa comparó este esquema con la supervisión bancaria, donde reguladores asignan examinadores residentes para detectar riesgos antes de que afecten a la sociedad.
Por ahora, METR es el único evaluador que ha llegado al nivel más alto del esquema. En el nivel inicial operan otras entidades, incluida una ONG centrada en bioética, entre otras organizaciones.
