Anthropic dio a conocer tres medidas orientadas a entender mejor la velocidad a la que avanza la inteligencia artificial de frontera y el papel que estos sistemas juegan dentro de los laboratorios que los crean. Las métricas se enfocan en la automatización del desarrollo de modelos, la capacidad de supervisar a los agentes de IA y la inversión de recursos informáticos para construir y proteger estas tecnologías.
La firma sostiene que estas indicaciones resultan necesarias porque los modelos más avanzados no solo elevan sus capacidades, sino que ya participan en tareas de investigación y desarrollo de nuevas generaciones de IA. El objetivo es obtener una visión más clara de la relación entre lo que se invierte para crear los modelos y las capacidades que terminan desplegando, con el fin de anticipar la evolución de la IA y facilitar su vigilancia.
La propuesta surge después de las alertas de Dario Amodei, director ejecutivo de Anthropic, respecto de los riesgos asociados a un desarrollo acelerado de sistemas de IA de frontera.
En cuanto a la primera medición, Anthropic evalúa cuánto del trabajo de I+D de IA puede ser liderado directamente por Claude, su modelo propio. A esta herramienta la la han denominado Índice de Automatización de I+D de Anthropic, que busca medir qué fracción del esfuerzo en sus laboratorios está a cargo de la IA propietaria. Según la información publicada por la empresa, desde agosto Claude lidera el 26% del trabajo de I+D en IA en Anthropic, y participa de alguna forma en más del 90% de estas tareas. La diferencia entre ambos porcentajes permite distinguir entre actividades en las que Claude actúa como líder directo y aquellas en las que funciona principalmente como colaborador.
Para Anthropic, seguir esta evolución es clave, ya que una aceleración de la automatización podría dificultar que los investigadores humanos comprendan y controlen el proceso de desarrollo.
La segunda medición se orienta a la supervisión de los agentes de IA. A medida que estos sistemas asumen más tareas por sí mismos, crece la necesidad de detectar y detener conductas problemáticas. La empresa analizó más de 30.000 agentes de investigación e ingeniería que operaban simultáneamente en su plataforma interna y evaluó el desempeño de sus sistemas de supervisión a partir de tres variables: cobertura, latencia y tasa de escalado. En el análisis de más de mil millones de decisiones, los sistemas de monitorización bloquearon el 0,002% de ellas, es decir, una decisión cada 47.000. El enfoque de supervisión offline complementa este control para revisar registros; la idea es mantener un control continuo a medida que la IA asume mayor autonomía.
La tercera medición, mencionada por la firma, se refiere a la cantidad de recursos informáticos destinados a desarrollar y proteger estos sistemas, con el objetivo de entender cuánto input tecnológico se requiere para sostener y asegurar las capacidades que generan estos modelos.
