Anthropic abrió sus oficinas a auditores externos con rango de empleado para revisar sus modelos de IA

Qué, dónde y cuándo. Seis investigadores de METR, una organización sin fines de lucro dedicada a evaluar sistemas de inteligencia artificial, trabajan desde oficinas de Anthropic en Estados Unidos con computadoras, espacio físico y herramientas internas de la empresa, según confirmó Anthropic.

Los auditores recibieron el mismo nivel de acceso que un empleado del área de evaluación de riesgos. Pueden comunicarse con el personal de la compañía como un colega interno, con tres excepciones: datos de clientes, información protegida por secreto profesional legal y detalles sobre la arquitectura de los modelos.

Tres niveles de evaluación externa

Anthropic organizó su esquema de auditores en tres niveles. El más bajo incluye a organizaciones como SecureBio, que realizan revisiones acotadas y requieren autorización de la empresa antes de publicar. El nivel intermedio otorga más información y permite publicar sin pedir permiso previo.

El nivel superior, ocupado únicamente por METR, suma el acceso equivalente al de un empleado y la facultad de difundir evaluaciones, reportes de incidentes y análisis de prácticas empresariales sin intervención de Anthropic. La compañía puede solicitar que se oculte información en categorías predefinidas y acotadas, pero METR conserva la posibilidad de señalar públicamente si esa redacción le parece o no justificada.

• Experiencia técnica suficiente para detectar cuándo un modelo simula estar alineado en lugar de estarlo.
• Independencia económica y operativa respecto de la empresa auditada.
• Acceso que exceda los modelos e incluya información sobre entrenamiento y mecanismos de seguridad.
• Libertad para publicar hallazgos sin restricciones previas.

Por qué el acceso ampliado

Anthropic justificó el esquema al detallar cuatro condiciones que, según la empresa, debe cumplir una auditoría para resultar útil.

La compañía reconoció que no puede hacer pública toda su información de seguridad, ya que parte de esos datos podría ser aprovechada por actores maliciosos o resulta sensible desde el punto de vista comercial. Por eso concentró el acceso profundo en un grupo reducido que opera bajo acuerdos exigibles, con el resto del personal de METR aislado de ese trabajo.

El equipo de METR ya había revisado varios informes de riesgo de Anthropic durante el año anterior a recibir el nivel ampliado de acceso, según consta en la documentación difundida por la empresa.

en desarrollo.