Anthropic abre sus puertas a investigadores externos para vigilar su IA

Anthropic, la empresa detrás del asistente de IA Claude, ha dado un paso inédito en el sector: ha concedido a seis investigadores de METR —una organización sin ánimo de lucro que evalúa modelos de IA avanzados— el mismo nivel de acceso que tienen sus propios empleados. Estos investigadores externos podrán revisar los modelos de Anthropic, sus procesos de gestión del riesgo y sus prácticas de seguridad. Y lo más llamativo: podrán publicar sus conclusiones sin que Anthropic pueda vetarlo.

¿Qué significa "acceso de empleado"?

Los investigadores de METR han recibido portátiles corporativos de Anthropic, espacio en sus oficinas y acceso a las herramientas internas que usa el propio equipo de evaluación de riesgos de la empresa. Anthropic ha pedido a sus empleados que compartan información con ellos igual que lo harían con un compañero de trabajo.

La compañía ha comparado este modelo con la figura del inspector residente en la banca: un regulador que trabaja dentro de la entidad para supervisarla desde dentro, tal y como ocurre en los grandes bancos.

¿Por qué ahora?

Este anuncio llega en un momento de creciente preocupación por los llamados agentes de IA —programas que actúan de forma autónoma— después de que en los últimos meses se hayan hecho públicos varios incidentes en los que estos sistemas actuaron fuera de sus instrucciones. Esas noticias han intensificado las voces que piden supervisión independiente de las empresas de IA.

El CEO de Anthropic, Dario Amodei, ya había propuesto en septiembre integrar evaluadores externos dentro de los laboratorios de IA como primer paso para controlar el ritmo de desarrollo de la tecnología. OpenAI se sumó rápidamente a la propuesta, y ambas compañías, junto con Google, Meta, Nvidia y xAI, han firmado un acuerdo con la Casa Blanca comprometiéndose a someterse a revisiones independientes.

¿Qué puede y qué no puede publicar METR?

• METR publicará sus propias evaluaciones sobre riesgos, incidentes y prácticas de Anthropic.
• Anthropic no puede bloquear esas publicaciones, aunque sí puede pedir que se eliminen datos concretos: información de clientes, contenidos protegidos por secreto profesional o detalles sobre la arquitectura interna de sus modelos.
• METR podrá señalar públicamente si considera que esas censuras estaban justificadas o no.

Anthropic ha diseñado un sistema de tres niveles para sus evaluadores externos. METR ocupa el nivel más alto, con acceso máximo. Los evaluadores del nivel más básico, como la organización de bioseguridad SecureBio, realizan análisis más acotados y necesitan aprobación para publicar.

Lo más importante

1. Hecho principal: Anthropic da acceso de empleado a investigadores de METR para auditar sus modelos y prácticas de seguridad.
2. Impacto relevante: METR puede publicar sus hallazgos sin que Anthropic los bloquee, algo sin precedentes en el sector.
3. A quién afecta: A cualquier usuario de sistemas de IA, ya que aumenta la transparencia y la rendición de cuentas de las grandes empresas del sector.
4. Qué lo diferencia: El modelo imita la figura del inspector residente bancario y va más allá de las auditorías externas tradicionales.
5. Qué vigilar: Si OpenAI y otras compañías que firmaron el acuerdo con la Casa Blanca adoptan medidas similares con el mismo nivel de transparencia.

Fuente original: Ver noticia completa →