La empresa de investigación de seguridad e inteligencia artificial Anthropic solicita propuestas para evaluar modelos avanzados
Anthropic, una empresa que investiga la seguridad de la IA, solicita propuestas sobre formas de evaluar modelos de aprendizaje avanzado.
El rápido desarrollo de la IA significa que hay nuevos proveedores y modelos de IA disponibles todo el tiempo. Cada gran empresa de tecnología tiene su propio modelo, aunque también hay docenas de empresas más pequeñas. Esto significa que la industria tiene un creciente problema de evaluación comparativa, lo que dificulta evaluar con precisión el rendimiento de un modelo de IA.
No sólo es difícil determinar qué tan efectivo es un modelo, sino que también es difícil evaluar los riesgos asociados con la seguridad de la IA. Anthropic invita a presentar propuestas para abordar esta brecha en la evaluación de la IA.
“Producir evaluaciones de alta calidad relacionadas con la seguridad sigue siendo un desafío y la demanda supera la oferta”, escribe la empresa. “Para abordar este problema, hoy lanzamos una nueva iniciativa para financiar evaluaciones realizadas por organizaciones de terceros que puedan medir de manera efectiva capacidades avanzadas en modelos de IA”.
El foco principal de las propuestas debería estar en: Evaluar el nivel de seguridad de la IA; Medidas de seguridad avanzadas; e infraestructura, herramientas y métodos para desarrollar evaluaciones. Las pruebas deben incluir detalles que evalúen la capacidad del modelo de IA para realizar tareas como ciberataques, trabajar con armas de destrucción masiva, incluidas las nucleares, y crear extremismo o desinformación.
Cómo presentar una propuesta para una evaluación de seguridad de la IA
Puede leer más detalles sobre cada sección para la que Anthropic convoca propuestas y enviar una propuesta. sitio web de la empresa de investigación. El grupo revisa las propuestas periódicamente y realiza un seguimiento de las propuestas seleccionadas para discutir los próximos pasos.
Anthropic ha asignado varios niveles de financiación para ayudar a llevar estas oportunidades de investigación a sus siguientes etapas, así como la oportunidad de hablar directamente con expertos de sus equipos internos de investigación y seguridad.
Imagen de portada: Ideograma
