Jam de Diseño de Evaluación PROBE

La Brecha Entre la Capacidad y la Seguridad Verificada se Está Ampliando Los sistemas de IA agentivos están siendo lanzados más rápido de lo que podemos evaluarlos. Mientras tanto, los reguladores en la UE, EE. UU., Singapur y China exigen pruebas adversariales documentadas. La mayoría de los equipos aún no tienen las herramientas o la metodología para cumplir con ese estándar. PROBE es un jam de diseño de evaluación práctico donde creadores e investigadores que se preocupan por la seguridad + seguridad de la IA se reúnen para compartir y co-diseñar métodos de evaluación. PROBE está diseñado como una sesión de discusión x trabajo para compartir conjuntos de datos de referencia, arneses de prueba de estrés y herramientas de código abierto que la comunidad puede utilizar al evaluar agentes. El objetivo es conectar con otros creadores e investigadores interesados en la seguridad y la garantía de la IA, y crear un grupo de trabajo para la garantía de la IA. Curado por AI Safety Node/Ecomonitor (www.aisafetynode.com) y alojado con Ojin(https://ojin.ai/). **** Programa y Grupo de Trabajo **** Charlas: Humanos en el Bucle x Evaluación de IA, Benchmark Explorando Casos Límite en la Alineación de IA Humanos en el Bucle x Evaluación de IA Trevor Lohrbeer es cofundador de AI Safety Berlin, un espacio de coworking y comunidad para aquellos que trabajan para reducir los riesgos sociales de la IA en Berlín, y un investigador independiente en seguridad de IA enfocado en mantener a los humanos en el bucle durante la auto-mejora recursiva. Antes de volverse independiente, pasó 16 meses trabajando con Redwood Research desarrollando evaluaciones de control de IA y realizando investigaciones sobre vulnerabilidades en el modo automático de Claude Code, y pasó 25 años fundando y dirigiendo startups de Internet y software. Conozca más sobre su trabajo en seguridad de IA aquí. Un Benchmark que explora Casos Límite en la Alineación de IA Florian Dietz es investigador y consultor en alineación de IA. Compartirá su trabajo en la creación de un benchmark de escenarios que son Fuera de Distribución (OOD) para los sistemas de IA actuales. Linkedin de Florian: https://www.linkedin.com/in/floriandietz/Elective Sesiones de Sprint de Diseño Diseño de Pruebas de Estrés de Salvaguarda Compartir y trabajar en un diseño de evaluación que sonde los límites de seguridad, pruebe mecanismos de rechazo y resultados (si hay evaluaciones pasadas disponibles) Herramientas de Evaluación + Infra Discutir herramientas e infraestructura de evaluación. Compartir y trabajar en arneses reutilizables, canalizaciones de métricas y herramientas de informes que hagan que las pruebas adversariales sean repetibles, no solo una vez. Programa 18-19:00: Inicio y orador invitado sobre método de evaluación Expositores del AI Safety Hub en Berlín y firmas de investigación independientes para discutir métodos de evaluación y pruebas rojas x arneses agentivos. 19:00 - 20:00: sprint de diseño de evaluación: diseño de evaluación-> sprint de implementación 20:00-20:30: Compartir trabajo de diseño de evaluación a través de standup e intercambio de investigadores. Este evento está abierto a todos. Investigadores de seguridad que construyen benchmarks adversariales y creadores de agentes/ingenieros de ML que están explorando herramientas de evaluación encontrarán la noche especialmente relevante. ******* Acerca de Ojin ******* Ojin AixHaus es el nuevo Parque Infantil de IA en Berlín. Un espacio comunitario colaborativo donde científicos, ingenieros de aprendizaje automático, fundadores, creadores y entusiastas de la IA se reúnen para construir el futuro de la IA. Ojin AixHaus es gratuito para unirse, abierto a solicitudes de residencias para startups y actualmente están curando su calendario de eventos 2026. Si tiene una idea candente para un evento, meetup o hackathon, ¡traiga su fuego, ellos traen el espacio! Descubra más aquí: Comunidad Ojin AixHaus Síguenos en redes sociales: Instagram: https://www.instagram.com/ojin.ai/ Linkedin: https://www.linkedin.com/showcase/ojin-aixhaus/?viewAsMember=true X: https://x.com/Ojin_AI Ecomonitor/AI Safety Node: AI Safety Node, una iniciativa de Ecomonitor, une a investigadores y desarrolladores de productos para el desarrollo y las iniciativas comunitarias de seguridad/seguridad de IA. Ecomonitor es un estudio de investigación enfocado en riesgos complejos. Lea más sobre nuestro trabajo aquí: LinkedIn: www.aisafetynode.com https://www.linkedin.com/company/ecomonitor/AI Iniciativa de Safety Node: www.aisafetynode.com