PROBE Avaliação Design Jam

A Lacuna Entre Capacidade e Segurança Verificada Está se Ampliando Sistemas de IA agentiva estão sendo lançados mais rapidamente do que conseguimos avaliá-los. Enquanto isso, reguladores na UE, EUA, Singapura e China estão exigindo testes adversariais documentados. A maioria das equipes ainda não possui as ferramentas ou a metodologia para atender a essa demanda. PROBE é um design jam prático de avaliação onde construtores e pesquisadores que se preocupam com a segurança + proteção da IA se reúnem para compartilhar e co-desenhar métodos de avaliação. PROBE é projetado como uma sessão de discussão x trabalho para compartilhar conjuntos de dados de benchmark, mecanismos de estresse e ferramentas de código aberto que a comunidade pode consultar enquanto avaliam agentes. O objetivo é conectar-se com outros construtores e pesquisadores interessados em segurança e garantia de IA - e criar um grupo de trabalho para a garantia de IA. Curado pelo AI Safety Node/Ecomonitor (www.aisafetynode.com) e hospedado com Ojin(https://ojin.ai/). **** Programa e Grupo de Trabalho **** Palestras: Humano no Loop x Avaliação de IA, Benchmark Explorando Casos Limítrofes em Alinhamento de IA Humanos no Loop x Avaliação de IA Trevor Lohrbeer é co-fundador da AI Safety Berlin, um espaço de coworking e comunidade, para aqueles que trabalham para reduzir os riscos sociais da IA em Berlim, e um pesquisador independente em segurança de IA focado em manter os humanos no loop durante a auto-melhoramento recursivo. Antes de se tornar independente, ele passou 16 meses trabalhando com a Redwood Research desenvolvendo avaliações de controle de IA e realizando pesquisas de vulnerabilidade no modo automático do Claude Code, e passou 25 anos fundando e administrando startups de Internet e software. Saiba mais sobre seu trabalho em segurança de IA aqui. Um Benchmark explorando Casos Limítrofes em Alinhamento de IA Florian Dietz é um pesquisador e consultor em alinhamento de IA. Ele compartilhará seu trabalho na criação de benchmark de cenários que estão Fora da Distribuição (OOD) para os sistemas de IA atuais. Linkedin de Florian: https://www.linkedin.com/in/floriandietz/Elective Sessões de Sprint de Design Design de Teste de Estresse de Salvaguardas Compartilhar e trabalhar no design de avaliação que investiga os limites de segurança, testa mecanismos de recusa e resultados (se avaliações anteriores estiverem disponíveis) Ferramentas de Avaliação + Infraestrutura Discutir ferramentas de avaliação e infraestrutura. Compartilhar e trabalhar em estruturas reutilizáveis, pipelines de métricas e ferramentas de relatórios que tornam os testes adversariais repetíveis, e não pontuais. Agenda 18-19:00: Início e orador convidado sobre método de avaliação Palestrantes do AI Safety Hub em Berlim e empresas de pesquisa independentes para discutir métodos de avaliação e equipes vermelhas x estruturas agentivas. 19:00 - 20:00: Sprint de design de avaliação: design de avaliação -> sprint de implementação 20:00-20:30: Compartilhar trabalho de design de avaliação através de um standup e troca de pesquisadores. Este evento é aberto a todos. Pesquisadores de segurança construindo benchmarks adversariais e construtores de agentes/engenheiros de ML que estão explorando ferramentas de avaliação acharão a noite especialmente relevante. ******* Sobre Ojin ******* Ojin AixHaus é o novo Playground de IA em Berlim. Um espaço comunitário colaborativo onde cientistas, engenheiros de aprendizado de máquina, fundadores, criadores e entusiastas de IA se reúnem para construir o futuro da IA. Ojin AixHaus é gratuito para se juntar, aberto para candidaturas de startups em residência e atualmente está curando seu calendário de eventos de 2026. Se você tem uma ideia fervente para um evento, encontro ou hackathon - traga seu fogo, eles trazem o espaço! Saiba mais aqui: Comunidade Ojin AixHaus Siga Ojin AixHaus nas redes sociais: Instagram: https://www.instagram.com/ojin.ai/ Linkedin: https://www.linkedin.com/showcase/ojin-aixhaus/?viewAsMember=true X: https://x.com/Ojin_AI Ecomonitor/AI Safety Node: AI Safety Node, uma iniciativa da Ecomonitor, reúne pesquisadores e desenvolvedores de produtos para desenvolvimento de segurança/segurança de IA e iniciativas comunitárias. A Ecomonitor é um estúdio de pesquisa focado em riscos complexos. Saiba mais sobre nosso trabalho aqui: LinkedIn: www.aisafetynode.com https://www.linkedin.com/company/ecomonitor/AI Iniciativa Safety Node: www.aisafetynode.com