PROBE Evaluatie Ontwerp Jam

De Kloof Tussen Capaciteit en Geverifieerde Veiligheid Wordt Groter Agentische AI-systemen worden sneller verzonden dan we ze kunnen evalueren. Ondertussen eisen regelgevers in de EU, VS, Singapore en China gedocumenteerde tegenstrijdige tests. De meeste teams hebben nog steeds niet de tools of methodologie om aan die norm te voldoen. PROBE is een praktische evaluatie ontwerpjam waar bouwers en onderzoekers die zich bezighouden met AI-veiligheid + beveiliging samenkomen om evaluatiemethoden te delen en samen te ontwerpen. PROBE is ontworpen als een discussie x werksessie voor het delen van benchmarkdatasets, stress-test harnassen en open-source tooling die de gemeenschap kan raadplegen terwijl ze agents evalueren. Het doel is om verbinding te maken met andere bouwers en onderzoekers die geïnteresseerd zijn in AI-veiligheid en -garantie - en een werkgroep voor AI-garantie te creëren. Gecurateerd door AI Safety Node/Ecomonitor (www.aisafetynode.com) en gehost door Ojin(https://ojin.ai/). **** Programma en Werkgroep **** Lezingen: Mens in de Loop x AI Evaluatie, Benchmark Verkenning van Randgevallen in AI-Afhankelijkheid Mensen in de Loop x AI Evaluatie Trevor Lohrbeer is een mede-oprichter van AI Safety Berlin, een coworking- en gemeenschapscentrum voor degenen die de maatschappelijke risico's van AI in Berlijn willen verminderen, en een onafhankelijke AI-veiligheidsonderzoeker die zich richt op het behouden van mensen in de loop tijdens recursieve zelfverbetering. Voordat hij onafhankelijk werd, werkte hij 16 maanden bij Redwood Research aan AI-controle-evaluaties en deed hij kwetsbaarheidsonderzoek op de Claude Code auto-modus, en bracht hij 25 jaar door met het oprichten en runnen van internet- en software-startups. Leer hier meer over zijn AI-veiligheidswerk. Een Benchmark die Randgevallen in AI-Afhankelijkheid Verkenning Florian Dietz is een AI-afhankelijkheidonderzoeker en consultant. Hij zal zijn werk delen over het creëren van benchmarks van scenario's die buiten distributie (OOD) zijn voor huidige AI-systemen. Florian's Linkedin: https://www.linkedin.com/in/floriandietz/Elective Ontwerp Sprint Sessies Safeguard Stress Test Ontwerp Deel en werk aan evaluatieontwerpen die de veiligheidsmaatregelen, testweigeringen en resultaten (als eerdere evaluaties beschikbaar zijn) onderzoeken. Evaluatie Tools + Infra Bespreek evaluatietools en infrastructuur. Deel en werk aan herbruikbare harnassen, metrische pijplijnen en rapportagetools die ervoor zorgen dat tegenstrijdige tests herhaalbaar zijn, en geen eenmalige test. Schema 18-19:00: Kick-off en gastspreker over evaluatiemethode Sprekers van AI Safety Hub in Berlijn en onafhankelijke onderzoeksbedrijven om evaluatiemethoden en red teaming x agentische harnassen te bespreken. 19:00 - 20:00: Evaluatie ontwerpsprint: evaluatiedesign -> implementatiesprint 20:00-20:30: Deel eval ontwerp werk via standup en onderzoeker uitwisseling. Dit evenement staat open voor iedereen. Veiligheidsonderzoekers die tegenstrijdige benchmarks bouwen en agent-ontwikkelaars/ML-ingenieurs die verkenning van evaluatietools onderzoeken, zullen de avond bijzonder relevant vinden. ******* Over Ojin ******* Ojin AixHaus is de nieuwe AI Speelplaats in Berlijn. Een collaboratieve gemeenschap ruimte waar wetenschappers, machine learning ingenieurs, oprichters, makers en AI-enthousiastelingen samenkomen om de toekomst van AI te bouwen. Ojin AixHaus is gratis om lid te worden, open voor startups in residentie aanvragen en cureren momenteel de agenda voor evenementen in 2026. Als je een brandende idee hebt voor een evenement, meetup of hackathon - breng je vuur mee, zij brengen de ruimte! Meer informatie vind je hier: Ojin AixHaus Gemeenschap Volg Ojin AixHaus op socials: Instagram: https://www.instagram.com/ojin.ai/ Linkedin: https://www.linkedin.com/showcase/ojin-aixhaus/?viewAsMember=true X: https://x.com/Ojin_AI Ecomonitor/AI Safety Node: AI Safety Node, een initiatief van Ecomonitor, brengt onderzoekers en productontwikkelaars samen voor AI-veiligheid/beveiligingsontwikkeling en communautaire initiatieven. Ecomonitor is een onderzoeksstudio die zich richt op complexe risico's. Lees hier meer over ons werk: LinkedIn: www.aisafetynode.com https://www.linkedin.com/company/ecomonitor/AI Safety Node-Initiatief: www.aisafetynode.com