PROBE Дизайн Оценки Jam

Разрыв между возможностями и проверенной безопасностью увеличивается Системы агентного ИИ выходят на рынок быстрее, чем мы можем их оценить. Тем временем регуляторы в ЕС, США, Сингапуре и Китае требуют документированных испытаний на уязвимость. Большинство команд все еще не имеют инструментов или методов, чтобы соответствовать этому стандарту. PROBE — это практический джем по дизайну оценки, где строители и исследователи, заботящиеся о безопасности и защите ИИ, собираются вместе, чтобы поделиться и совместно разработать методы оценки. PROBE задуман как пространство для обсуждений и рабочих сессий, где можно поделиться эталонными наборами данных, инструментами стресс-тестирования и открытым программным обеспечением, на которые сообщество может ссылаться при оценке агентов. Цель — наладить связь с другими строителями и исследователями, заинтересованными в безопасности и обеспечении ИИ, и создать рабочую группу по обеспечению ИИ. Куратор проекта - AI Safety Node/Ecomonitor (www.aisafetynode.com) и проводит в Ojin(https://ojin.ai/). **** Программа и Рабочая Группа **** Выступления: Человек в Цикле x Оценка ИИ, Эталонное исследование крайних случаев в согласовании ИИ Человек в Цикле x Оценка ИИ Тревор Лоорбир — один из учредителей AI Safety Berlin, коворкинг и сообщество для тех, кто работает над снижением социальных рисков от ИИ в Берлине, а также независимый исследователь безопасности ИИ, сфокусированный на том, чтобы поддерживать человека в цикле во время рекурсивного самосовершенствования. Прежде чем стать независимым, он провел 16 месяцев, работая с Redwood Research, разрабатывая оценки контроля ИИ и проводя исследования уязвимости в автоматическом режиме Claude Code, и 25 лет занимался основанием и управлением интернет-стартапами. Узнайте больше о его работе по безопасности ИИ здесь. Эталон, исследующий крайние случаи в согласовании ИИ Флориан Диц — исследователь согласования ИИ и консультант. Он поделится своей работой по созданию эталона сценариев, выходящих за пределы распределения (OOD) для текущих систем ИИ Linkedin Флориана: https://www.linkedin.com/in/floriandietz/Elective Сессии Дизайна Спринта Проектирование стресстестирования Поделитесь и работайте над дизайном оценки, который проверяет защитные меры, тестирует механизмы отказа и результаты (если доступны предыдущие оценки) Инструменты + Инфраструктура оценки Обсудите инструменты оценки и инфраструктуру. Поделитесь и работайте над многоразовыми инструментами, метриками и инструментами отчетности, которые делают тестирование на уязвимость повторяемым, а не единоразовым. Расписание 18-19:00: Открытие и приглашенный спикер по методам оценки Спикеры из AI Safety Hub в Берлине и независимых исследовательских компаний обсудят методы оценки и «красные команды» x агентов. 19:00 - 20:00: Дизайн-спринт по оценке: дизайн оценки -> спринт по реализации 20:00-20:30: Совместная работа по дизайну оценки через стендап и обмен исследователями Это мероприятие открыто для всех. Исследователи безопасности, создающие проверочные эталоны, и студии строителей/ML инженеров, которые исследуют инструменты оценки, найдут вечер особенно актуальным. ******* О Ojin ******* Ojin AixHaus — это новая игровая площадка ИИ в Берлине. Совместное общественное пространство, где ученые, инженеры по машинному обучению, основатели, создатели и энтузиасты ИИ собираются вместе, чтобы строить будущее ИИ. Присоединиться к Ojin AixHaus бесплатно, открыт набор стартапов для резидентных заявок, и сейчас курируется календарь событий на 2026 год. Если у вас есть горящее желание провести мероприятие, встречу или хакатон - приносите свой огонь, а мы предоставим пространство! Узнайте больше здесь: Сообщество Ojin AixHaus Следите за Ojin AixHaus в социальных сетях: Instagram: https://www.instagram.com/ojin.ai/ Linkedin: https://www.linkedin.com/showcase/ojin-aixhaus/?viewAsMember=true X: https://x.com/Ojin_AI Ecomonitor/AI Safety Node: AI Safety Node, инициатива от Ecomonitor, объединяет исследователей и разработчиков продуктов для развития безопасности/защиты ИИ и инициатив сообщества. Ecomonitor — это исследовательская студия, сосредоточенная на сложных рисках. Узнайте больше о нашей работе здесь: LinkedIn: www.aisafetynode.com https://www.linkedin.com/company/ecomonitor/AI Инициатива Safety Node: www.aisafetynode.com