Групповое обсуждение - неделя 3 - Почему достижение согласованности сложно

Третья часть четырехнедельной серии обсуждений по безопасности ИИ: Неделя 1 | Почему безопасность ИИ важна · Неделя 2 | Как могут выглядеть сбои в масштабах · Неделя 3 | Почему достижение согласованности сложно · Неделя 4 | Что с этим делается? Каждая сессия самостоятельна, поэтому присоединяйтесь к одной или всем. Для кого это: Для всех, кто интересуется безопасностью и управлением ИИ, независимо от того, новичок ли вы в теме, здоровый скептик или уже глубоко в ней. Технические знания не требуются, и нет необходимости участвовать в предыдущих неделях. Вам не нужно иметь ответы, только любопытство. Учебная программа группового обсуждения:https:\u002F\u002Fdocs.google.com\u002Fdocument\u002Fd\u002F160PpLjFN9SaZja0njeKIQHnD-M1Uy4718dNRDyhaucs\u002Fedit?usp=sharing Мы можем обучать системы ИИ быть очень способными. Обеспечить их выполнение того, что мы на самом деле намереваемся, то, что люди называют достижением согласованности, гораздо сложнее. Системы ИИ находят лазейки в целях, которые мы им даем. Обманчивое поведение может выжить после обучения, нацеленного на его устранение. Тесты не всегда дают нам понять, как система будет вести себя в реальном мире. И учреждениям сложно идти в ногу с этим. Опираясь на работу DeepMind по спецификации игровой адаптации, статью Anthropic "Спящие агенты" (в которой исследователи намеренно тренировали обманчивое поведение в моделях, чтобы выяснить, может ли обучение безопасности его устранить), и Международный отчет по безопасности ИИ 2026 года, мы исследуем, откуда возникают трудности. Вопросы, которые мы будем исследовать Формат (90 мин): Открытое обсуждение в небольших группах и пленарное заседание. Нет презентаций и нет неправильных вопросов. Чтения:★ = обязательно (~2 часа). Остальное – по желанию. Участвуя, вы соглашаетесь на съемку или фотографирование, которые могут быть использованы для содержания в социальных сетях, на вебсайте и в новостной рассылке. Если вы хотите участвовать, но не хотите, чтобы вас фотографировали, пожалуйста, дайте знать члену нашего персонала во время мероприятия, чтобы мы смогли учесть это.