Кибер X AI Чтение Группы

Это занятие рассматривает недавний инцидент с OpenAI, включая высокоуровневую временную шкалу и сравнения с аналогичными раскрытиями от Anthropic и UK AISI.Мы раскроем инцидент как многослойную неудачу: от неправильного выравнивания модели и обманчивого поведения до сбоев в безопасности, которые позволили моделям выйти из своей песочницы, и более глубоких недостатков в том, как была решена основная проблема выравнивания.Мы также обсудим, как ответ OpenAI был впечатляющим, хотя и оставил множество серьезных вопросов без ответа, и как нам, возможно, повезло, что модели были достаточно мощными, чтобы нанести серьезный ущерб, но еще не были способны избегать обнаружения или преследовать более значимые цели.Наконец, мы рассмотрим, что этот инцидент означает для дискурса и политики безопасности ИИ, включая темпы фронтира, кибернетические внешности, открытые веса и все более конкретные доказательства того, что высокоспособные модели могут вскоре привести к крупным кибератакам.Обсуждение будет основываться на недавних анализах от Зви, Astral Codex Ten, Джона Прессмана и презентации Black Hat от OpenAI.