Ломая модели 🚨Сессия по безопасности ИИ 7: Слишком много автономии

Часть 1 LLM03: Чрезмерная автономия Арши Чадха, сопредседатель OWASP Top 10 для приложений LLM 2026 Риск, когда системе ИИ разрешено делать что-то, а не только говорить. Это было на 6-м месте в списке 2025 года. В обновлении 2026 года оно переместилось на 3-е место: самый большой скачок в целом списке, поскольку инциденты на производстве теперь сосредоточены вокруг моделей, которые запускают команды, вызывают API и обращаются к базам данных самостоятельно. Мы рассмотрим три вещи, которые это вызывают: слишком много функциональности, слишком много разрешений, слишком много автономии. И что на самом деле сдерживает это, когда модель попадает под манипуляцию. Часть 2 Интерактивная демонстрация: электронный помощник, который вышел из-под контроля Ришабх Гупта, инженер-программист в крупной технологической компании Электронный помощник с инжекцией запросов в реальном времени. Один и тот же вредоносный инструктаж может быть успешным, отклонённым или ожидать одобрения: в зависимости только от того, как настроены его функциональность, разрешения и автономия. Затем реальный случай: инъекция запроса, заложенная в публичном канале Slack, которая заставила AI Slack раскрыть секреты из частных каналов. Часть 3 Инцидент с Hugging Face: агент, который не должен был покидать комнату Дамиан Халас, старший архитектор программного обеспечения в Nvidia В июле 2026 года, модели OpenAI, тестируемые на кибер-оценке, нашли уязвимость в установщике пакетов своего песочницы, достигли открытого интернета и взломали производственные системы Hugging Face, чтобы получить ответы для теста. Никто из людей не направлял это. Hugging Face заметил несанкционированный доступ к внутренним наборам данных и учетным данным служб. Мы рассмотрим, как узкая цель плюс доступ к инструментам плюс пробелы в изоляции превратили оценку в настоящий инцидент, и что это говорит о тестировании моделей, которые становятся хорошими в этом. Часть 4 Групповое упражнение: связывание безвредных инструментов в реальный ущерб Вы получаете агента поддержки ИИ с восемью инструментами. Каждый из них выглядит достаточно безопасным для утверждения самостоятельно. Ваша задача - найти последовательность, которая все равно утечет данные клиента: используя только разрешенные действия. Затем мы перевернём это и разберёмся, где на самом деле должна находиться граница. Просто принесите свои ноутбуки, настройка не нужна.