Ломая модели безопасности ИИ

Два доклада на этой неделе. Один закрывает круг, другой открывает кроличью нору.Часть 1 — Защита от инъекций запросов: что работает, что есть театральное представление (Арши Чадха, старший инженер по кибербезопасности, Zscaler, 20 минут) Последняя сессия: 11 классов атак, CVE. Эта сессия: сторона защиты. Какие мероприятия на самом деле работают, какие просто создают иллюзию безопасности и почему «добавить лучший системный запрос» — это не стратегия.Часть 2 — Перед тем, как модель ответит (Сагник Натх, ассистент профессора, компьютерные науки, UC Santa Cruz) Ваши запросы теперь фиксированы. Здорово. В то же время бэкенд вывода повторно использует кэшированные состояния, нечетко сопоставляет старые ответы и доверяет хэшам, которые были разработаны для скорости, а не для безопасности. Этот доклад исследует, как префиксные, семантические и мультимодальные кэши могут быть отравлены, чтобы изменить ответы, скрыть злонамеренные вводы и обойти аудиты на основе LLM в системах общего обслуживания. Мы рассмотрим атаки, продемонстрированные против таких фреймворков, как vLLM и GPTCache, затем обсудим практические меры защиты для обеспечения уровня кэша.📍 Hacker Dojo, Mountain View 🕕 14:30Та же небольшая групповая форма, как и в прошлый раз. Принесите статью, над которой вы работаете, находку, которую вы рассматриваете, цепочку эксплуатации, над которой вы работаете, или защиту, которую вы хотите протестировать перед людьми, которые будут оспаривать. Повестка дня будет нашим якорным референсом. Еще более ценным является то, во что хочет углубиться комната. Чтобы участвовать или представить статью/проект/все, что связано с безопасностью ИИ, свяжитесь по электронной почте [email protected].