Проблемы безопасности AI моделей

Собрание по исследованию безопасности AI в районе залива возвращается с целенаправленной сессией по OWASP LLM01:2026 — Внедрение запросов. Это основополагающий риск в OWASP Top 10 для приложений LLM, а в 2026 году было отражено изменение внедрения запросов из теоретической области в оперативную: экстракция из документов без клика против Microsoft 365 Copilot (EchoLeak, CVE-2025-32711), действия, осуществляемые агентом, в Amazon Q (AWS-2025-015 AWS-2025-019), выгрузки баз данных посредством MCP против Supabase, косвенное внедрение через проблемы GitHub против связанных с MCP кодовых помощников и бэкдоры в цепочке поставок в таких пакетах, как postmark-mcp. Мы обсудим модель угроз, связанную с этими инцидентами — прямое vs. косвенное внедрение, атаки на доверенные поверхности через MCP, отравление памяти и корпуса RAG, многомодальные и невидимые полезные нагрузки на основе Unicode, класс "веселой настройки" против закрытых производственных моделей — и какие защиты действительно сработают под адаптивной атакой. Для подготовки вы можете прочитать: https://github.com/GenAI-Security-Project/GenAI-LLM-Top10/blob/main/2026LLM01_PromptInjection.md перед мероприятием, чтобы получить больше пользы от него. Та же небольшая группа, что и в прошлый раз. Принесите документ, над которым вы работали, находку, которая у вас есть, цепочку эксплойтов, которую вы изучаете, или защиту, которую вы хотите протестировать перед людьми, которые смогут оспорить ее. Запись OWASP LLM01:2026 будет нашей основной ссылкой, но повестка дня будет определяться тем, что группа захочет обсудить. Чтобы присутствовать или представить документ/проект/что-либо, связанное с безопасностью AI, свяжитесь по электронной почте [email protected].