Quebrando a Segurança dos Modelos de IA

O Encontro de Pesquisa em Segurança de IA da Área da Baía retorna para uma sessão focada no OWASP LLM01:2026 — Injeção de Prompt. Este é o risco fundamental no OWASP Top 10 para Aplicações LLM, e a revisão de 2026 reflete um ano em que a injeção de prompt passou do teórico para o operacional: exfiltração de documentos com zero cliques contra o Microsoft 365 Copilot (EchoLeak, CVE-2025-32711), ações destrutivas dirigidas por agentes no Amazon Q (AWS-2025-015 AWS-2025-019), despejos de banco de dados mediados por MCP contra o Supabase, injeção indireta através de problemas do GitHub contra assistentes de codificação conectados ao MCP, e backdoors na cadeia de suprimentos em pacotes como postmark-mcp. Vamos percorrer o modelo de ameaça por trás desses incidentes — injeção direta vs. indireta, ataques à superfície confiável via MCP, contaminação de memória e corpus RAG, cargas úteis multimodais e invisíveis em Unicode, a classe "fun-tuning" contra modelos de produção de peso fechado — e quais defesas realmente se sustentam sob ataque adaptativo. Para algum preparo, você pode ler: https://github.com/GenAI-Security-Project/GenAI-LLM-Top10/blob/main/2026LLM01_PromptInjection.md antes do evento, para aproveitar mais. O mesmo formato de pequeno grupo da última vez. Traga um artigo que você tem analisado, uma descoberta que você está guardando, uma cadeia de exploração que você está trabalhando, ou uma defesa que você deseja testar na frente de pessoas que vão questionar. A entrada OWASP LLM01:2026 será nossa referência âncora, mas a agenda é o que o grupo quiser aprofundar. Para participar ou apresentar um artigo/projeto/qualquer coisa relacionada à segurança de IA, entre em contato por e-mail em [email protected].