Quebrando a Segurança de Modelos de IA

Description

O Encontro de Pesquisa em Segurança de IA da Baía de São Francisco retorna para uma sessão focada em OWASP LLM01:2026 — Injeção de Prompt.Este é o risco fundamental no OWASP Top 10 para Aplicações LLM, e a revisão de 2026 reflete um ano em que a injeção de prompt passou do teórico ao operacional: exfiltração de documentos sem cliques contra Microsoft 365 Copilot (EchoLeak, CVE-2025-32711), ações destrutivas impulsionadas por agentes na Amazon Q (AWS-2025-015 AWS-2025-019), despejos de banco de dados mediados pelo MCP contra Supabase, injeção indireta através de problemas do GitHub contra assistentes de codificação conectados ao MCP, e portas traseiras de cadeia de suprimentos em pacotes como postmark-mcp.Caminharemos pelo modelo de ameaça por trás desses incidentes — injeção direta vs. indireta, ataques de superfície confiável via MCP, envenenamento de memória e corpus RAG, cargas multimodais e invisíveis em Unicode, a classe "fun-tuning" contra modelos de produção de peso fechado — e quais defesas realmente se sustentam sob ataque adaptativo. Para se preparar, você pode ler: https://github.com/GenAI-Security-Project/GenAI-LLM-Top10/blob/main/2026LLM01_PromptInjection.md antes do evento, para obter mais valor dele.Mesma formato de grupo pequeno que da última vez. Traga um artigo que você tenha analisado, uma descoberta que você esteja sentado em cima, uma cadeia de exploração que você esteja trabalhando ou uma defesa que você queira testar diante de pessoas que vão desafiar.A entrada OWASP LLM01:2026 será nossa referência âncora, mas a agenda é o que o grupo quiser aprofundar. Para participar ou apresentar um artigo/projeto/qualquer coisa relacionada à segurança de IA, entre em contato por e-mail em [[[email protected]](mailto:[email protected])](mailto:[email protected]).