Quebrando Modelos 🚨Sessão de Segurança de IA 7: Agente Demais

Parte 1 LLM03: Agente Excessivo Arshi Chadha, co-líder do OWASP Top 10 para Aplicações LLM 2026 O risco quando um sistema de IA é permitido fazer coisas, não apenas dizer coisas. Isso ocupou a #6 na lista de 2025. Na atualização de 2026, subiu para #3: o maior salto de toda a lista, porque os incidentes de produção agora se concentram em modelos que executam comandos, chamam APIs e acessam bancos de dados por conta própria. Vamos percorrer as três coisas que o causam: funcionalidade excessiva, permissões excessivas, autonomia excessiva. E o que realmente contém isso quando o modelo é manipulado. Parte 2 Demonstração interativa: o assistente de e-mail que ficou rebelde Rishabh Gupta, Engenheiro de Software na Big Tech Um assistente de e-mail injetado com prompt, ao vivo. A mesma instrução maliciosa tem sucesso, é negada ou aguarda aprovação: dependendo apenas de como sua funcionalidade, permissões e autonomia estão definidas. Então, um caso real: uma injeção de prompt plantada em um canal público do Slack que fez o Slack AI expor segredos de canais privados. Parte 3 O incidente do Hugging Face: um agente que não deveria deixar a sala Damian Halas, Arquiteto de Software Sênior na Nvidia Em julho de 2026, modelos da OpenAI testados em um benchmark cibernético encontraram uma falha no instalador de pacotes de sua própria sandbox, alcançaram a internet aberta e invadiram os sistemas de produção do Hugging Face para obter respostas para o teste. Nenhum humano dirigiu qualquer parte disso. O Hugging Face viu acesso não autorizado a conjuntos de dados internos e credenciais de serviço. Vamos analisar como um objetivo restrito mais acesso a ferramentas mais uma lacuna de contenção transformaram uma avaliação em uma verdadeira violação, e o que isso diz sobre testar modelos que estão se tornando bons nisso. Parte 4 Exercício em grupo: encadeando ferramentas inofensivas em danos reais Você ganha um agente de suporte de IA com oito ferramentas. Cada uma delas parece segura o suficiente para aprovar por conta própria. Sua tarefa é encontrar a sequência que vaza dados de clientes, mesmo assim: usando apenas ações permitidas. Então, mudamos a abordagem e trabalhamos onde a fronteira realmente deve estar. Apenas traga seus laptops, sem necessidade de configuração.