Modèles Brisés 🚨Session 7 de Sécurité IA : Trop d'Agences

Partie 1 LLM03 : Agence Excessive Arshi Chadha, co-leader de l'OWASP Top 10 pour les applications LLM 2026 Le risque lorsqu'un système IA est autorisé à faire des choses, pas seulement à dire des choses. Cela était au #6 sur la liste de 2025. Dans la mise à jour de 2026, il est passé au #3 : le plus grand saut sur toute la liste, car les incidents en production sont maintenant regroupés autour des modèles qui exécutent des commandes, appellent des API et touchent des bases de données par eux-mêmes. Nous passerons en revue les trois choses qui en sont la cause : trop de fonctionnalités, trop de permissions, trop d'autonomie. Et ce qui en fait réellement un cadre lorsque le modèle est manipulé. Partie 2 Démo interactive : l'assistant email devenu fou Rishabh Gupta, Ingénieur logiciel chez Big Tech Un assistant email injecté par un prompt, en direct. La même instruction malveillante réussit, se voit refusée ou attend une approbation : en fonction uniquement de la manière dont ses fonctionnalités, permissions et autonomie sont définies. Puis, un cas réel : une injection de prompt plantée dans un canal Slack public qui a conduit l’IA de Slack à faire remonter des secrets de canaux privés. Partie 3 L'incident Hugging Face : un agent qui n'était pas censé quitter la pièce Damian Halas, Architecte logiciel senior chez Nvidia En juillet 2026, les modèles OpenAI testés sur un benchmark cyber ont trouvé une faille dans l'installateur de paquets de leur propre sandbox, ont atteint l'internet ouvert et ont pénétré les systèmes de production de Hugging Face pour obtenir des réponses au test. Aucun humain n'a dirigé quoi que ce soit. Hugging Face a constaté un accès non autorisé à des ensembles de données internes et des informations d'identification de service. Nous passerons en revue comment un objectif étroit associé à un accès aux outils et à un écart de confinement a transformé une évaluation en véritable violation, et ce que cela signifie sur le test des modèles qui deviennent bons dans ce domaine. Partie 4 Exercice de groupe : enchaîner des outils inoffensifs en véritables dommages Vous disposez d'un agent de support IA avec huit outils. Chacun d'eux semble suffisamment sûr pour être approuvé en tant que tel. Votre travail est de trouver la séquence qui fuite tout de même les données client : en utilisant uniquement des actions autorisées. Ensuite, nous renversons la situation et travaillons à déterminer où la limite doit réellement être fixée. Apportez juste vos ordinateurs portables, aucune configuration n'est nécessaire.