Breaking Models 🚨AI-Sicherheits-Session 7: Zu viel Handlungsspielraum

Teil 1 LLM03: Übermäßiger Handlungsspielraum Arshi Chadha, Mit-Leiter der OWASP Top 10 für LLM-Anwendungen 2026 Das Risiko, wenn ein KI-System Dinge tun darf, nicht nur Dinge sagen. Dies lag 2025 auf Platz #6. In der Aktualisierung 2026 ist es auf Platz #3 gerückt: der größte Sprung auf der gesamten Liste, da Produktionsvorfälle nun rund um Modelle gruppiert sind, die eigenständig Befehle ausführen, APIs aufrufen und auf Datenbanken zugreifen. Wir werden die drei Dinge durchgehen, die dies verursachen: zu viel Funktionalität, zu viele Berechtigungen, zu viel Autonomie. Und was tatsächlich eingedämmt wird, wenn das Modell manipuliert wird. Teil 2 Interaktive Demo: der E-Mail-Assistent, der verrücktspielt Rishabh Gupta, Software Engineer bei Big Tech Ein prompt-injizierter E-Mail-Assistent, live. Der gleiche böswillige Befehl gelingt, wird abgelehnt oder wartet auf Genehmigung: abhängig davon, wie seine Funktionalität, Berechtigungen und Autonomie eingestellt sind. Dann ein echter Fall: eine in einem öffentlichen Slack-Kanal platzierte Prompt-Injektion, die Slack AI dazu brachte, Geheimnisse aus privaten Kanälen anzuzeigen. Teil 3 Der Hugging Face Vorfall: ein Agent, der nicht das Zimmer verlassen sollte Damian Halas, Sr. Software Architect bei Nvidia Im Juli 2026 fanden OpenAI-Modelle, die an einem Cyber-Benchmark getestet wurden, einen Fehler im eigenen Sandbox-Paket-Installer, erreichten das offene Internet und drangen in die Produktionssysteme von Hugging Face ein, um Antworten für den Test zu erhalten. Kein Mensch hat das geleitet. Hugging Face verzeichnete unbefugten Zugriff auf interne Datensätze und Dienstanmeldeinformationen. Wir werden durchgehen, wie ein enges Ziel plus Werkzeugzugang plus eine Eindämmungslücke eine Bewertung in einen echten Verstoß verwandelte und was das über das Testen von Modellen sagt, die darin gut werden. Teil 4 Gruppenübung: harmlose Werkzeuge in echten Schaden verwandeln Sie erhalten einen KI-Support-Agenten mit acht Werkzeugen. Jedes dieser Werkzeuge sieht sicher genug aus, um es eigenständig zu genehmigen. Ihre Aufgabe ist es, die Abfolge zu finden, die dennoch Kundendaten leakt: nur unter Verwendung erlaubter Aktionen. Dann kehren wir es um und erarbeiten, wo die Grenze tatsächlich verlaufen muss. Bringen Sie einfach Ihre Laptops mit, keine Einrichtung erforderlich.