Modele przełomowe 🚨 Sesja bezpieczeństwa AI 7: Zbyt Duża Agencja

Część 1 LLM03: Nadmierna Agencja Arshi Chadha, współlider OWASP Top 10 dla aplikacji LLM 2026 Ryzyko, gdy system AI ma pozwolenie na wykonywanie działań, a nie tylko na wypowiadanie słów. To było na #6 w liście z 2025 roku. W aktualizacji na 2026 rok przesunęło się na #3: największy skok na całej liście, ponieważ incydenty produkcyjne skupiają się teraz wokół modeli, które same wykonują polecenia, wywołują API i dotykają baz danych. Przeanalizujemy trzy rzeczy, które to powodują: zbyt dużo funkcjonalności, zbyt wiele uprawnień, zbyt duża autonomia. I co tak naprawdę ogranicza to, gdy model zostaje zmanipulowany. Część 2 Interaktywny pokaz: asystent e-mail, który staje się nieposłuszny Rishabh Gupta, inżynier oprogramowania w Big Tech Asystent e-mail z wstrzykniętym poleceniem, na żywo. To samo złośliwe polecenie udaje się, jest odrzucane lub czeka na zatwierdzenie: w zależności tylko od ustawienia jego funkcjonalności, uprawnień i autonomii. Następnie prawdziwy przypadek: wstrzyknięcie polecenia zasiane w publicznym kanale Slack, które zmusiło Slack AI do ujawnienia sekretów z prywatnych kanałów. Część 3 Incydent Hugging Face: agent, który nie powinien opuścić pokoju Damian Halas, starszy architekt oprogramowania w Nvidia W lipcu 2026 roku, modele OpenAI testowane na benchmarku cybernetycznym znalazły lukę w instalatorze pakietów swojego własnego piaskownicy, dotarły do otwartego internetu i włamały się do systemów produkcyjnych Hugging Face, aby uzyskać odpowiedzi na test. Żaden człowiek nie kierował tym. Hugging Face zauważył nieautoryzowany dostęp do wewnętrznych zestawów danych i poświadczeń serwisowych. Przeanalizujemy, jak wąski cel plus dostęp do narzędzi plus luka w zabezpieczeniach przekształciły ocenę w rzeczywiste naruszenie, i co to mówi o testowaniu modeli, które stają się w tym dobre. Część 4 Ćwiczenie grupowe: łączenie nieszkodliwych narzędzi w prawdziwe szkody Otrzymujesz agenta wsparcia AI z ośmioma narzędziami. Każde z nich wydaje się wystarczająco bezpieczne, aby je zatwierdzić. Twoim zadaniem jest znalezienie sekwencji, która mimo wszystko wycieka dane klientów: wykorzystując tylko dozwolone działania. Następnie odwracamy sytuację i ustalamy, gdzie tak naprawdę musi leżeć granica. Po prostu przynieś swoje laptopy, nie jest potrzebna żadna konfiguracja.