Przełamywanie modeli bezpieczeństwa sztucznej inteligencji

Description

Spotkanie badawcze w obszarze bezpieczeństwa sztucznej inteligencji w Zatoce San Francisco wraca z ukierunkowaną sesją na temat OWASP LLM01:2026 — Wstrzyknięcie polecenia.To podstawowe ryzyko w OWASP Top 10 dla aplikacji LLM, a rewizja z 2026 roku odzwierciedla rok, w którym wstrzyknięcie polecenia przeszło od teoretycznych zagrożeń do operacyjnych: wyciek dokumentów bez kliknięć przeciwko Microsoft 365 Copilot (EchoLeak, CVE-2025-32711), zniszczycielskie działania napędzane przez agenta w Amazon Q (AWS-2025-015 AWS-2025-019), zrzuty baz danych pośredniczone przez MCP przeciwko Supabase, pośrednie wstrzyknięcia przez problemy na GitHubie przeciwko połączonym z MCP asystentom kodowania oraz tylne drzwi w łańcuchu dostaw w pakietach takich jak postmark-mcp.Przejdziemy przez model zagrożeń związanych z tymi incydentami — wstrzyknięcia bezpośrednie vs. pośrednie, ataki zaufanych powierzchni za pomocą MCP, trucie pamięci i korpusów RAG, wielomodalne i niewidoczne ładunki Unicode, klasa „fun-tuning” przeciwko modelom produkcyjnym o zamkniętych parametrach — oraz jakie obrony rzeczywiście wytrzymują adaptacyjne ataki. Na przygotowanie, możesz przeczytać: https://github.com/GenAI-Security-Project/GenAI-LLM-Top10/blob/main/2026LLM01_PromptInjection.md przed wydarzeniem, aby uzyskać z niego więcej wartości.Ten sam format małych grup jak ostatnim razem. Przynieś artykuł, nad którym pracujesz, spostrzeżenie, które masz, łańcuch exploitu, nad którym pracujesz, lub obronę, którą chcesz przetestować przed ludźmi, którzy będą stawiali opór.Wpis OWASP LLM01:2026 będzie naszą centralną referencją, ale agenda zależy od tego, na co pokój chce zwrócić uwagę. Aby wziąć udział lub zaprezentować artykuł/projekt/cokolwiek związanego z bezpieczeństwem AI, skontaktuj się za pośrednictwem e-maila na [[[email protected]](mailto:[email protected])](mailto:[email protected]).