Zabezpieczanie AI z surowymi granicami

Gdy twoje agenty mogą dotrzeć do rzeczywistych systemów i działać na danych na żywo, pytanie przestaje brzmieć "czy to może to zrobić?" i zaczyna brzmieć "czy powinno, a kto ponosi odpowiedzialność, jeśli się nie zatrzyma?" Ta sesja zagłębia się w konsekwencje niewłaściwego wdrożenia odpowiednich granic i zabezpieczeń dla agentów AI. Zaczynamy od sprawy Moffatt v. Air Canada — chatbota, który wymyślił politykę taryfy żałobnej, która nie istniała — jako wiodącego przykładu. Stąd badamy pełny krajobraz ryzyka agentów: halucynowana polityka, wyciek PII, złośliwe wstrzykiwanie komend, próby łamania zabezpieczeń oraz bardziej prozaiczny, ale wciąż szkodliwy problem agenta, który zbacza w off-topic, kompromitujący temat. Przechodzimy do konkretów na temat mechanizmów zabezpieczających, które faktycznie utrzymują te granice: tematyczne bariery, które rysują wyraźną linię wokół konkretnych tematów, etyczne moderacje nałożone na domyślne ustawienia dostawcy modelu, wykrywanie łamania zabezpieczeń, redakcja PII z obsługą niestandardowych podmiotów oraz zakotwiczenie — zmuszanie agenta do odpowiedzi tylko na podstawie kontekstu, który otrzymał. Czego się nauczysz: