Testowanie agentów AI przed ich wydaniem

Ograniczenia trzymają, gdy coś idzie nie tak — ale nie mówią ci, czy coś pójdzie źle, zanim twoi użytkownicy się o tym dowiedzą. Do tego służy testowanie prowokacyjne. Oto wzór, który zespół Ejento często obserwuje: agent przechodzi każdą ocenę, odpowiada dokładnie, pozostaje w granicach — a mimo to zostaje namówiony przez użytkownika, który wie, jak go zmanipulować, do złamania własnych zasad. Ocena pyta "czy ten agent daje dobre odpowiedzi." Testowanie prowokacyjne pyta "czy mogę go sprawić, by się źle zachował." Czego się nauczysz: