Grupa Czytelnicza Cyber X AI

Sesja ta bada niedawny incydent związany z OpenAI, w tym ogólny harmonogram i porównania z podobnymi ujawnieniami od Anthropic i UK AISI.Rozłożymy ten incydent na warstwy: od niedopasowania modelu i oszukańczej zachowań, przez awarie bezpieczeństwa, które pozwoliły modelom wydostać się z ich piaskownicy, po głębsze problemy dotyczące sposobu, w jaki adresowano podstawowy problem z dopasowaniem.Omówimy również sposoby, w jakie odpowiedź OpenAI była chwalebna, pozostawiając jednocześnie wiele kluczowych pytań bez odpowiedzi, oraz to, jak szczęśliwi mogliśmy być, że modele były wystarczająco zdolne, by spowodować poważne szkody, ale jeszcze nie wystarczająco zdolne, by unikać wykrycia lub dążyć do bardziej znaczących celów.Na koniec rozważymy, co ten incydent oznacza dla dyskursu i polityki związanej z bezpieczeństwem AI, w tym tempowanie na granicy, zewnętrzne skutki cybernetyczne, otwarte wagi i coraz bardziej konkretne dowody sugerujące, że wysoce zdolne modele mogą wkrótce umożliwić poważne cyberataki.Dyskusja będzie opierać się na niedawnych analizach Zvi, Astral Codex Ten, Johna Pressmana i prezentacji Black Hat OpenAI.