Poza modelem: Agenci, weryfikacja i płaszczyzny kontrolne

Wykład 1: Dogwood: Nowy język dla bezpieczeństwa agentów Ostatnio uruchomiliśmy Dogwood, nowy język zaprojektowany do opisywania, co agenci mogą robić i kiedy mogą to robić. Dogwood jest oprogramowaniem open source i możesz z niego korzystać już dziś. W tym wykładzie omówię, czym jest Dogwood i dlaczego go zbudowaliśmy, przedstawię niektóre podstawy teoretyczne (logika temporalna pierwszego rzędu) oraz opiszę, jak skalowalny cloudowy backend Dogwood kompiluje Dogwood do SQL i wykorzystuje Aurora DSQL do budowy szybkich, skalowalnych, stanowych polityk. Wykład 2: Evals to nowa czerń (box) Ocena agentów kodujących jest trudniejsza, niż się wydaje na pierwszy rzut oka. Wybór modelu i wysiłku rozumowania to tylko początek. Przygotowania kodowe wprowadzają dodatkowe zmienne za pomocą podpowiedzi, narzędzi, łączników, pamięci i stanu między sesjami. Reprodukowanie wyników jest również trudne. Agenci mogą odkrywać wcześniejsze rozwiązania, dziedziczyć stan z wcześniejszych uruchomień, korzystać z ponownego użycia pamięci KV-cache lub polegać na narzędziach, których wyniki zmieniają się w czasie. Przygotowania i modele ewoluują niezależnie, więc techniki, które poprawiają jedną kombinację, mogą nie mieć dużej wartości dla innej. Ten wykład przygląda się ocenie agentów jako problemowi systemowemu. Omówimy praktyczne wyzwania związane z izolacją, reprodukowalnością, pomiarem i porównywaniem, a także lekcje z budowy systemu oceny dla rzeczywistych przepływów kodowania. Dziękujemy Antithesis za umożliwienie tego wydarzenia. O prelegentach Marc Brooker jest wiceprezydentem i wyróżniającym inżynierem w AWS. Podczas swoich 16 lat w AWS, Marc pracował nad EC2, EBS, Lambda, a ostatnio prowadził zespół, który uruchomił Aurora DSQL. Obecnie koncentruje się na infrastrukturze dla agentnej AI oraz dostępności i bezpieczeństwa naszych systemów na dużą skalę. Przed pracą w AWS, Marc ukończył doktorat na Uniwersytecie w Cape Town. Khawaja Shams jest dyrektorem generalnym i współzałożycielem Momento. Wcześniej kierował DynamoDB w AWS i był naukowcem w laboratorium NASA Jet Propulsion Laboratory. Otrzymał Medal za Wczesną Karierę NASA za swoją pracę nad robotami marsjańskimi. Uzależniony od infrastruktury danych w czasie rzeczywistym i ekosystemu Valkey, uwielbia rygorystyczną charakteryzację systemów o wysokiej wydajności i modeli AI. Daniela Miao jest dyrektorem technicznym i współzałożycielką Momento. Wcześniej prowadziła metryki w Lightstep, które zostało przejęte przez ServiceNow. Uwielbia obserwowalność i instrumentację jako narzędzia do poprawy wydajności. Jest uzależniona od dążenia do opóźnień 100 µs dla dużych ładunków w sieci EC2.