Czy agenci mogą rzeczywiście się poprawiać?

Praktyczny wieczór budowania agenta, który udowodnioną poprawę: symuluj przypadki krawędziowe, oceniaj według ocen, i blokuj każdą wersję, aby następna wersja została wysłana tylko wtedy, gdy przewyższy poprzednią. Wyjdziesz z pętlą, zbudowaną na narzędziach open-source, działającą na laptopie. Szczegóły wydarzenia "Samopoprawiające się agenty" mają obecnie dużą rolę w prezentacjach. Część z tego jest prawdziwa, a wiele z tego nie jest, a jego wieczór oddziela te dwie rzeczy, budując prawdziwą wersję przed tobą. Razem zbudujemy prawdziwą wersję na żywo, aby pokazać różnicę. Zanim cokolwiek trafi do produkcji, symulujemy syntetycznych użytkowników i scenariusze adwersarialne, aby odkryć, gdzie agent się psuje, oceniamy te występy w ocenach i przekazujemy niepowodzenia z powrotem. Ocena staje się bramą: nic nie jest wydawane, chyba że liczby zmieniają się w odpowiedni sposób. Następnie utrzymujemy to w działaniu, kierując ruch produkcyjny z powrotem przez te same oceny, aby regresje pojawiały się jako spadające wyniki, a nie zgłoszenia wsparcia. Pełna rekurencyjna samopoprawa wciąż jest nierozwiązanym problemem badawczym i nie udawajmy inaczej, ale wersja ograniczona jest do zbudowania już dzisiaj, na OpenTelemetry i frameworkach open-source, które możesz forkować i hostować samodzielnie. Prowadzącym warsztaty będzie Nikhil, założyciel i CEO Future AGI, prowadzi budowę na żywo, od początku do końca. Spędza swoje dni nad dokładnym problemem, o którym mowa w ten wieczór: sprawienie, by agenci byli wystarczająco niezawodni, aby ufać im w produkcji, i wystarczająco mierzalni, aby wiedzieć, że rzeczywiście się poprawiają. Przybring laptop: Zainstrumentuj bazowy agent za pomocą OpenTelemetry i uchwyć jego początkowe wyniki ocen. Symuluj syntetycznych użytkowników i adwersarialne scenariusze, aby celowo go złamać. Oceń przebiegi według ocen, aby niepowodzenia stały się liczbami, a nie anegdotami. Przeanalizuj ślady, aby znaleźć rzeczywistą przyczynę, a nie zgadywać z wyniku. Zastosuj poprawki, a następnie ponownie zasymuluj, aby potwierdzić, że wyniki się zmieniły. Ogranicz wysyłkę: promuj nową wersję tylko wtedy, gdy przewyższa poprzednią. Kieruj ruch produkcyjny z powrotem przez te same oceny, aby utrzymać poprawę. Agenda 17:30 - Przekąski i powitania 18:00 - Gość specjalny (do ogłoszenia) 19:00 - Na żywo budowa: pętla samopoprawy, która naprawdę działa (przybring laptop) 19:30 - Otwana debata i Q&A: szum kontra to, co działa 20:00 - Networking 20:30 - Do zobaczenia w następnej iteracji. Dla inżynierów i budujących produkty AI uruchamiających agentów w produkcji, którzy chcą wersji, która udowadnia poprawę, zbudowanej na otwartych narzędziach, które mogą zachować.