Czy agenci mogą naprawdę się samodoskonalić?

Przegląd Praktyczny wieczór budowania agenta, który udowodniono, że staje się lepszy: symuluj skrajne przypadki, oceniaj w stosunku do ewaluacji i kontroluj każde wydanie, aby następna wersja trafiła na rynek tylko wtedy, gdy przewyższa ostatnią. Wyjdziesz z pętlą, zbudowaną na narzędziach open-source, działającą na laptopie. Szczegóły wydarzenia "Agenci samodoskonalący się" wykonują wiele pracy w materiałach promocyjnych obecnie. Część z tego jest prawdziwa, wiele z tego nie, a ten wieczór rozdziela to, budując prawdziwą wersję przed tobą. Razem zbudujemy prawdziwą wersję na żywo, aby pokazać różnicę. Zanim cokolwiek trafi do produkcji, symulujemy syntetycznych użytkowników i scenariusze adversarialne, aby ujawnić, gdzie agent zawodzi, oceniamy te uruchomienia w stosunku do ewaluacji i zwracamy niepowodzenia z powrotem. Ewaluacja staje się bramą: nic nie jest publikowane, chyba że liczby zmieniają się w odpowiedni sposób. Następnie kontynuujemy uruchamianie, kierując ruch produkcyjny z powrotem przez te same ewaluacje, aby regresje pojawiały się jako spadki wyników zamiast zgłoszeń wsparcia. Pełne rekurencyjne samodoskonalenie nadal jest otwartym problemem badawczym i nie będziemy udawać inaczej, ale ograniczona wersja jest dzisiaj do zbudowania na OpenTelemetry i open-source'owych frameworkach, które możesz forknąć i samodzielnie hostować. Prowadzący warsztaty Nikhil, założyciel i CEO Future AGI, prowadzi budowę na żywo, od początku do końca. Spędza dni na dokładnym problemie, o którym mowa w tym wieczorze: sprawienie, aby agenci byli wystarczająco niezawodni, aby można było na nich polegać w produkcji, i na tyle mierzalni, aby wiedzieć, że rzeczywiście się poprawiają. Przynieś laptopa, aby: Agenda 17:30 — Przekąski i powitania 18:15 — Samodoskonaląca się pamięć dla agentów: Od grafów wiedzy do lepszych decyzji przez Dave'a z Cognee 18:45 — Warsztaty: pętla samodoskonalenia, która naprawdę działa 19:30 — Otwarta debata i pytania i odpowiedzi: hype kontra to, co działa 20:00 — Networking 20:30 — Do zobaczenia na następnej iteracji Dla inżynierów i budowniczych produktów AI, którzy uruchamiają agentów w produkcji i chcą wersji, która udowodniono, że się poprawia, zbudowanej na otwartych narzędziach, które mogą zachować. O Pebblebed Pebblebed to techniczny fundusz VC we wczesnym etapie, założony przez Pam Vagata (współzałożyciel OpenAI, prowadził AI dla Stripe, wynalazca FBLearner Flow); Keith Adams (założył Facebook AI Research, był głównym architektem w Slack, 20. inżynier w VMWare) i Tammie Siew (były inwestor Sequoia Southeast Asia, były współzałożyciel wspierany przez Sequoia i Notable Capital) O Future AGI Future AGI to platforma symulacji, ewaluacji i obserwowalności AI typu open-source. Zespoły używają jej do symulacji agentów przed ich wydaniem, oceny ich w stosunku do rzeczywistych trybów awarii i monitorowania ich w produkcji, aby jakość nie ulegała cichemu pogorszeniu z upływem czasu. Można ją hostować samodzielnie i jest natywna dla OpenTelemetry, z śledzeniem, które wbudowuje się w 35+ frameworków. Pętla, którą zbudujesz dzisiaj wieczorem, działa na tych samych otwartych narzędziach, które możesz forkować i zabrać do domu, bez konieczności zakupu konta. O Cognee AI Cognee buduje platformę pamięci OSS dla agentów. Przekształca dane relacyjne, dokumenty i kontekst systemowy w pamięć agenta, którą twoje agenty mogą przypominać sobie w różnych sesjach.