Strategie oceny i obserwowalności AI dla programistów

Zbudowanie agenta AI dla Twojej aplikacji to dopiero początek. Trudniejszym wyzwaniem jest określenie, czy działa on rzeczywiście dobrze, gdy zaczyna planować, używać narzędzi, podejmować decyzje i działać w wielu krokach.Ten warsztat pokaże Ci, jak zaprojektować praktyczną strategię oceny i obserwowalności dla systemów agentowych. Nauczysz się, co mierzyć, jak oceniać agentów podczas rozwoju, jak oceniać trajektorie wielokrokowe oraz jak wykorzystać telemetrię produkcyjną i oceny online do wykrywania awarii i poprawy niezawodności.Naszym celem jest pomóc Ci przejść z „agent wydaje się działać” do powtarzalnego, opartego na dowodach podejścia do pomiaru jakości agenta.UWAGA: Jeśli nie możesz zakupić biletu bezpośrednio przez Eventbrite, możesz to zrobić za pośrednictwem Luma. Oto link: Strategie oceny i obserwowalności AI dla programistów internetowych · LumaCzego się nauczyszPod koniec warsztatu będziesz w stanie:• Zidentyfikować, co należy ocenić w systemie agentowym• Zaprojektować znaczące przypadki testowe i kryteria oceny• Przeprowadzić oceny offline przed wprowadzeniem zmian w agencie• Ocenić wykorzystanie narzędzi, ścieżki rozumowania i wykonanie wielokrokowe• Użyć śladów i sygnałów produkcyjnych, aby zdiagnozować awarie agenta• Wprowadzić oceny online, aby na bieżąco monitorować jakość• Zbudować powtarzalną strategię oceny dla własnych agentówCzego się doczekaszOtrzymasz:• Praktyczną ramę do oceny agentów AI• Wskazówki dotyczące wyboru odpowiednich wskaźników jakości agenta• Podejścia do oceny offline w trakcie rozwoju• Techniki oceny trajektorii agentów i decyzji pośrednich• Jaśniejsze zrozumienie obserwowalności dla agentów produkcyjnych• Strategie łączenia oceny offline i online• Najlepsze praktyki dotyczące budowania strategii oceny, która ewoluuje wraz z Twoim agentem• Pełne nagranie warsztatu• Certyfikat ukończeniaCo ważniejsze, wyjdziesz z odpowiednim słownictwem i intuicją, aby dokładniej omawiać systemy AI, skuteczniej badać awarie i podejmować lepsze decyzje podczas tworzenia produktów napędzanych przez AI.Kto powinien wziąć udział?Ten warsztat jest idealny dla:• Programistów internetowych i oprogramowania budujących aplikacje agentowe• Inżynierów AI• Inżynierów platform i backendu• Liderów technicznych i architektów• Zespołów przekształcających agentów AI z prototypu w produkcjęJest szczególnie przydatny dla każdego, kto już ma agenta lub agentowy przebieg pracy i chce uzyskać bardziej systematyczny sposób na pomiar, debugowanie i jego doskonalenie.Poznaj swojego instruktoraSupreet KaurStarszy architekt rozwiązań Gen AI | AWSSupreet jest starszym architektem rozwiązań GenAI w AWS, pomagającym startupom przekształcać pomysły AI z dowodu koncepcji w produkcję. Jej kariera obejmuje naukę o danych, usługi finansowe i architekturę AI w chmurze, z rolami w ZS Associates, Morgan Stanley, Microsoft i AWS. Jest autorką "Podręcznika optymalizacji AI", mówcą na ponad 40 wydarzeniach, opublikowanym liderem myśli oraz współwłaścicielką opatentowanej strategii testowania personalizacji opartej na AI.