Strategie oceniania i obserwowalności AI dla programistów internetowych

Stworzenie agenta AI dla swojej aplikacji to dopiero początek. Trudniejszym wyzwaniem jest wiedza, czy rzeczywiście działa dobrze, gdy zaczyna planować, korzystać z narzędzi, podejmować decyzje i działać na wielu etapach. Ten warsztat pokaże Ci, jak zaprojektować praktyczną strategię oceniania i obserwowalności dla systemów agentowych. Nauczysz się, co mierzyć, jak oceniać agentów podczas rozwoju, jak oceniać trajektorie wieloetapowe oraz jak używać telemetrii produkcyjnej i ocen online do wykrywania awarii i poprawy niezawodności. Celem jest pomoc w przejściu od "agent wydaje się działać" do powtarzalnego podejścia opartego na dowodach do mierzenia jakości agenta. Czego się nauczysz Na koniec warsztatu będziesz w stanie: • Zidentyfikować, co powinno być oceniane w systemie agentowym • Zaprojektować znaczące przypadki testowe i kryteria oceniania • Przeprowadzać oceny offline przed wprowadzeniem zmian w agentach • Ocenić użycie narzędzi, ścieżki rozumowania i wykonania wieloetapowego • Używać śladów i sygnałów produkcyjnych do diagnozowania awarii agentów • Wprowadzić oceny online, aby ciągle monitorować jakość • Zbudować powtarzalną strategię oceniania dla własnych agentów Czego zyskasz Otrzymasz: • Praktyczną ramę do oceniania agentów AI • Wskazówki dotyczące wyboru odpowiednich metryk jakości agenta • Podejścia do oceniania offline podczas rozwoju • Techniki oceny trajektorii agentów i decyzji pośrednich • Jaśniejsze zrozumienie obserwowalności dla agentów produkcyjnych • Strategie łączenia ocen offline i online • Najlepsze praktyki w budowaniu strategii oceniania, która ewoluuje wraz z Twoim agentem • Pełne nagranie warsztatu • Certyfikat ukończenia Co ważniejsze, wyjdziesz z nowym słownictwem i intuicją, aby dokładniej omawiać systemy AI, skuteczniej badać awarie i podejmować lepsze decyzje przy budowie produktów opartych na AI. Kto powinien wziąć udział? Ten warsztat jest idealny dla: • Programistów internetowych i oprogramowania budujących aplikacje agentowe • Inżynierów AI • Inżynierów platform i backendu • Liderów technicznych i architektów • Zespołów przenoszących agentów AI z prototypu do produkcji Jest szczególnie przydatny dla każdego, kto już ma agenta lub agentowy tok pracy i chce uzyskać bardziej systematyczny sposób mierzenia, debugowania i jego poprawy. Poznaj swojego instruktora Supreet Kaur Starszy architekt rozwiązań Gen AI | AWS Supreet jest starszym architektem rozwiązań GenAI w AWS, pomagając startupom przekształcać pomysły AI z dowodu koncepcji w produkcję. Jej kariera obejmuje data science, usługi finansowe i architekturę AI w chmurze, z rolami w ZS Associates, Morgan Stanley, Microsoft i AWS. Jest autorką The AI Optimization Playbook, mówcą na ponad 40 wydarzeniach, publikowanym liderem myśli i współwynalazcą opatentowanej strategii testowania personalizacji z wykorzystaniem AI.