Praktyczne Inżynieria Produktu z Claude Code

Podczas tej sesji zbudujesz narzędzie oceniające, które definiuje poprawność zanim napiszesz linię kodu agenta, przekształcisz agenta z jedną kontekstem w orkiestratora z wyspecjalizowanymi subagentami i modelami warstwowymi oraz zmierzysz różnicę w kosztach i jakości między tymi dwoma. Opuszczasz sesję z umiejętnością udowodnienia, że Twój agent reasoning jest solidny, zamiast stawiać na zgadywanie, a także wskaźnikiem danych, które uzasadniają wdrożenie. Miejsce na warsztatach to jednorazowa inwestycja. Źle skonstruowany agent może spalić 10x wartość tego miejsca w zbędnym użyciu tokenów na dużą skalę. Mike Hyzy jest certyfikowanym architektem Claude, który buduje systemy agentowe dla czołowych globalnych firm, uczy strategii AI w programie MSAI Northwestern, prowadzi warsztaty innowacyjne prezentowane na SXSW oraz pisze dla Packt. Czego się nauczysz: Podczas warsztatów nauczysz się, jak: • Zdefiniować, co oznacza poprawność zanim zaczniesz budować, korzystając z zestawów danych złotych, deterministycznych kontroli, wyskalibrowanego sędziego LLM i oceny trajektorii. • Ocenić zachowanie agenta, a także końcowe odpowiedzi, aby móc odróżnić solidne rozumowanie od odpowiedzi, która przypadkiem jest poprawna. • Zbudować i zdiagnozować agenta Claude z jedną kontekstem, korzystając ze strukturalnych wyników i dzienników trajektorii, aby zidentyfikować miejsca, w których niezawodność się łamie. • Zaprojektować architekturę orkiestratora i subagenta, z wyspecjalizowanymi rolami, izolowanymi oknami kontekstu, ograniczonymi powierzchniami narzędziowymi i warstwowaniem modeli. • Zmierzyć kompromis między jakością a kosztem i wykorzystać dowody z narzędzia oceniającego do podjęcia decyzji, które zmiany architektoniczne naprawdę poprawiają system. • Zastosować kontrole produkcyjne, w tym zasady dotyczące uprawnień, czytelne ścieżki audytu, telemetrię, limity wydatków oraz testy przeciwników. • Podjąć decyzję o wdrożeniu opartą na dowodach, wykorzystując zmierzoną dokładność, jakość rozumienia, tryby awarii, kontrole, koszty i pozostałe ryzyko. Kto powinien wziąć udział w tych warsztatach: To zaawansowana, praktyczna klasa mistrzowska dla praktyków, którzy już zbudowali lub wdrożyli rozwiązania z Claude i teraz stają przed trudniejszymi pytaniami produkcyjnymi: Jak wiesz, że agent jest poprawny? Co mu wolno robić? Jakie dowody pozwoliłyby komuś to zatwierdzić? Jest najlepiej dopasowana dla: • menedżerów produktów, inżynierów produktów odpowiedzialnych za agentowe produkty AI lub procesy, które muszą wyjść poza prototyp. • inżynierów oprogramowania i AI budujących systemy wieloetapowe, korzystające z narzędzi lub systemy wieloagentowe z Claude. • inżynierów platform AI standaryzujących wzorce agentowe, metody oceny i kontrole w organizacji. • liderów inżynierii, którzy przeglądają lub zatwierdzają autonomiczne systemy i potrzebują jasnych, defensywnych kryteriów. • założycieli i zespołów produktowych, których produkt polega na niezawodności agenta i którzy potrzebują więcej niż tylko dopracowanej demonstracji, aby uzasadnić wdrożenie. Te warsztaty nie są odpowiednie dla początkujących. Nie jest to wprowadzenie do podpowiadania ani podstawowego tworzenia agentów. Uczestnicy powinni być już komfortowo używać LLM-ów poza standardowym interfejsem czatu i śledzić kod Pythona. Zbuduj Agenta. Potem Go Udowodnij. Budowanie agenta nie jest już trudną częścią. Trudniejszym problemem jest udowodnienie, że płynna, pewna odpowiedź jest rzeczywiście wsparta solidnym procesem. Konwencjonalne testy oprogramowania nie wystarczą dla agentów analitycznych: wiele wyników może być ważnych, a odpowiedź wyglądająca poprawnie może być nadal produkowana w wyniku wymyślonego rozumowania. To zostawia budowniczych bez dowodów, zatwierdzających bez kryteriów i obiecujących agentów utknionych w prototypie. Ta klasa mistrzowska odwraca zwykłą sekwencję rozwoju. Najpierw budujesz aparat pomiarowy. Każda decyzja architektoniczna, która następuje, jest testowana przeciwko stałemu, widocznemu standardowi. Praktyczny system: agent oceny ryzyka dostawcy trzeciego. Agent przetwarza pakiet zabezpieczeń i umów dostawcy - w tym raport SOC 2, umowę przetwarzania danych, umowę głównych usług oraz wypełniony kwestionariusz dotyczący bezpieczeństwa - i ocenia go w odniesieniu do standardu kontroli organizacji. Zwraca uporządkowaną notatkę ryzyka z ustaleniami, powagą, naruszonymi kontrolami, dowodami i rekomendacjami. Ćwiczenie jest zaprojektowane tak, aby niektóre ustalenia mogły być odkryte tylko poprzez łączenie dowodów z różnych dokumentów. To sprawia, że poprawne odpowiedzi są odróżnialne od szczęśliwych odpowiedzi i daje narzędziu oceniającemu coś sensownego do zmierzenia. Ten sam wzór orkiestracji, oceny i kontroli przenosi się na inne analityczne obciążenia wielodokumentowe, takie jak przegląd umów, inteligencja konkurencyjna, monitorowanie regulacyjne i ocena roszczeń. Czym odejdziesz: Odejdzieš z praktycznymi zasobami, które możesz dostosować do własnych projektów agentowych AI: • Działającym repozytorium, które możesz skierować do własnych zestawów dokumentów po warsztatach. • Metody do ponownego użycia do definiowania poprawności przed rozpoczęciem prac rozwojowych. • Wykonaną więzią oceniającą, łączącą ręcznie pisaną złotą wersję, deterministyczne kontrole, sędziego LLM oraz ocenę ścieżki rozumowania. • Architekturą orkiestratora i subagenta z izolowanymi kontekstami i ograniczonym dostępem do narzędzi. • Praktyczną warstwą kontroli produkcyjnej obejmującą uprawnienia, audytowalność, limity kosztów i obsługę awarii. • Powtarzalnym podejściem do testów przeciwników, sprawdzającym, czy dokumenty lub dane wejściowe mogą manipulować agentem poza jego zamierzonymi granicami. • Jednostronicową oceną wdrożenia, zawierającą Twoje własne zmierzone wskaźniki dla dokładności, solidności rozumowania, trybów awarii, kontroli, kosztów i pozostałego ryzyka.