Agenty trybów Kodeksu Budowlanego

Większość agentów używa narzędzi, emitując jedno wywołanie strukturalne narzędzia na raz. Model wybiera narzędzie, czeka na wynik, wybiera następne, a każdy wynik pośredni przepływa przez jego kontekst. W miarę jak liczba narzędzi i kroków rośnie, staje się to kosztowne, wolne i delikatne. Tryb kodu to zmienia. Zamiast wywoływać narzędzia jedno po drugim, agent pisze kod, który wywołuje je jako funkcje, uruchamia ten kod w piaskownicy i zwraca tylko to, co istotne, z powrotem do modelu. Dlaczego to dobrze działa w praktyce: modele są trenowane na znacznie większej liczbie kodu niż ślady wywołań narzędzi, więc bardziej niezawodnie komponują operacje w języku, który już znają. Pętle, rozgałęzianie, filtrowanie i przekształcenia danych odbywają się w piaskownicy zamiast jako oddzielne podróże. Duże wyniki pośrednie pozostają poza oknem kontekstu, a definicje narzędzi ładują się na żądanie, a nie wszystkie na początku. Rezultatem jest agent, który wykonuje więcej na krok i zużywa mniej tokenów, aby to zrobić. Oczywistym zmartwieniem jest pozwolenie modelowi na pisanie i uruchamianie kodu. Radzimy sobie z tym za pomocą piaskownicy orkiestratora Flyte: generowany kod może obsługiwać czysty przepływ sterowania, jak pętle, rozgałęzianie i łączenie wywołań narzędzi, ale nie ma dostępu do systemu plików, sieci ani systemu operacyjnego. Rzeczywiste wywołania narzędzi lub MCP są dystrybuowane do izolowanych zadań kontenerowych. Otrzymujesz elastyczność pozwalając modelowi pisać kod bez oddawania mu kluczy do maszyny. W tym praktycznym warsztacie zbudujemy agenta w trybie kodu, który pisze i wykonuje kod do wywoływania narzędzi, a następnie wdrożymy go za pomocą prostego interfejsu użytkownika. Cała linia przetwarzania działa na Flyte 2/Union, więc uruchomienia są trwałe i powtarzalne, kroki są buforowane, a ten sam kod skalowalny od laptopa do wielo-węzłowego klastra bez przepisania. Na koniec będziesz miał działającego agenta w trybie kodu oraz wielokrotnego użytku wzorzec, który możesz skierować do swoich własnych narzędzi. Czego będziemy uczyć * Dlaczego bezpośrednie wywoływanie narzędzi zawodzą w skali i co zmienia tryb kodu * Bezpieczne uruchamianie kodu generowanego przez model w orkiestratorze Flyte w piaskownicy, z dużą pracą dystrybuowaną do izolowanych zadań * Orkiestracja z Flyte 2: buforowane kroki, trwałe uruchomienia i wykonanie, które skaluje się * Wdrażanie agenta z interfejsem użytkownika, z możliwością produkcji Co zabierzesz ze sobą * Działającego agenta w trybie kodu, który pisze i uruchamia kod do użycia narzędzi * Wzorzec wielokrotnego użytku, który możesz dostosować do swoich własnych narzędzi i serwerów MCP * Jasne zrozumienie, kiedy tryb kodu przewyższa bezpośrednie wywoływanie narzędzi, a kiedy nie Dla kogo jest to przeznaczone Inżynierowie ML i oprogramowania budujący agentów, którzy chcą bardziej wydajnej i bardziej zdolnej alternatywy dla łączenia wywołań narzędzi. Niezależnie od tego, czy prototypujesz w pracy, oceniasz infrastrukturę agentów, czy budujesz projekt portfelowy, odejdziesz z kodem, który możesz ciągle rozwijać. Prowadzone przez Sage Elliott, inżyniera AI w Union.ai