Sprawdzenie Wibracji: Co Śledzić Gdy Agent Jest Programem

Kiedy wykonanie agenta idzie nie tak, zazwyczaj nie ma śladu stosu i nie ma sposobu, aby to powtórzyć, uruchamiając to ponownie. Awaria manifestuje się w kształcie wykonania: jakiego narzędzia użył, ile razy próbował, gdzie zapętlił się, co postanowił po trzeciej próbie. To sprawia, że śledzenie staje się mniej udogodnieniem operacyjnym, a bardziej główną powierzchnią debugowania dla systemów agentowych. Trudność polega na tym, aby wiedzieć, co właściwie emitować. Jeśli obejmiesz każdy wywołanie LLM, otrzymasz hałas. Objęcie tylko punktu wejścia nie nauczy cię niczego. Parseable dołącza, aby przeanalizować zarówno dlaczego, jak i jak to zrobić, używając Temporal Workflows jako punktu instrumentacji, ponieważ Workflow jest już pętlą agenta i zna każdy krok, który został wykonany. Omówimy wtyczkę Temporal, która wysyła zdarzenia Workflow i Aktywności jako ślady OpenTelemetry oraz zapisy do zapytania, zdarzenia specjalne emitowane z wnętrza Workflow i zabezpieczone, aby ponowna odtwarzanie ich nie zdublowało, oraz ścieżkę eksportu, która przenosi historię Workflow Temporal Cloud do magazynu obiektów dla analityki i audytu. Parseable jest natywny dla Parquet i magazynów obiektów, więc historia Workflow ląduje tam w formacie, w jakim i tak będzie zapytana. Zajmiemy się tym, do czego przydaje się ślad na żywo, kiedy jest to niewłaściwe narzędzie oraz co zespoły powinny zatrzymywać z wykonań, które już generują.