Co śledzić, gdy agent to program

Kiedy uruchomienie agenta kończy się niepowodzeniem, zazwyczaj nie ma śladu stosu i nie ma możliwości jego powtórzenia. Awaria występuje w postaci uruchomienia: który tool został użyty, ile razy został powtórzony, gdzie nastąpiło powtórzenie, co postanowiono po trzecim podejściu. To sprawia, że śledzenie staje się mniej uprzywilejowanym aspektem zarządzania a bardziej podstawową powierzchnią do debugowania systemów agentowych. Trudność polega na tym, co tak naprawdę należy emitować. Jeśli śledzisz każde wywołanie LLM, otrzymujesz hałas. Śledzenie tylko punktu wejścia nie daje żadnych informacji. Parseable dołącza do nas, aby przejść przez powody i metody, używając Temporal Workflows jako punktu pomiarowego, ponieważ Workflow jest już pętlą agenta i zna już każdy krok, który został uruchomiony. Omówimy wtyczkę Temporal, która dostarcza zdarzenia Workflow i Activity jako ślady OpenTelemetry i logi z możliwością zapytania, niestandardowe zdarzenia agenta emitowane wewnątrz Workflow, zabezpieczone w taki sposób, aby odtworzenie ich nie powodowało duplikacji, oraz ścieżkę eksportu, która przenosi historię Workflow z Temporal Cloud do magazynu obiektowego na potrzeby analizy i audytu. Parseable jest natywny dla Parquet i magazynu obiektów, więc historia Workflow trafia tam w formacie, w którym będzie zapytana. Zajmiemy się tym, do czego przydaje się ślad na żywo, kiedy jest to niewłaściwe narzędzie oraz co zespoły powinny zachować z uruchomień, które już generują.