Wat te traceren wanneer de agent het programma is

Wanneer een agent-uitvoering verkeerd gaat, is er meestal geen stacktrace en geen manier om deze opnieuw te reproduceren door het opnieuw uit te voeren. De fout leeft in de vorm van de uitvoering: welke tool deze gebruikte, hoe vaak deze het opnieuw probeerde, waar deze in een lus ging, wat deze besloot na de derde poging. Dat maakt traceren minder een ops-gemak en meer het primaire debugoppervlak voor agent-systemen. Het moeilijke is te weten wat je daadwerkelijk moet uitzenden. Span elke LLM-aanroep en je krijgt ruis. Span alleen het toegangspunt en je leert niets. Parseable komt bij ons om zowel de waarom als de hoe door te nemen, met Temporal Workflows als het instrumentatiepunt, aangezien de Workflow al de agentlus is en al elke stap die is uitgevoerd kent. We behandelen de Temporal-plug-in die Workflow- en Activiteitsevents verzendt als OpenTelemetry-traces en doorzoekbare logs, aangepaste agentevenementen die van binnen de Workflow worden uitgezonden en beveiligd zijn, zodat herhaling ze niet dupliceert, en het exportpad dat de Temporal Cloud Workflow-geschiedenis naar objectopslag verplaatst voor analyses en audits. Parseable is Parquet- en object-opslagnative, dus de Workflow-geschiedenis komt daar terecht in het formaat waarin het toch gaat worden doorzocht. We bespreken waar een live trace goed voor is, wanneer het het verkeerde hulpmiddel is, en wat teams zouden moeten behouden van de uitvoeringen die ze al genereren.