Vibe Check: Wat te traceren wanneer de agent het programma is

Wanneer een agent-uitvoering fout gaat, is er meestal geen stacktrace en geen manier om het opnieuw te reproduceren door het opnieuw uit te voeren. De fout leeft in de vorm van de uitvoering: welk gereedschap het heeft gepakt, hoe vaak het het opnieuw heeft geprobeerd, waar het heeft gelopen, wat het besloot na de derde poging. Dat maakt tracering minder een operatie-gemak en meer het primaire debug-oppervlak voor agentische systemen. Het moeilijke deel is weten wat je eigenlijk moet uitzenden. Span elke LLM-aanroep en je krijgt ruis. Span alleen het instappunt en je leert niets. Parseable voegt zich bij ons om zowel de waarom als de hoe door te werken, met behulp van Temporal Workflows als het instrumentatiepunt, aangezien de Workflow al de agent-lus is en al elke stap kent die uitgevoerd is. We behandelen de Temporal-plugin die Workflow- en Activiteitsevents als OpenTelemetry-traces en doorzoekbare logs verzendt, aangepaste agentevenementen die van binnen de Workflow worden uitgezonden en beschermd zijn zodat herhaling ze niet dupliceert, en de exportroute die de Temporal Cloud Workflow-geschiedenis naar objectopslag verplaatst voor analyses en audit. Parseable is Parquet en object-opslag native, dus Workflow-geschiedenis komt daar aan in het formaat waarin het toch gaat worden doorzocht. We bespreken waar een live trace goed voor is, wanneer het het verkeerde hulpmiddel is, en wat teams zouden moeten behouden van de uitvoeringen die ze al genereren.