Что отслеживать, когда агент является программой

Когда выполнение агента идет не так, обычно нет трассировки стека и нет способа воспроизвести это, запустив его повторно. Ошибка существует в форме выполнения: какой инструмент он использовал, сколько раз он пытался снова, где он зациклился, что он решил после третьей попытки. Это делает трассировку менее удобным инструментом для операций и более важной поверхностью для отладки агентов. Сложная часть заключается в том, что на самом деле нужно выдавать. Если отслеживать каждый вызов LLM, вы получите шум. Если отслеживать только точку входа, вы ничему не научитесь. Parseable присоединяется к нам, чтобы разобраться как в причинах, так и в методах, используя Temporal Workflows в качестве точки инструментирования, поскольку Workflow уже является циклом агента и уже знает о каждом этапе, который выполнялся. Мы рассмотрим плагин Temporal, который отправляет события Workflow и Activity в виде трассировок OpenTelemetry и запрашиваемых журналов, пользовательские события агента, генерируемые внутри Workflow и защищенные от дублирования при воспроизведении, и путь экспорта, который переносит историю Workflow Temporal Cloud в объектное хранилище для аналитики и аудита. Parseable является родным для Parquet и объектного хранилища, так что история Workflow оказывается там в формате, в котором она будет запрашиваться. Мы обсуждаем, для чего хорошая живая трассировка, когда это не подходящий инструмент и что команды должны сохранять из выполнений, которые они уже генерируют.