Проверка Вибрации: Что Отслеживать, Когда Агент Является Программой

Когда выполнение агента идет не так, обычно нет трассировки и нет возможности воспроизвести это, запустив его снова. Ошибка проявляется в форме выполнения: какой инструмент он использовал, сколько раз он пытался, где он зациклился, что он решил после третьей попытки. Это делает трассировку менее привилегией операций и более основным поверхностным инструментом отладки для агентных систем. Трудная часть - знать, что именно следует эмитировать. Если отслеживать все вызовы LLM, вы получите шум. Если отслеживать только точку входа, вы ничего не узнаете. Parseable присоединяется к нам, чтобы разобраться как в причинах, так и в методах, используя Temporal Workflows в качестве точки инструментирования, поскольку Workflow уже является циклом агента и уже знает о каждом этапе выполнения. Мы рассматриваем плагин Temporal, который отправляет события Workflow и Activity как трассы OpenTelemetry и запрашиваемые журналы, настраиваемые события агентов, эмитируемые изнутри Workflow и защищенные так, чтобы повторное выполнение не дублировало их, и путь экспорта, который перемещает историю Workflow Temporal Cloud в объектное хранилище для аналитики и аудита. Parseable совместим с Parquet и объектным хранилищем, поэтому история Workflow попадает туда в формате, в котором она будет запрашиваться. Мы обсудим, для чего полезна живая трассировка, когда это не подходящий инструмент, и что команды должны удерживать от выполнения, которое они уже генерируют.