ROI ИИ: Почему агент — это не ответ

Большинство ИИ-агентов демонстрируют низкую эффективность в производстве не потому, что модель неверна, а потому, что данные вокруг нее неполные, а результаты не измеряются. Два выступления о двух ограничениях, которые на самом деле ограничивают ROI агентов: что ваш агент может видеть и можно ли понять, работает ли он.ПрограммаROI не в агентеМногие показатели ROI агентов — вымысел. Они исходят из таблицы, которую уже знает каждый инженерный руководитель: часы, сэкономленные на одного разработчика, умноженные на количество сотрудников, умноженные на надежный коэффициент. Проблема в том, что это воспринимает агента как то, за что вы платите, и считает экономию чем-то, что вы получаете один раз и забываете.Это выступление утверждает, что реальный возврат, который действительно имеет значение, находится на одном уровне выше, в окружении агента: контексте, из которого он работает, оценках, проверке, которая определяет, хорош ли его вывод. Экономии от более быстрого инструмента расходуются и не воспроизводятся. Деньги, вложенные в систему, продолжают возвращаться, потому что каждая новая часть делает следующую дешевле, а данные, которые вы получаете по пути, накапливаются.Также рассматривается, почему ничего из этого нельзя зафиксировать, пока вы не можете это измерить, и почему переход от ощущений к метрикам — это то, с чего должна начинаться честная история ROI.Роб Уиллоуби, член технического персонала, исследование ИИ в TesslРоб работает над исследованием оценки в Tessl, проектируя и проводя крупномасштабные оценки того, как работают кодирующие агенты в реальных кодовых базах. Его работа сосредоточена на том, чтобы выяснить, как выглядит «хорошее» в работе ИИ-агента с вашим кодом — от проектирования оценок и рубрикаторов до понимания, где модели (и инфраструктура) выходят из строя в масштабах.Слепые пятна данных: скрытый убийца ROI ИИПочему так много проектов ИИ-агентов не приносит значимого ROI?Обычно отвечают на вопросы о моделях, подсказках и инструментах. Но на практике самое большое ограничение часто бывает гораздо проще: агенты не видят достаточно бизнеса.Большинство организаций предоставляют агентам доступ к нескольким источникам данных и ожидают, что они будут принимать решения, используя фрагментированный, неполный обзор реальности. Каждая пропущенная интеграция, задержка обновления или недоступный набор данных становится слепым пятном. И каждое слепое пятно снижает точность, уверенность, уровень автоматизации и, в конечном итоге, ROI.В этом выступлении я исследую, почему производительность агентов в корне ограничена видимостью данных. Мы рассмотрим, как появляются слепые пятна, почему традиционные подходы к интеграции не справляются с растущим спросом на данные, готовые к использованию агентами, и как современные архитектуры, основанные на событиях, могут сделать бизнес-контекст немедленно доступным для ИИ-систем.Мы также рассмотрим взаимосвязь между видимостью и эффективностью: почему больше данных не всегда лучше, как минимизация контекста улучшает производительность агентов и почему самые успешные развертывания агентов часто такие, которые предоставляют самое четкое представление о реальности, а не самые крупные окна контекста.Агенты с низким ROI не глупы. Они слепы.Том Скотт, генеральный директор, StreambasedТом Скотт управляет Streambased, компанией, объединяющей Apache Kafka и Apache Iceberg для ИИ-проектов. У Тома более 20 лет опыта в распределенных системах и инфраструктуре данных в качестве клиента и поставщика в некоторых из самых захватывающих проблем в обработке событий и больших данных.Это мероприятие предоставлено вам в рамках сообщества ИИ-родных разработчиков. Рассмотрите возможность подписки на mailing list, подкаст и присоединения к нашему сообществу в Discord.