AI Native Dev Лондон: ROI ИИ, почему агент не является решением

AI ROI: Почему агент не является ответом Большинство AI-агентов показывает низкие результаты в производственной среде не потому, что модель неправильная, а потому, что данные вокруг нее неполные, а результаты не измеряются. Два доклада о двух ограничениях, которые на самом деле ограничивают ROI агентов: что ваш агент может видеть и можете ли вы сказать, работает ли он. Программа ROI не в агенте Многие цифры ROI агентов фикция. Они выходят из таблицы, которую уже знает каждый руководитель инженерного отдела: часы, сэкономленные на разработчике, умноженные на количество сотрудников, умноженные на надежный коэффициент. Проблема в том, что это рассматривает агента как товар, который вы покупаете, и рассматривает экономию как нечто, что вы раз раз накопили и забыли. Этот доклад утверждает, что возврат, который действительно длится, находится на одном уровне выше, в окружении агента: контексте, из которого он работает, оценках, проверке, которая решает, хорош ли его вывод. Экономия от более быстрого инструмента тратится и не повторяется. Деньги, вложенные в систему, продолжают отдавать, потому что каждая отдельная часть, которую вы создаете, делает следующую дешевле и данные, которые вы получаете по ходу дела, накапливаются. Также рассматривается, почему ни один из этих факторов не могут быть оценены до тех пор, пока вы не можете измерить это, и почему переход от ощущений к метрикам — это место, где должна начинаться честная история ROI. Роб Уиллоуби, член технического персонала, AI Research в Tessl Роб работает над исследованием оценок в Tessl, проектируя и проводя крупномасштабные оценки того, как агент для кодирования себя ведет в реальных кодовых базах. Его работа сосредоточена на том, чтобы выяснить, как выглядит «хорошее», когда AI-агент работает с вашим кодом — от проектирования оценок и рубрик до понимания, где модели (и инфраструктура) выходят из строя в масштабе. Слепые зоны данных: скрытый убийца AI ROI Почему так много проектов с AI-агентами не могут обеспечить значимый ROI? Обычные ответы сосредоточены на моделях, подсказках и инструментах. Но на практике самое большое ограничение часто намного проще: агенты не могут видеть достаточно бизнеса. Большинство организаций предоставляет агентам доступ к нескольким источникам данных и ожидает, что они будут принимать решения, используя фрагментированный, неполный взгляд на реальность. Каждая недостающая интеграция, задержка обновления или недоступный набор данных становится слепой зоной. И каждая слепая зона снижает точность, уверенность, уровень автоматизации и в конечном итоге ROI. В этом докладе я исследую, почему производительность агентов в основном ограничена видимостью данных. Мы посмотрим, как возникают слепые зоны, почему традиционные подходы к интеграции не успевают за растущим спросом на данные, готовые для агентов, и как современные архитектуры, основанные на событиях, могут сделать бизнес-контекст немедленно доступным для AI-систем. Мы также рассмотрим взаимосвязь между видимостью и эффективностью: почему больше данных не всегда лучше, как минимизация контекста улучшает производительность агентов и почему самые успешные развертывания агентов часто те, которые предоставляют наиболее четкий взгляд на реальность, а не самые большие окна контекста. Агенты с низким ROI не тупы. Они слепы. Том Скотт, генеральный директор Streambased Том Скотт управляет Streambased, компанией, объединяющей Apache Kafka и Apache Iceberg для AI-проектов. У Тома более 20 лет опыта в распределенных системах и инфраструктуре данных, он работал как клиентом, так и поставщиком, решая некоторые из самых захватывающих проблем в стриминге событий и больших данных. Это событие предоставляется вам как часть сообщества AI Native Dev. Рассмотрите возможность подписки на рассылку, подкаст и присоединения к нашему сообществу в Discord.