AI Native Dev Лондон: ROI штучного інтелекту, чому агент не є рішенням

AI ROI: Чому агент не є відповіддю Більшість AI-агентів працюють гірше в продуктивності не тому, що модель неправильна, а тому, що дані навколо неї неповні, а результати не вимірюються. Два виступи про два обмеження, які насправді обмежують ROI агентів: що може бачити ваш агент і чи можете ви зрозуміти, чи він працює. Агенда ROI не в агенті Багато цифр ROI агентів - це вигадка. Вони виходять з таблиці, яку вже знає кожен керівник інженерії: години, зекономлені на розробника, помножені на кількість співробітників, помножені на сподіваний коефіцієнт. Проблема в тому, що це розглядає агента як щось, що ви купуєте, а економію - як те, що ви отримуєте один раз і переходите далі. Цей виступ стверджує, що повернення, яке насправді триває, знаходиться на одному рівні вище, в середовищі навколо агента: контекст, з якого він працює, оцінки, верифікація, яка вирішує, чи є його вихід хоч якось прийнятним. Економії від швидшого інструменту витрачаються і не відтворюються. Гроші, вкладені в систему, продовжують повертати, оскільки кожен елемент, який ви створюєте, робить наступний дешевшим, а дані, які ви отримуєте в процесі, накопичуються. Також розглядається, чому нічого з цього не можна зберегти до того, як ви зможете це виміряти, і чому перехід від відчуттів до метрики - це те, з чого починається чесна історія ROI. Роб Віллоубі, член технічного персоналу, AI-дослідження в Tessl Роб займається дослідженнями оцінки в Tessl, розробляючи та проводячи великомасштабні оцінювання того, як кодові агенти поводяться в реальних кодових базах. Його робота сфокусована на тому, щоб зрозуміти, яким є "доброта", коли AI-агент працює з вашим кодом, від дизайну оцінки до систем рубрики та розуміння, де моделі (і інфраструктура) зриваються в масштабі. Сліпі зони даних: Прихований вбивця ROI AI Чому так багато проектів AI-агентів не забезпечують значного ROI? Звичайні відповіді зосереджені на моделях, запитах і інструментах. Але на практиці найбільшим обмеженням зазвичай є набагато простіше: агенти не можуть бачити достатньо бізнесу. Більшість організацій надають агентам доступ до кількох джерел даних і сподіваються, що вони приймуть рішення, використовуючи фрагментований, неповний погляд на реальність. Кожна відсутня інтеграція, затримане оновлення або недоступний набір даних стає сліпою зоною. І кожна сліпа зона зменшує точність, впевненість, рівень автоматизації та, врешті-решт, ROI. У цьому виступі я досліджуватиму, чому продуктивність агентів принципово обмежена видимістю даних. Ми розглянемо, як виникають сліпі зони, чому традиційні підходи до інтеграції не встигають задовольнити зростаючий попит на дані, готові до агентів, і як сучасні архітектури, що базуються на подіях, можуть зробити бізнес-контекст відразу доступним для AI-систем. Ми також розглянемо зв'язок між видимістю та ефективністю: чому більше даних не завжди краще, як мінімізація контексту покращує продуктивність агента, і чому найбільш успішні розгортання агентів часто є тими, що надають найбільш чіткий погляд на реальність, а не найбільші вікна контексту. Агенти з низьким ROI не є дурними. Вони сліпі. Том Скотт, генеральний директор, Streambased Том Скотт керує Streambased, компанією, яка об'єднує Apache Kafka і Apache Iceberg для AI-проектів. У Тома понад 20 років досвіду в розподілених системах і даних, працюючи як замовником, так і постачальником для деяких з найцікавіших проблем у потоковій передачі подій та великих даних. Ця подія проводиться як частина Спільноти AI Native Dev. Розгляньте можливість підписки на інформаційний бюлетень, подкаст і приєднання до нашої спільноти Discord.