ROI від ШІ: Чому агент не є відповіддю

Більшість агентів ШІ працюють неефективно на виробництві не через неправильність моделі, а через те, що дані навколо неї є неповними, а результати не вимірюються. Дві доповіді про два обмеження, які насправді обмежують ROI агента: що ваш агент може бачити і чи можете ви оцінити, чи працює він. Агенда ROI не в агенті Багато чисел ROI агентів є вигадкою. Вони виходять з електронної таблиці, яку вже знає кожен технічний керівник: години, заощаджені на одного розробника, помножені на кількість працівників, помножені на надійний фактор. Проблема в тому, що це сприймає агента як річ, яку ви купуєте, і заощадження як те, що ви отримуєте один раз і переходите до наступного. Ця доповідь стверджує, що повернення, яке насправді тримається, знаходиться на один рівень вище, в оточенні агента: контекст, з якого він працює, оцінки, перевірка, яка визначає, чи є його вихід хорошим. Заощадження від швидкого інструменту витрачаються і не повторюються. Гроші, вкладені в оболонку, постійно повертаються назад, оскільки кожен створений вами елемент робить наступний дешевшим, а дані, які ви отримуєте в процесі, накопичуються. Це також розгляне, чому нічого з цього не може бути виявленим, поки ви не зможете це виміряти, і чому перехід від вражень до метрик є тим, де чесна історія ROI повинна починатися. Роб Віллоубі, член технічного складу, дослідження ШІ в Tessl Роб працює над дослідженням оцінки в Tessl, проектуючи та проводячи великомасштабні оцінки того, як агенти коду ведуть себе в реальних кодових базах. Його робота зосереджена на визначенні того, як виглядає "добре", коли агент ШІ працює з вашим кодом - від проектування оцінювання та систем рубрик до розуміння того, де моделі (та інфраструктура) виходять з ладу в масштабах. Сліпі плями даних: Прихований вбивця ROI ШІ Чому так багато проектів агентів ШІ не можуть забезпечити значний ROI? Звичайні відповіді зосереджені на моделях, запитах та інструментах. Але на практиці, найбільше обмеження часто є набагато простішим: агенти не можуть бачити достатньо бізнесу. Більшість організацій надають агентам доступ до кількох джерел даних і очікують, що вони приймуть рішення, використовуючи фрагментований, неповний вигляд реальності. Кожна відсутня інтеграція, затримка оновлення або недоступний набір даних стає сліпою плямою. І кожна сліпа пляма зменшує точність, впевненість, рівень автоматизації і, зрештою, ROI. У цьому виступі я розгляну, чому продуктивність агента в основному обмежена видимістю даних. Ми подивимося, як виникають сліпі плями, чому традиційні методи інтеграції не встигають задовольнити зростаючий попит на дані, готові до використання агентами, і як сучасні архітектури на основі подій можуть зробити бізнес-контекст негайно доступним для систем ШІ. Ми також розглянемо відносини між видимістю та ефективністю: чому більше даних не завжди краще, як мінімізація контексту покращує продуктивність агента, і чому найуспішніші впровадження агентів часто є тими, які надають найясніший вигляд реальності, а не найбільші контекстні вікна. Агенти з низьким ROI не дурні. Вони сліпі. Том Скотт, генеральний директор Streambased Том Скотт керує Streambased, компанією, яка об'єднує Apache Kafka та Apache Iceberg для проектів ШІ. Том має більше 20 років досвіду в розподілених системах і інфраструктурі даних, працюючи як клієнт і постачальник для деяких з найбільш захоплюючих проблем у потоковій обробці подій та великих даних. Цю подію вам пропонується в рамках Спільноти Розробників, орієнтованих на ШІ. Розгляньте можливість підписки на поштовий список, подкаст та приєднання до нашої спільноти Discord.