ROI AI: Dlaczego agent nie jest odpowiedzią

Większość agentów AI ma słabe wyniki w produkcji nie dlatego, że model jest błędny, ale ponieważ dane wokół niego są niekompletne, a wyniki nie są mierzone. Dwa wystąpienia na temat dwóch ograniczeń, które rzeczywiście wpływają na ROI agenta: co twój agent może widzieć i czy możesz określić, czy działa. Agenda ROI nie tkwi w agencie Wiele liczb dotyczących ROI agentów to fikcja. Pojawiają się one w arkuszu kalkulacyjnym, który każdy lider inżynieryjny już zna: godziny zaoszczędzone na dewelopera, pomnożone przez liczbę pracowników, pomnożone przez czynnik nadziei. Problem polega na tym, że traktuje to agenta jako rzecz, którą kupujesz, a oszczędności jako coś, co bankujesz raz i przechodzisz dalej. To wystąpienie twierdzi, że prawdziwy zwrot, który rzeczywiście trwa, znajduje się o jeden poziom wyżej, w otoczeniu agenta: kontekst, z którego pracuje, oceny, weryfikacja, która decyduje, czy jego wyniki są dobre. Oszczędności z szybszego narzędzia są konsumowane i nie powracają. Pieniądze zainwestowane w sprzężenie zwrotne dalej się zwracają, ponieważ każdy element, który budujesz, sprawia, że następny jest tańszy, a dane, które pozyskujesz po drodze, się kumulują. Analizuje również, dlaczego żadne z tych rzeczy nie jest bankowalne, dopóki nie możesz tego zmierzyć, oraz dlaczego przejście od odczuć do metryk jest miejscem, w którym musi się zacząć uczciwa historia ROI. Rob Willoughby, członek zespołu technicznego, AI Research w Tessl Rob pracuje nad badaniami oceny w Tessl, projektując i prowadząc dużej skali oceny, jak agenci kodowania zachowują się w rzeczywistych bazach kodu. Jego praca koncentruje się na tym, aby zrozumieć, jak wygląda "dobro", gdy agent AI pracuje z twoim kodem, od projektowania oceny i systemów rubric po zrozumienie, gdzie modele (i infrastruktura) zawodzą w skali. Ślepe punkty danych: ukryty zabójca ROI AI Dlaczego tak wiele projektów agentów AI nie dostarcza znaczącego ROI? Zwykle odpowiedzi koncentrują się na modelach, podpowiedziach i narzędziach. Ale w praktyce największym ograniczeniem jest często coś znacznie prostszego: agenci nie mogą zobaczyć wystarczająco dużo biznesu. Większość organizacji daje agentom dostęp do kilku źródeł danych i oczekuje, że podejmą decyzje, korzystając z fragmentarycznego, niekompletnego obrazu rzeczywistości. Każda brakująca integracja, opóźniona aktualizacja lub niedostępny zestaw danych staje się ślepym punktem. A każdy ślepym punktem zmniejsza dokładność, pewność siebie, wskaźniki automatyzacji i ostatecznie ROI. W tym wystąpieniu zbadam, dlaczego wydajność agenta jest zasadniczo ograniczona przez widoczność danych. Przyjrzymy się, jak powstają ślepe punkty, dlaczego tradycyjne podejścia integracyjne mają problem z nadążaniem za rosnącym zapotrzebowaniem na dane gotowe do użycia przez agentów, oraz jak nowoczesne architektury oparte na zdarzeniach mogą sprawić, że kontekst biznesowy będzie natychmiast dostępny dla systemów AI. Zbadamy również związek między widocznością a efektywnością: dlaczego więcej danych nie zawsze jest lepsze, jak minimalizacja kontekstu poprawia wydajność agenta oraz dlaczego najbardziej udane wdrożenia agentów często są tymi, które zapewniają najjaśniejszy widok rzeczywistości, a nie największe okna kontekstowe. Agenci o niskim ROI nie są głupi. Są ślepi. Tom Scott, dyrektor generalny, Streambased Tom Scott prowadzi Streambased, firmę łączącą Apache Kafka i Apache Iceberg dla projektów AI. Tom ma ponad 20-letnie doświadczenie w systemach rozproszonych i infrastrukturze danych, pracując jako klient i dostawca dla niektórych z najbardziej ekscytujących problemów w strumieniowaniu zdarzeń i dużych danych. To wydarzenie jest organizowane w ramach społeczności AI Native Dev. Rozważ subskrypcję listy mailingowej, podcastu oraz dołączenie do naszej społeczności na Discordzie.