AI Native Dev Londyn: ROI AI, dlaczego agent nie jest odpowiedzią

AI ROI: Dlaczego agent nie jest odpowiedzią Większość agentów AI działa poniżej oczekiwań w produkcji nie dlatego, że model jest zły, ale dlatego, że dane wokół niego są niekompletne, a wyniki nie są mierzone. Dwa wykłady na temat dwóch ograniczeń, które faktycznie ograniczają ROI agenta: co twój agent może zobaczyć i czy możesz ocenić, czy działa. Agenda ROI nie leży w agencie Wiele danych dotyczących ROI agentów to fikcja. Pojawiają się z arkusza kalkulacyjnego, który każdy lider inżynieryjny już zna: zaoszczędzone godziny na dewelopera, pomnożone przez liczbę pracowników, pomnożone przez optymistyczny współczynnik. Problem polega na tym, że traktuje to agenta jako rzecz, którą kupujesz, a oszczędności jako coś, co bankujesz jednorazowo i idziesz dalej. Ten wykład argumentuje, że zwrot, który rzeczywiście trwa, siedzi jedną warstwę wyżej, w środowisku wokół agenta: kontekście, w którym działa, ocenach, weryfikacji, która decyduje, czy jego wyniki są dobre. Oszczędności z szybszego narzędzia są wydawane i nie powracają. Pieniądze przeznaczone na udojem ciągle się zwracają, ponieważ każdy element, który budujesz, sprawia, że następny jest tańszy, a dane, które zbierasz w drodze, się kumulują. Rozpatruje również, dlaczego nic z tego nie jest możliwe do zrealizowania, dopóki nie możesz tego zmierzyć, i dlaczego przejście od odczuć do metryk to początek, w którym musi powstać uczciwa historia ROI. Rob Willoughby, członek zespołu technicznego, AI Research w Tessl Rob zajmuje się badaniami oceny w Tessl, projektując i prowadząc rozległe oceny, jak agenty kodujące działają w rzeczywistych bazach kodu. Jego prace koncentrują się na określeniu, jak „dobro” wygląda, kiedy agent AI współpracuje z twoim kodem, od projektowania ocen i systemów rubric po zrozumienie, gdzie modele (i infrastruktura) zawodzą na dużą skalę. Ślepe punkty danych: Ukryty zabójca ROI AI Dlaczego tak wiele projektów agentów AI nie dostarcza znaczącego ROI? Zwykle odpowiedzi skupiają się na modelach, podpowiedziach i narzędziach. W praktyce najbardziej znaczącym ograniczeniem jest często coś znacznie prostszego: agenci nie mogą zobaczyć wystarczająco dużo z biznesu. Większość organizacji daje agentom dostęp do kilku źródeł danych i oczekuje, że podejmą decyzje, korzystając z fragmentarycznego, niekompletnego obrazu rzeczywistości. Każda brakująca integracja, opóźniona aktualizacja lub niedostępny zestaw danych staje się ślepym punktem. A każdy ślepy punkt zmniejsza dokładność, pewność, wskaźniki automatyzacji i ostatecznie ROI. W tym wykładzie zbadam, dlaczego wydajność agenta jest zasadniczo ograniczona przez widoczność danych. Przyjrzymy się, jak pojawiają się ślepe punkty, dlaczego tradycyjne podejścia integracyjne mają trudności z dotrzymywaniem kroku rosnącemu zapotrzebowaniu na dane gotowe dla agentów oraz jak nowoczesne architektury oparte na zdarzeniach mogą natychmiast udostępnić kontekst biznesowy systemom AI. Zbadamy również związek między widocznością a efektywnością: dlaczego więcej danych nie zawsze jest lepsze, jak minimalizacja kontekstu poprawia wydajność agentów i dlaczego najbardziej udane wdrożenia agentów często są tymi, które zapewniają najczystszy widok rzeczywistości, a nie największe okna kontekstowe. Agenci o niskim ROI nie są głupi. Są ślepi. Tom Scott, dyrektor generalny, Streambased Tom Scott prowadzi Streambased, firmę łączącą Apache Kafka i Apache Iceberg dla projektów AI. Tom ma ponad 20-letnie doświadczenie w systemach rozproszonych i infrastrukturze danych, pracując jako klient i dostawca w niektórych z najbardziej ekscytujących problemów w streamingu zdarzeń i dużych danych. To wydarzenie jest organizowane w ramach Społeczności AI Native Dev. Rozważ subskrypcję listy mailingowej, podcastu oraz dołączenie do naszej społeczności na Discordzie.