AI Native Dev Londen: AI ROI, Waarom de Agent Niet het Antwoord Is

AI ROI: Waarom de Agent Niet het Antwoord Is De meeste AI-agenten presteren ondermaats in de productie, niet omdat het model verkeerd is, maar omdat de data eromheen incompleet is en de resultaten niet worden gemeten. Twee gesprekken over de twee beperkingen die agent ROI daadwerkelijk beperken: wat uw agent kan zien, en of u kunt zeggen of het werkt. Agenda De ROI Zit Niet in de Agent Veel agent ROI-cijfers zijn fictie. Ze komen uit de spreadsheet die elke engineeringleider al kent: uren bespaard per ontwikkelaar, vermenigvuldigd met het aantal werknemers, vermenigvuldigd met een hoopvolle factor. Het probleem is dat dit de agent behandelt als hetgene dat je koopt, en de besparing als iets dat je eenmaal bankiert en verder gaat. Deze talk betoogt dat de terugverdientijd die daadwerkelijk blijft zitten, één laag hoger zit, in de omgeving rond de agent: de context waaruit het werkt, de evaluaties, de verificatie die bepaalt of de output goed is. Besparingen van een snellere tool worden uitgegeven en keren niet terug. Geld dat in het harnas wordt gestoken blijft terugbetalen, omdat elk stuk dat je bouwt de volgende goedkoper maakt en de data die je onderweg verzamelt zich opbouwt. Er wordt ook bekeken waarom dat allemaal niet bankierbaar is totdat je het kunt meten, en waarom de overstap van vibe naar metrics de plek is waar een eerlijke ROI-verhaal moet beginnen. Rob Willoughby, Lid van het Technisch Personeel, AI Onderzoek bij Tessl Rob werkt aan evaluatieonderzoek bij Tessl, ontwerpt en voert grootschalige beoordelingen uit van hoe coderingsagenten zich gedragen in real-world codebases. Zijn werk richt zich op het uitzoeken hoe "goed" eruitziet wanneer een AI-agent met uw code werkt, van eval-ontwerp en rubric-systemen tot het begrijpen waar modellen (en infrastructuur) op schaal falen. Data Blindspots: De Verborgen Doder van AI ROI Waarom leveren zoveel AI-agentprojecten niet de betekenisvolle ROI? De gebruikelijke antwoorden richten zich op modellen, prompts en tooling. Maar in de praktijk is de grootste beperking vaak veel eenvoudiger: agenten kunnen niet genoeg van de business zien. De meeste organisaties geven agenten toegang tot een handvol data-bronnen en verwachten dat ze beslissingen nemen met een gefragmenteerd, incompleet beeld van de realiteit. Elke ontbrekende integratie, vertraagde update, of ontoegankelijke dataset wordt een blinde vlek. En elke blinde vlek vermindert nauwkeurigheid, vertrouwen, automatiseringspercentages en uiteindelijk ROI. In deze talk zal ik onderzoeken waarom de prestaties van agenten fundamenteel beperkt zijn door datavisibiliteit. We zullen kijken naar hoe blinde vlekken ontstaan, waarom traditionele integratiebenaderingen moeite hebben om gelijke tred te houden met de groeiende vraag naar agent-klaarde data, en hoe moderne evenementgestuurde architecturen zakelijke context onmiddellijk beschikbaar kunnen maken voor AI-systemen. We zullen ook de relatie tussen zichtbaarheid en efficiëntie onderzoeken: waarom meer data niet altijd beter is, hoe contextminimalisatie de prestaties van agenten verbetert, en waarom de meest succesvolle agent-implementaties vaak degene zijn die het duidelijkste beeld van de realiteit bieden in plaats van de grootste contextvensters. Low ROI-agenten zijn niet dom. Ze zijn blind. Tom Scott, CEO, Streambased Tom Scott runt Streambased, het bedrijf dat Apache Kafka en Apache Iceberg verenigt voor AI-projecten. Tom heeft meer dan 20 jaar ervaring in gedistribueerde systemen en datainfrastructuur en heeft gewerkt als klant en verkoper voor enkele van de meest opwindende problemen in event-streaming en big data. Dit evenement wordt u aangeboden als onderdeel van de AI Native Dev Community. Overweeg u in te schrijven voor de mailinglijst, podcast, en ons Discord-gemeenschap te vergezellen.