AI ROI: Waarom de Agent Niet het Antwoord Is

De meeste AI-agenten presteren ondermaats in de productie, niet omdat het model verkeerd is, maar omdat de gegevens eromheen onvolledig zijn en de resultaten niet worden gemeten. Twee voordrachten over de twee beperkingen die de ROI van agenten daadwerkelijk beperken: wat jouw agent kan zien, en of je kunt bepalen of het werkt.AgendaDe ROI Zit Niet in de AgentVeel ROI-cijfers van agenten zijn fictie. Ze komen uit de spreadsheet die elke engineeringleider al kent: uren bespaard per ontwikkelaar, vermenigvuldigd met het aantal medewerkers, vermenigvuldigd met een hoopvolle factor. Het probleem is dat dit de agent behandelt als het ding dat je koopt, en de besparing als iets dat je eenmaal in de bank zet en verdergaat.Deze voordracht betoogt dat de terugverdientijd die daadwerkelijk blijft zitten, één laag hoger ligt, in de omgeving rondom de agent: de context waaruit het werkt, de evaluaties, de verificatie die bepaalt of de output goed is. Besparingen van een snellere tool worden uitgegeven en komen niet terug. Geld dat in het harnas wordt gestoken, blijft terugbetalen, omdat elk stuk dat je bouwt het volgende goedkoper maakt en de gegevens die je onderweg genereert zich ophopen.Het kijkt ook naar waarom dat allemaal niet te bankieren is totdat je het kunt meten, en waarom het van vibes naar metriek brengen de plek is waar een eerlijke ROI-verhaal moet beginnen.Rob Willoughby, Lid van het Technisch Personeel, AI Onderzoek bij TesslRob werkt aan evaluatieonderzoek bij Tessl, waar hij grootschalige beoordelingen ontwerpt en uitvoert van hoe coderingsagenten zich gedragen in echte codebases. Zijn werk richt zich op het begrijpen van wat "goed" eruitziet wanneer een AI-agent met jouw code werkt, van eval-ontwerpen en rubric-systemen tot het begrijpen waar modellen (en infrastructuur) op schaal hapert.Gegevensblinden: De Verborgen Doder van AI ROI