AI ROI: Warum der Agent nicht die Antwort ist

Die meisten KI-Agenten schneiden in der Produktion nicht schlecht ab, weil das Modell falsch ist, sondern weil die Daten darum herum unvollständig und die Ergebnisse nicht gemessen sind. Zwei Vorträge über die beiden Einschränkungen, die tatsächlich den ROI von Agenten begrenzen: was Ihr Agent sehen kann und ob Sie sagen können, ob er funktioniert. Agenda Der ROI liegt nicht im Agenten Viele ROI-Zahlen von Agenten sind Fiktion. Sie stammen aus der Tabelle, die jeder technische Leiter bereits kennt: Stunden, die pro Entwickler eingespart werden, multipliziert mit der Anzahl der Mitarbeiter, multipliziert mit einem hoffnungsvollen Faktor. Das Problem ist, dass dies den Agenten als das behandelt, was Sie kaufen, und die Einsparungen als etwas, das Sie einmal einbehalten und dann weiterziehen. Dieser Vortrag argumentiert, dass die Rückkehr, die tatsächlich anhält, eine Ebene höher liegt, in der Umgebung des Agenten: dem Kontext, aus dem er arbeitet, den Bewertungen, der Überprüfung, die entscheidet, ob seine Ausgabe gut ist. Einsparungen aus einem schnelleren Werkzeug werden ausgegeben und wiederholen sich nicht. Geld, das in das Geschirr investiert wird, zahlt weiterhin zurück, weil jedes Stück, das Sie bauen, das nächste günstiger macht und die Daten, die Sie dabei generieren, sich ansammeln. Es wird auch untersucht, warum das alles nicht bankfähig ist, bis Sie es messen können, und warum der Übergang von Eindrücken zu Kennzahlen dort beginnen muss, wo eine ehrliche ROI-Geschichte anfängt. Rob Willoughby, Mitglied des technischen Personals, KI-Forschung bei Tessl Rob arbeitet an Bewertungsforschung bei Tessl, gestaltet und führt großangelegte Bewertungen durch, wie Kodierungsagenten in realen Codebasen funktionieren. Seine Arbeit konzentriert sich darauf, herauszufinden, wie "gut" aussieht, wenn ein KI-Agent mit Ihrem Code arbeitet, von der Entwurfs- und Bewertungsrubrik bis hin zum Verständnis, wo Modelle (und Infrastruktur) in großem Maßstab versagen. Datenblindstellen: Der versteckte Killer des AI ROI Warum scheitern so viele KI-Agenten-Projekte, um einen wirkungsvollen ROI zu liefern? Die üblichen Antworten konzentrieren sich auf Modelle, Eingabeaufforderungen und Werkzeuge. In der Praxis besteht jedoch die größte Einschränkung oft darin, dass Agenten nicht genug vom Geschäft sehen können. Die meisten Organisationen gewähren Agenten Zugang zu einer Handvoll Datenquellen und erwarten, dass sie Entscheidungen treffen, basierend auf einer fragmentierten, unvollständigen Sicht der Realität. Jede fehlende Integration, jede verspätete Aktualisierung oder jeder nicht zugängliche Datensatz wird zu einem blinden Fleck. Und jeder blinde Fleck reduziert Genauigkeit, Vertrauen, Automatisierungsraten und letztendlich den ROI. In diesem Vortrag werde ich untersuchen, warum die Leistung des Agenten grundlegend durch die Datenvisibilität eingeschränkt ist. Wir werden betrachten, wie blinde Flecken entstehen, warum traditionelle Integrationsansätze Schwierigkeiten haben, mit der wachsenden Nachfrage nach agentenbereiten Daten Schritt zu halten, und wie moderne ereignisgesteuerte Architekturen den Geschäftskontext sofort für KI-Systeme verfügbar machen können. Wir werden auch die Beziehung zwischen Sichtbarkeit und Effizienz untersuchen: Warum mehr Daten nicht immer besser sind, wie Kontextminimierung die Leistung von Agenten verbessert und warum die erfolgreichsten Agenten-Implementierungen oft die sind, die die klarste Sicht auf die Realität bieten, anstatt die größten Kontextfenster. Niedrig-ROI-Agenten sind nicht dumm. Sie sind blind. Tom Scott, CEO, Streambased Tom Scott leitet Streambased, das Unternehmen, das Apache Kafka und Apache Iceberg für KI-Projekte vereint. Tom hat mehr als 20 Jahre Erfahrung in verteilten Systemen und Dateninfrastruktur und hat als Kunde und Anbieter an einigen der aufregendsten Probleme im Bereich Event-Streaming und Big Data gearbeitet. Diese Veranstaltung wird Ihnen als Teil der AI Native Dev Community präsentiert. Ziehen Sie in Betracht, sich für den Mailingliste, Podcast anzumelden und unserer Discord-Community beizutreten.