KI-Ureinwohner Dev London: KI-ROI, Warum der Agent nicht die Lösung ist

AI ROI: Warum der Agent nicht die Antwort ist Die meisten KI-Agenten liefern in der Produktion nicht die erwartete Leistung, nicht weil das Modell falsch ist, sondern weil die umgebenden Daten unvollständig und die Ergebnisse nicht messbar sind. Zwei Vorträge über die beiden Einschränkungen, die tatsächlich die Rendite des Agenten begrenzen: was Ihr Agent sehen kann und ob Sie sagen können, ob er funktioniert. Agenda Die Rendite liegt nicht beim Agenten Viele Zahlen zur Rendite von Agenten sind Fiktion. Sie stammen aus der Tabelle, die jeder Ingenieurexperte bereits kennt: Stunden, die pro Entwickler gespart werden, multipliziert mit der Mitarbeiterzahl, multipliziert mit einem hoffnungsvollen Faktor. Das Problem ist, dass dies den Agenten als das betrachtet, was Sie kaufen, und die Einsparungen als etwas, das Sie einmal verbuchen und dann weiterziehen. Dieser Vortrag argumentiert, dass die Rendite, die tatsächlich anhält, eine Ebene höher liegt, in der Umgebung des Agenten: der Kontext, in dem er arbeitet, die Bewertungen, die Verifizierung, die entscheidet, ob sein Ergebnis gut ist. Einsparungen durch ein schnelleres Tool werden ausgegeben und wiederholt sich nicht. Geld, das in die Infrastruktur gesteckt wird, zahlt immer wieder zurück, denn jedes Stück, das Sie bauen, macht das nächste günstiger und die Daten, die Sie unterwegs erzeugen, sammeln sich an. Es wird auch betrachtet, warum all dies nicht bankfähig ist, bis Sie es messen können, und warum der Schritt von Gefühlen zu Metriken dort beginnt, wo eine ehrliche ROI-Geschichte beginnen muss. Rob Willoughby, Mitglied des technischen Personals, KI-Forschung bei Tessl Rob arbeitet an der Evaluierungsforschung bei Tessl, entwirft und führt großangelegte Bewertungen durch, wie Coding-Agenten in realen Codebasen arbeiten. Seine Arbeit konzentriert sich darauf, herauszufinden, wie „gut“ aussieht, wenn ein KI-Agent mit Ihrem Code arbeitet, von der Evaluierungsdesign- und Rubriksystemen bis hin zum Verständnis, wo Modelle (und Infrastruktur) in großem Maßstab versagen. Datenblindstellen: Der heimliche Killer der KI-Rendite Warum scheitern so viele Projekte mit KI-Agenten daran, eine sinnvolle Rendite zu liefern? Die üblichen Antworten konzentrieren sich auf Modelle, Eingabeaufforderungen und Tools. In der Praxis ist die größte Einschränkung jedoch oft viel einfacher: Agenten können nicht genug vom Geschäft sehen. Die meisten Organisationen geben Agenten Zugang zu einer Handvoll von Datenquellen und erwarten, dass sie Entscheidungen auf der Grundlage einer fragmentierten, unvollständigen Realität treffen. Jede fehlende Integration, jede verzögerte Aktualisierung oder jeder unzugängliche Datensatz wird zu einem blinden Fleck. Und jeder blinde Fleck reduziert Genauigkeit, Vertrauen, Automatisierungsraten und letztendlich die Rendite. In diesem Vortrag werde ich untersuchen, warum die Leistung von Agenten grundlegend durch die Datenverfügbarkeit eingeschränkt ist. Wir werden betrachten, wie Blindstellen entstehen, warum traditionelle Integrationsansätze Schwierigkeiten haben, mit der wachsenden Nachfrage nach agentenbereiten Daten Schritt zu halten, und wie moderne ereignisgesteuerte Architekturen den Geschäftskontext sofort für KI-Systeme verfügbar machen können. Wir werden auch die Beziehung zwischen Sichtbarkeit und Effizienz untersuchen: warum mehr Daten nicht immer besser sind, wie die Minimierung des Kontexts die Agentenleistung verbessert und warum die erfolgreichsten Agenteneinsätze häufig die sind, die den klarsten Blick auf die Realität bieten, anstatt die größten Kontextfenster. Niedrig-Rendite-Agenten sind nicht dumm. Sie sind blind. Tom Scott, CEO, Streambased Tom Scott leitet Streambased, das Unternehmen, das Apache Kafka und Apache Iceberg für KI-Projekte vereint. Tom hat über 20 Jahre Erfahrung in verteilten Systemen und Dateninfrastrukturen, indem er als Kunde und Anbieter für einige der aufregendsten Probleme im Bereich der Ereignisstreaming und Big Data gearbeitet hat. Diese Veranstaltung wird Ihnen als Teil der AI Native Dev Community präsentiert. Ziehen Sie in Betracht, sich für die Mailingliste, den Podcast anzumelden und unserer Discord-Community beizutreten.