Desarrollador Nativo de IA Londres: Retorno de Inversión en IA, Por qué el Agente No Es la Respuesta

ROI de IA: Por qué el agente no es la respuesta La mayoría de los agentes de IA tienen un rendimiento deficiente en producción no porque el modelo esté equivocado, sino porque los datos que lo rodean están incompletos y los resultados no se miden. Dos charlas sobre las dos restricciones que realmente limitan el ROI de los agentes: lo que su agente puede ver y si puede saber si está funcionando. Agenda El ROI no está en el agente Muchos números de ROI de agentes son ficción. Provienen de la hoja de cálculo que ya conoce cada líder de ingeniería: horas ahorradas por desarrollador, multiplicadas por el número de empleados, multiplicadas por un factor esperanzador. El problema es que esto trata al agente como la cosa que estás comprando, y trata el ahorro como algo que se banca una vez y se sigue adelante. Esta charla argumenta que el retorno que realmente perdura está un nivel por encima, en el entorno alrededor del agente: el contexto desde el cual trabaja, las evaluaciones, la verificación que decide si su salida es buena. Los ahorros de una herramienta más rápida se gastan y no se repiten. El dinero invertido en el arnés sigue pagando, porque cada pieza que construyes hace que la siguiente sea más barata y los datos que generas en el camino se acumulan. También se analiza por qué nada de eso se puede financiar hasta que puedas medirlo, y por qué pasar de las sensaciones a las métricas es donde debe comenzar una historia de ROI honesta. Rob Willoughby, Miembro del Personal Técnico, Investigación de IA en Tessl Rob trabaja en investigación de evaluación en Tessl, diseñando y ejecutando evaluaciones a gran escala sobre cómo se comportan los agentes de codificación en bases de código del mundo real. Su trabajo se centra en averiguar cómo es lo "bueno" cuando un agente de IA trabaja con tu código, desde el diseño de evaluaciones y sistemas de rúbricas hasta comprender dónde se rompen los modelos (y la infraestructura) a gran escala. Puntos Ciegos de Datos: El Asesino Oculto del ROI de IA ¿Por qué tantos proyectos de agentes de IA no logran ofrecer un ROI significativo? Las respuestas habituales se centran en modelos, prompts y herramientas. Pero en la práctica, la limitación más grande a menudo es mucho más simple: los agentes no pueden ver suficiente del negocio. La mayoría de las organizaciones dan a los agentes acceso a un puñado de fuentes de datos y esperan que tomen decisiones utilizando una vista fragmentada e incompleta de la realidad. Cada integración faltante, actualización retrasada o conjunto de datos inaccesible se convierte en un punto ciego. Y cada punto ciego reduce la precisión, la confianza, las tasas de automatización y, en última instancia, el ROI. En esta charla, exploraré por qué el rendimiento de los agentes está fundamentalmente restringido por la visibilidad de los datos. Veremos cómo emergen los puntos ciegos, por qué los enfoques de integración tradicionales tienen dificultades para mantenerse al día con la creciente demanda de datos listos para agentes y cómo las arquitecturas modernas impulsadas por eventos pueden hacer que el contexto empresarial esté inmediatamente disponible para los sistemas de IA. También examinaremos la relación entre visibilidad y eficiencia: por qué más datos no siempre son mejores, cómo la minimización del contexto mejora el rendimiento del agente y por qué las implementaciones de agentes más exitosas son a menudo aquellas que proporcionan la vista más clara de la realidad en lugar de las ventanas de contexto más grandes. Los agentes de bajo ROI no son estúpidos. Están ciegos. Tom Scott, CEO, Streambased Tom Scott dirige Streambased, la empresa que unifica Apache Kafka y Apache Iceberg para proyectos de IA. Tom tiene más de 20 años de experiencia en sistemas distribuidos e infraestructura de datos, trabajando como cliente y proveedor en algunos de los problemas más emocionantes en streaming de eventos y big data. Este evento se te ofrece como parte de la Comunidad de Desarrollo Nativo de IA. Considera suscribirte a la Lista de Correo, Podcast y unirte a nuestra Comunidad en Discord.