ROI de IA: Por qué el agente no es la respuesta

La mayoría de los agentes de IA tienen un rendimiento deficiente en producción no porque el modelo esté equivocado, sino porque los datos que lo rodean son incompletos y los resultados no se miden. Dos charlas sobre las dos limitaciones que realmente limitan el ROI del agente: lo que su agente puede ver y si puede saber si está funcionando.AgendaEl ROI no está en el AgenteMuchos números de ROI de agentes son ficción. Provienen de la hoja de cálculo que cada líder de ingeniería ya conoce: horas ahorradas por desarrollador, multiplicadas por el número de empleados, multiplicadas por un factor esperanzador. El problema es que esto trata al agente como la cosa que estás comprando, y trata el ahorro como algo que depositas una vez y luego olvidas.Esta charla argumenta que el retorno que realmente dura se sitúa un nivel por encima, en el entorno que rodea al agente: el contexto del que trabaja, las evaluaciones, la verificación que decide si su salida es buena. Los ahorros de una herramienta más rápida se gastan y no se repiten. El dinero invertido en el arnés sigue rindiendo, porque cada pieza que construyes hace que la siguiente sea más barata y los datos que generas en el camino se acumulan.También se analiza por qué nada de eso es capitalizable hasta que puedes medirlo, y por qué pasar de las sensaciones a las métricas es donde debe comenzar una historia de ROI honesta.Rob Willoughby, Miembro del Personal Técnico, Investigación de IA en TesslRob trabaja en investigación de evaluación en Tessl, diseñando y ejecutando evaluaciones a gran escala sobre cómo se comportan los agentes de codificación en bases de código del mundo real. Su trabajo se centra en averiguar cómo se ve un "buen" desempeño cuando un agente de IA trabaja con tu código, desde el diseño de evaluaciones y sistemas de rúbricas hasta entender dónde los modelos (y la infraestructura) se descomponen a gran escala.Puntos ciegos de datos: El asesino oculto del ROI de IA¿Por qué tantos proyectos de agentes de IA no logran ofrecer un ROI significativo?Las respuestas habituales se centran en modelos, indicaciones y herramientas. Pero en la práctica, la limitación más grande suele ser mucho más simple: los agentes no pueden ver suficiente del negocio.La mayoría de las organizaciones dan a los agentes acceso a un puñado de fuentes de datos y esperan que tomen decisiones utilizando una vista fragmentada e incompleta de la realidad. Cada integración faltante, actualización retrasada o conjunto de datos inaccesible se convierte en un punto ciego. Y cada punto ciego reduce la precisión, confianza, tasas de automatización y, en última instancia, el ROI.En esta charla, exploraré por qué el rendimiento del agente está fundamentalmente limitado por la visibilidad de los datos. Veremos cómo emergen los puntos ciegos, por qué los enfoques de integración tradicionales luchan por mantenerse al día con la creciente demanda de datos listos para agentes, y cómo las arquitecturas modernas impulsadas por eventos pueden hacer que el contexto empresarial esté inmediatamente disponible para los sistemas de IA.También examinaremos la relación entre visibilidad y eficiencia: por qué más datos no siempre son mejores, cómo la minimización del contexto mejora el rendimiento del agente, y por qué los despliegues de agentes más exitosos son a menudo aquellos que proporcionan la vista más clara de la realidad en lugar de las ventanas de contexto más grandes.Los agentes de bajo ROI no son estúpidos. Están ciegos.Tom Scott, CEO, StreambasedTom Scott dirige Streambased, la empresa que unifica Apache Kafka y Apache Iceberg para proyectos de IA. Tom tiene más de 20 años de experiencia en sistemas distribuidos e infraestructura de datos, trabajando como cliente y proveedor en algunos de los problemas más emocionantes en transmisión de eventos y big data.Este evento se te presenta como parte de la Comunidad de Desarrolladores Nativos de IA. Considera suscribirte a nuestra Lista de Correo, Podcast y unirte a nuestra Comunidad en Discord.