AI Nativo Dev Londres: ROI de IA, Por que o Agente Não é a Resposta

ROI de IA: Por que o Agente Não é a Resposta A maioria dos agentes de IA tem um desempenho abaixo do esperado em produção não porque o modelo esteja errado, mas porque os dados ao seu redor estão incompletos e os resultados não são medidos. Duas palestras sobre as duas restrições que realmente limitam o ROI do agente: o que seu agente pode ver e se você consegue descobrir se ele está funcionando. Agenda O ROI Não Está no Agente Muitos números de ROI de agente são ficção. Eles saem da planilha que todo líder de engenharia já conhece: horas economizadas por desenvolvedor, multiplicadas pelo número de funcionários, multiplicadas por um fator otimista. O problema é que isso trata o agente como a coisa que você está comprando, e considera a economia como algo que você registra uma vez e segue em frente. Esta palestra argumenta que o retorno que realmente dura está um nível acima, no ambiente ao redor do agente: o contexto em que ele opera, as avaliações, a verificação que decide se sua saída é boa. As economias de uma ferramenta mais rápida são gastas e não se repetem. O dinheiro investido na estrutura continua retornando, porque cada peça que você constrói torna a próxima mais barata e os dados que você gera ao longo do caminho se acumulam. Também examina por que nada disso pode ser registrado até que você possa medi-lo, e por que passar de impressões a métricas é onde uma história honesta de ROI deve começar. Rob Willoughby, Membro da Equipe Técnica, Pesquisa de IA na Tessl Rob trabalha em pesquisa de avaliação na Tessl, projetando e executando avaliações em larga escala sobre como agentes de codificação se comportam em bases de código do mundo real. Seu trabalho se concentra em entender como é "bom" quando um agente de IA trabalha com seu código, desde o design de avaliação e sistemas de rubricas até a compreensão de onde modelos (e infraestrutura) falham em escala. Pontos Cegos de Dados: O Assassino Oculto do ROI de IA Por que tantos projetos de agentes de IA falham em entregar um ROI significativo? As respostas usuais se concentram em modelos, prompts e ferramentas. Mas, na prática, a maior limitação é muitas vezes muito mais simples: os agentes não conseguem ver o suficiente do negócio. A maioria das organizações dá aos agentes acesso a um punhado de fontes de dados e espera que eles tomem decisões com uma visão fragmentada e incompleta da realidade. Cada integração ausente, atualização atrasada ou conjunto de dados inacessível se torna um ponto cego. E cada ponto cego reduz a precisão, a confiança, as taxas de automação e, em última análise, o ROI. Nesta palestra, explorarei por que o desempenho do agente é fundamentalmente limitado pela visibilidade dos dados. Vamos examinar como surgem os pontos cegos, por que as abordagens tradicionais de integração lutam para acompanhar a crescente demanda por dados prontos para agentes, e como arquiteturas modernas orientadas a eventos podem tornar o contexto empresarial imediatamente disponível para os sistemas de IA. Também examinaremos a relação entre visibilidade e eficiência: por que mais dados nem sempre são melhores, como a minimização de contexto melhora o desempenho do agente, e por que as implantações de agentes mais bem-sucedidas são frequentemente aquelas que oferecem a visão mais clara da realidade, em vez das maiores janelas de contexto. Agentes de baixo ROI não são estúpidos. Eles são cegos. Tom Scott, CEO, Streambased Tom Scott dirige a Streambased, a empresa que unifica o Apache Kafka e o Apache Iceberg para projetos de IA. Tom tem mais de 20 anos de experiência em sistemas distribuídos e infraestrutura de dados, trabalhando como cliente e fornecedor em alguns dos problemas mais empolgantes de streaming de eventos e big data. Este evento é apresentado a você como parte da Comunidade de Desenvolvedores Nativos de IA. Considere se inscrever na Lista de Discussão, Podcast e ingressar em nossa Comunidade do Discord.