ROI de IA: Por que o Agente Não É a Resposta

A maioria dos agentes de IA apresenta desempenho abaixo do esperado na produção não porque o modelo esteja errado, mas porque os dados ao redor estão incompletos e os resultados não são medidos. Duas palestras sobre as duas restrições que realmente limitam o ROI do agente: o que seu agente pode ver e se você pode saber se ele está funcionando.AgendaO ROI Não Está no AgenteMuitos números de ROI de agentes são ficção. Eles saem da planilha que todo líder de engenharia já conhece: horas economizadas por desenvolvedor, multiplicadas pelo número de funcionários, multiplicadas por um fator esperançoso. O problema é que isso trata o agente como a coisa que você está comprando e considera a economia como algo que você banca uma vez e segue em frente.Esta palestra argumenta que o retorno que realmente dura está um nível acima, no ambiente ao redor do agente: o contexto em que ele trabalha, as avaliações, a verificação que decide se sua saída é boa ou não. As economias de uma ferramenta mais rápida são gastas e não se repetem. O dinheiro investido no sistema continua a retornar, porque cada peça que você constrói torna a próxima mais barata e os dados que você gera ao longo do caminho se acumulam.Ela também analisa por que nada disso é passível de ser bancado até que você possa medi-lo e por que passar de impressões para métricas é onde uma história honesta de ROI deve começar.Rob Willoughby, Membro da Equipe Técnica, Pesquisa de IA na TesslRob trabalha em pesquisa de avaliação na Tessl, projetando e conduzindo avaliações em larga escala sobre como agentes de codificação se comportam em bases de código do mundo real. Seu trabalho foca em descobrir como é o "bom" quando um agente de IA trabalha com seu código, desde o design da avaliação e sistemas de rubrica até entender onde os modelos (e a infraestrutura) falham em escala.Pontos Cegos de Dados: O Assassino Oculto do ROI de IAPor que tantos projetos de agentes de IA falham em proporcionar ROI significativo?As respostas usuais concentram-se em modelos, prompts e ferramentas. Mas, na prática, a maior limitação é muitas vezes muito mais simples: os agentes não conseguem ver o suficiente do negócio.A maioria das organizações concede aos agentes acesso a um punhado de fontes de dados e espera que eles tomem decisões usando uma visão fragmentada e incompleta da realidade. Cada integração ausente, atualização atrasada ou conjunto de dados inacessível se torna um ponto cego. E cada ponto cego reduz a precisão, confiança, taxas de automação e, em última análise, o ROI.Nesta palestra, explorarei por que o desempenho do agente é fundamentalmente restrito pela visibilidade dos dados. Analisaremos como os pontos cegos surgem, por que as abordagens tradicionais de integração têm dificuldade em acompanhar a crescente demanda por dados prontos para agentes e como arquiteturas modernas orientadas a eventos podem tornar o contexto de negócios imediatamente disponível para sistemas de IA.Também examinaremos a relação entre visibilidade e eficiência: por que mais dados nem sempre são melhores, como a minimização do contexto melhora o desempenho do agente e por que as implementações de agentes mais bem-sucedidas são frequentemente aquelas que fornecem a visão mais clara da realidade, em vez das maiores janelas de contexto.Agentes de baixo ROI não são estúpidos. Eles são cegos.Tom Scott, CEO, StreambasedTom Scott dirige a Streambased, a empresa que unifica Apache Kafka e Apache Iceberg para projetos de IA. Tom tem mais de 20 anos de experiência em sistemas distribuídos e infraestrutura de dados, trabalhando como cliente e fornecedor para alguns dos problemas mais emocionantes em streaming de eventos e grandes volumes de dados.Este evento é apresentado a você como parte da Comunidade de Desenvolvedores Nativos de IA. Considere se inscrever na Lista de E-mails, Podcast e se juntar à nossa Comunidade no Discord.