AI natif à Londres : ROI de l'IA, pourquoi l'agent n'est pas la solution

Le ROI de l'IA : Pourquoi l'Agent n'est pas la Réponse La plupart des agents IA sous-performent en production non pas parce que le modèle est incorrect, mais parce que les données qui l'entourent sont incomplètes et que les résultats ne sont pas mesurés. Deux présentations sur les deux contraintes qui limitent réellement le ROI des agents : ce que votre agent peut voir, et si vous pouvez dire s'il fonctionne. Agenda Le ROI n'est pas dans l'Agent De nombreux chiffres de ROI d'agent sont fictifs. Ils proviennent du tableau de calcul que chaque leader en ingénierie connaît déjà : heures économisées par développeur, multiplié par le nombre d'employés, multiplié par un facteur d'espoir. Le problème est que cela traite l'agent comme étant la chose que vous achetez, et considère l'économie comme quelque chose que vous encaissez une fois et dont vous passez à autre chose. Cette présentation soutient que le retour qui perdure réellement se situe un niveau au-dessus, dans l'environnement entourant l'agent : le contexte à partir duquel il travaille, les évaluations, la vérification qui détermine si sa sortie est valable. Les économies d'un outil plus rapide sont dépensées et ne se reproduisent pas. L'argent investi dans l'infrastructure continue à rapporter, car chaque pièce que vous construisez rend la suivante moins coûteuse et les données que vous générez le long du processus s'accumulent. Elle examine également pourquoi aucune de ces économies n'est mesurable tant que vous ne pouvez pas l'évaluer, et pourquoi passer des impressions aux métriques est là où une véritable histoire de ROI doit commencer. Rob Willoughby, Membre du Personnel Technique, Recherche en IA chez Tessl Rob travaille sur la recherche d'évaluation chez Tessl, concevant et réalisant des évaluations à grande échelle sur le comportement des agents de codage dans des bases de code réelles. Son travail se concentre sur la définition de ce à quoi ressemble le "bon" lorsque qu'un agent IA travaille avec votre code, depuis la conception de l'évaluation et des systèmes de notation jusqu'à la compréhension des défaillances des modèles (et de l'infrastructure) à l'échelle. Les Aveuglements de Données : Le Tueur Caché du ROI IA Pourquoi tant de projets d'agents IA échouent-ils à offrir un ROI significatif ? Les réponses habituelles se concentrent sur les modèles, les invites et les outils. Mais en pratique, la plus grande limitation est souvent beaucoup plus simple : les agents ne peuvent pas voir suffisamment de l'entreprise. La plupart des organisations donnent aux agents accès à une poignée de sources de données et s'attendent à ce qu'ils prennent des décisions en utilisant une vue fragmentée et incomplète de la réalité. Chaque intégration manquante, mise à jour retardée ou jeu de données inaccessible devient un point aveugle. Et chaque point aveugle réduit la précision, la confiance, les taux d'automatisation et finalement le ROI. Dans cette présentation, j'explorerai pourquoi la performance des agents est fondamentalement contrainte par la visibilité des données. Nous verrons comment les aveuglements émergent, pourquoi les approches d'intégration traditionnelles peinent à suivre la demande croissante de données prêtes à l'emploi pour les agents, et comment les architectures modernes basées sur des événements peuvent rendre le contexte commercial immédiatement disponible pour les systèmes IA. Nous examinerons également la relation entre visibilité et efficacité : pourquoi plus de données n'est pas toujours meilleur, comment la minimisation du contexte améliore la performance des agents, et pourquoi les déploiements d'agents les plus réussis sont souvent ceux qui offrent la vue la plus claire de la réalité plutôt que les plus grands fenêtres de contexte. Les agents à ROI faible ne sont pas stupides. Ils sont aveugles. Tom Scott, PDG, Streambased Tom Scott dirige Streambased, la société unifiant Apache Kafka et Apache Iceberg pour les projets IA. Tom a plus de 20 ans d'expérience dans les systèmes distribués et l'infrastructure des données, travaillant en tant que client et fournisseur sur certains des problèmes les plus passionnants en matière de streaming d'événements et de big data. Cet événement vous est présenté dans le cadre de la communauté des Développeurs Natifs IA. Envisagez de vous abonner à la Liste de Diffusion, au Podcast, et de rejoindre notre Communauté Discord.