ROI IA : Pourquoi l'agent n'est pas la solution

La plupart des agents IA sous-performent en production non pas parce que le modèle est erroné, mais parce que les données qui l'entourent sont incomplètes et que les résultats ne sont pas mesurés. Deux conférences sur les deux contraintes qui limitent réellement le ROI des agents : ce que votre agent peut voir et si vous pouvez déterminer s'il est efficace.AgendaLe ROI n'est pas dans l'agentDe nombreux chiffres de ROI des agents sont fictifs. Ils proviennent de la feuille de calcul que chaque responsable en ingénierie connaît déjà : heures économisées par développeur, multipliées par le nombre d'employés, multipliées par un facteur d'espoir. Le problème est que cela considère l'agent comme étant ce que vous achetez, et traite l'économie comme quelque chose que vous banque une fois et passez à autre chose.Cette conférence soutient que le retour qui dure réellement se trouve un niveau au-dessus, dans l'environnement autour de l'agent : le contexte dans lequel il travaille, les évaluations, la vérification qui décide si sa production est de qualité. Les économies d'un outil plus rapide sont dépensées et ne se répètent pas. L'argent investi dans le harnais continue de rapporter, car chaque pièce que vous construisez rend la suivante moins chère et les données que vous générez en cours de route s'accumulent.Elle examine également pourquoi rien de cela n'est valorisable tant que vous ne pouvez pas le mesurer, et pourquoi passer des impressions aux métriques est là où une histoire de ROI honnête doit commencer.Rob Willoughby, Membre du personnel technique, Recherche IA chez TesslRob travaille sur la recherche en évaluation chez Tessl, concevant et exécutant des évaluations à grande échelle sur le comportement des agents de codage dans des bases de code du monde réel. Son travail se concentre sur la manière de déterminer à quoi ressemble un "bon" lorsque l'agent IA travaille avec votre code, de la conception de l'évaluation et des systèmes de rubriques à la compréhension des défaillances des modèles (et de l'infrastructure) à grande échelle.Les angles morts des données : Le tueur caché du ROI IAPourquoi tant de projets d'agents IA échouent-ils à délivrer un ROI significatif ?Les réponses habituelles se concentrent sur les modèles, les invites et les outils. Mais en pratique, la plus grande limitation est souvent beaucoup plus simple : les agents ne voient pas assez de l'entreprise.La plupart des organisations donnent aux agents accès à un petit nombre de sources de données et s'attendent à ce qu'ils prennent des décisions en utilisant une vue fragmentée et incomplète de la réalité. Chaque intégration manquante, mise à jour retardée ou ensemble de données inaccessible devient un angle mort. Et chaque angle mort réduit la précision, la confiance, les taux d'automatisation, et finalement le ROI.Dans cet exposé, j'explorerai pourquoi la performance des agents est fondamentalement limitée par la visibilité des données. Nous examinerons comment des angles morts apparaissent, pourquoi les approches d'intégration traditionnelles peinent à suivre la demande croissante de données prêtes pour les agents, et comment les architectures modernes basées sur les événements peuvent rendre le contexte commercial immédiatement disponible pour les systèmes IA.Nous examinerons également la relation entre visibilité et efficacité : pourquoi plus de données n'est pas toujours mieux, comment la minimisation du contexte améliore la performance des agents, et pourquoi les déploiements d'agents les plus réussis sont souvent ceux qui fournissent la vue la plus claire de la réalité plutôt que les plus grands cadres de contexte.Les agents à faible ROI ne sont pas stupides. Ils sont aveugles.Tom Scott, PDG, StreambasedTom Scott dirige Streambased, la société unifiant Apache Kafka et Apache Iceberg pour des projets IA. Tom a plus de 20 ans d'expérience dans les systèmes distribués et l'infrastructure de données, travaillant comme client et fournisseur sur certains des problèmes les plus passionnants en matière de streaming d'événements et de big data.Cet événement vous est présenté dans le cadre de la communauté de développement IA Native. Envisagez de vous abonner à la liste de diffusion, au podcast et de rejoindre notre communauté Discord.