Déployé en avant : Evals - Au-delà de la vérification de vibe

La plupart des équipes évaluent encore leur IA de la même manière : exécutent quelques prompts, regardent les résultats et expédient si cela semble bon. Cela fonctionne jusqu'à ce que cela ne fonctionne plus — jusqu'à ce que l'agent échoue silencieusement en production, que l'hallucination atteigne un client, ou que personne puisse expliquer pourquoi le changement de la semaine dernière a empiré les choses. Cette discussion aborde ce qui vient après la vérification de vibe : ce qu'est réellement une évaluation en production et comment en construire une, d'où viennent les ensembles de données d'évaluation, utiliser des évaluations en ligne comme des garde-fous en direct, le débat LLM-en-juge contre les modèles d'évaluation conçus à cet effet, et si vous pouvez évaluer toute la trajectoire d'un agent à étapes multiples ou seulement sa réponse finale. De plus, les décisions pratiques auxquelles chaque équipe est confrontée : construire ou acheter, et qui détient les évaluations au sein d'une entreprise. 🎤 🎤 🎤 INTERVENANTS 🎤 🎤 🎤 🏠 ANIMÉ PAR FORWARD DEPLOYED Forward Deployed est une startup native de l'IA qui construit des produits agents pour les entreprises du portefeuille PE, les assureurs et d'autres équipes d'entreprise. Nous animons également des discussions au coin du feu et des podcasts avec des opérateurs à la pointe de l'ingénierie déployée en avant. 📅 Mar, 1er sept, 18h-20h30 PT📍 Super secret, San Francisco 🎟 Les places sont limitées ✌️ Animé au Founders Cafe, la communauté des fondateurs d'AngelList et l'espace de coworking au premier étage du siège d'AngelList. Postulez ici.