Nuit ModelOps : Évaluations, Routage et Référentiels

Une plongée technique sur l'évaluation des produits, agents et workflows d'IA par rapport aux tâches réelles.À mesure que les modèles s'améliorent, la question difficile n'est plus seulement « quel est le meilleur modèle ? » mais si votre produit, agent ou workflow fonctionne réellement bien sur les tâches qui comptent pour vos utilisateurs.Les références publiques capturent rarement vos cas particuliers. Les systèmes de production réels ont des entrées désordonnées, des workflows multi-étapes, des appels d'outils, des contraintes de latence, des compromis de coûts et des modes de défaillance qui ne se manifestent qu'en pratique.Cet événement réunit des équipes construisant l'infrastructure pour évaluer les systèmes d'IA dans le monde réel.Nous entendrons Composio sur la construction d'évaluations pour des workflows réels, GMI Cloud sur le routage des modèles pour optimiser la performance et les coûts, Handshake sur la création de référentiels de haute qualité qui définissent la frontière, et Oqoqo sur comment évaluer et améliorer l'expérience des agents en construisant votre propre référentiel.Si vous construisez des outils pour des agents, des agents personnalisés ou des workflows internes, cette salle est dédiée aux conversations pratiques sur la manière de mesurer ce qui fonctionne réellement.Programme17h30 Ouverture des portes · nourriture et boissons18h00 Composio : construction d'évaluations pour des workflows réels (Jayesh Sharma, Ingénieur IA chez Composio)18h15 GMI Cloud : routage des modèles pour optimiser la performance et les coûts18h30 Handshake : Construire des référentiels pour un travail d'agent économiquement précieux (Jonas Mueller, Directeur de la recherche en IA, Handshake AI)18h45 Oqoqo : évaluation et amélioration de l'expérience des agents en construisant votre propre référentiel (Haritha Nair, CTO, Oqoqo)19h00 RéseautageQui devrait venirFondateurs, ingénieurs produits, ingénieurs IA et équipes construisant des agents/produits orientés agents, workflows internes, ou systèmes devant être testés contre des tâches réelles des utilisateurs.