ModelOps Night: Evals, Routing & Benchmarks

Techniczne zgłębianie tematu oceny produktów AI, agentów i przepływów pracy na podstawie rzeczywistych zadań.W miarę jak modele się poprawiają, trudne pytanie to już nie tylko „który model jest najlepszy?” Chodzi o to, czy Twój produkt, agent lub przepływ pracy rzeczywiście dobrze radzi sobie z zadaniami, na których zależy Twoim użytkownikom.Publiczne benchmarki rzadko uchwytują trudne przypadki. Rzeczywiste systemy produkcyjne mają nieuporządkowane dane wejściowe, wieloetapowe przepływy pracy, wywołania narzędzi, ograniczenia czasowe, kompromisy kosztowe i tryby awarii, które ujawniają się tylko w praktyce.To wydarzenie łączy zespoły budujące infrastrukturę do oceny systemów AI w rzeczywistym świecie.Usłyszymy od Composio o budowaniu ocen dla rzeczywistych przepływów pracy, GMI Cloud o routingu modeli w celu optymalizacji wydajności oraz wydatków, Handshake o tworzeniu benchmarków o wysokiej jakości, które definiują granicę, oraz Oqoqo o tym, jak oceniać i poprawiać doświadczenia agentów poprzez budowanie własnego benchmarku.Jeśli budujesz narzędzia dla agentów, niestandardowych agentów lub wewnętrznych przepływów pracy, to jest miejsce na praktyczne rozmowy o tym, jak mierzyć to, co naprawdę działa.Program17:30 Drzwi otwarte · jedzenie i napoje18:00 Composio: budowanie ocen dla rzeczywistych przepływów pracy (Jayesh Sharma, inżynier AI w Composio)18:15 GMI Cloud: routowanie modeli w celu optymalizacji wydajności i wydatków18:30 Handshake: Budowanie benchmarków dla wartościowej pracy agentów (Jonas Mueller, dyrektor badań AI, Handshake AI)18:45 Oqoqo: ocena i poprawa doświadczeń agentów poprzez budowanie własnego benchmarku (Haritha Nair, CTO, Oqoqo)19:00 NetworkingKto powinien przyjśćZałożyciele, inżynierowie produktów, inżynierowie AI oraz zespoły budujące agentów/produkty skierowane do agentów, wewnętrzne przepływy pracy lub systemy, które muszą być testowane pod kątem rzeczywistych zadań użytkowników.