ModelOps Nacht: Evaluaties, Routing & Benchmarking

Een technische diepgaande bespreking over het evalueren van AI-producten, agents en workflows tegen echte taken.Naarmate modellen beter worden, is de moeilijke vraag niet langer gewoon “welk model is het beste?” Het is of jouw product, agent of workflow daadwerkelijk goed presteert op de taken waar jouw gebruikers om geven.Publieke benchmarks vangen zelden jouw randgevallen. Echte productiesystemen hebben rommelige invoer, meerstappenworkflows, tooloproepen, latentiebeperkingen, kostenafwegingen en faalmodi die alleen in de praktijk zichtbaar worden.Dit evenement brengt teams samen die de infrastructuur bouwen voor het evalueren van AI-systemen in de echte wereld.We horen van Composio over het bouwen van evaluaties voor echte workflows, GMI Cloud over het routeren van modellen om prestaties en uitgaven te optimaliseren, Handshake over het creëren van hoogwaardige benchmarks die de grens bepalen, en Oqoqo over hoe je de ervaring van agents kunt evalueren en verbeteren door je eigen benchmark te bouwen.Als je tools bouwt voor agents, op maat gemaakte agents of interne workflows, is dit een ruimte voor praktische gesprekken over hoe je kunt meten wat echt werkt.Programma17:30 Deuren open · eten & drinken18:00 Composio: bouwen van evaluaties voor echte workflows (Jayesh Sharma, AI-engineer bij Composio)18:15 GMI Cloud: routeren van modellen om prestaties en uitgaven te optimaliseren18:30 Handshake: Benchmarking voor economisch waardevol agentwerk (Jonas Mueller, Directeur AI-onderzoek, Handshake AI)18:45 Oqoqo: evalueren en verbeteren van agentervaring door je eigen benchmark te bouwen (Haritha Nair, CTO, Oqoqo)19:00 NetwerkenWie moet komenOprichters, productengineers, AI-engineers en teams die agents/agentgerichte producten, interne workflows of systemen bouwen die moeten worden getest op echte gebruikers taken.