ModelOps Night: Оценка, маршрутизация и эталоны

Техническое углубление в оценку AI-продуктов, агентов и рабочих процессов на основе реальных задач.С улучшением моделей трудный вопрос уже не только в том, «какая модель лучшая?» Важно, выполняет ли ваш продукт, агент или рабочий процесс задачи, которые важны для ваших пользователей.Публичные эталоны редко охватывают ваши крайние случаи. Реальные производственные системы имеют нечеткие входные данные, многошаговые рабочие процессы, вызовы инструментов, ограничения по задержке, компромиссы по затратам и режимы отказа, которые проявляются только на практике.Это мероприятие объединяет команды, создающие инфраструктуру для оценки AI-систем в реальном мире.Мы услышим от Composio о создании оценок для реальных рабочих процессов, от GMI Cloud о маршрутизации моделей для оптимизации производительности и затрат, от Handshake о создании высококачественных эталонов, которые определяют передовые позиции, и от Oqoqo о том, как оценивать и улучшать опыт агентов, создавая собственный эталон.Если вы создаете инструменты для агентов, настраиваемых агентов или внутренних рабочих процессов, это место для практических обсуждений о том, как измерять то, что действительно работает.Программа17:30 Открытие дверей · еда и напитки18:00 Composio: создание оценок для реальных рабочих процессов (Джайеш Шарма, AI-инженер в Composio)18:15 GMI Cloud: маршрутизация моделей для оптимизации производительности и затрат18:30 Handshake: создание эталонов для экономически ценной работы агентов (Йонас Мюллер, директор по AI-исследованиям, Handshake AI)18:45 Oqoqo: оценка и улучшение опыта агентов с помощью создания собственного эталона (Харита Наир, CTO, Oqoqo)19:00 НетворкингКто должен прийтиОснователи, продуктовые инженеры, AI-инженеры и команды, создающие продукты для агентов/с агентами, внутренние рабочие процессы или системы, которые необходимо тестировать на реальных задачах пользователей.