Впереди: Оценки - За гранью проверки ощущений

Большинство команд по-прежнему оценивают свой ИИ тем же способом: запускают несколько запросов, оценивают результаты и запускают, если это кажется правильным.Это работает, пока не начинает работать не так — пока агент тихо проваливается в производстве, галлюцинация достигает клиента или никто не может объяснить, почему изменение на прошлой неделе ухудшило ситуацию.Эта беседа у камина обсуждает, что происходит после проверки ощущений: что такое оценка в производстве и как ее построить, откуда берутся наборы данных для оценок, использование онлайн-оценок в качестве живых барьеров, дебаты о LLM в роли судьи против специально созданных моделей оценок и можно ли оценить всю траекторию многошагового агента или только его окончательный ответ. Плюс практические решения, с которыми сталкивается каждая команда — строить или покупать, и кто отвечает за оценки внутри компании.🎤 🎤 🎤 ГОВОРЯЩИЕ 🎤 🎤 🎤🏠 ВЕДУЩИЙ FORWARD DEPLOYEDForward Deployed — это стартап на базе ИИ, создающий агентные продукты для компаний портфеля PE, страховщиков и других корпоративных команд. Мы также проводим беседы у камина и подкасты с операторами, находящимися на переднем крае инжиниринга с выдвинутыми вперед.📅 Вт, 1 сентября, 18:00-20:30 по времени PT📍 Супер секректно, Сан-Франциско 🎟 Места ограничены✌️ Проводится в Founders Cafe, сообществе основателей AngelList и коворкинге на первом этаже штаб-квартиры AngelList. Подайте заявку здесь.