Вперед розгорнуті: Оцінки - За межами перевірки враження

Більшість команд досі оцінюють свої ШІ так само: запускають кілька запитів, оцінюють результати та відправляють, якщо це здається правильним.Це працює, поки не перестає — поки агент мовчки не виявляється неефективним у виробництві, галюцинація доходить до клієнта, або ніхто не може пояснити, чому зміна минулого тижня погіршила ситуацію.Ця бесіда вогнища стосується того, що відбувається після перевірки враження: що таке оцінка в продуктивному середовищі та як її побудувати, звідки беруться датасети для оцінок, використання онлайн-оцінок як живих бар'єрів, дебати про LLM як суддю проти моделей, спеціально створених для оцінок, і чи можна оцінити всю траєкторію багатоступеневого агента або лише його остаточну відповідь. Plus практичні виклики, з якими стикається кожна команда — будувати чи купувати, і хто відповідає за оцінки всередині компанії.🎤 🎤 🎤 ДОКЛАДЧИКИ 🎤 🎤 🎤🏠 ГОСТИНИЙ ЗАХІД ВПЕРЕД РОЗГОРНУТИЙВперед розгорнуті — це стартап з ШІ, який створює агентські продукти для портфельних компаній PE, страховиків та інших команд підприємств. Ми також проводимо бесіди вогнища та подкасти з операторами на передньому краї розгорнутого інженерінгу.📅 Вт, 1 вересня, 18:00-20:30 PT📍 Супер секретно, Сан-Франциско 🎟 Місць обмежено✌️ Проведено у кафе засновників, спільноті засновників та коворкінгу AngelList на першому поверсі штаб-квартири AngelList. Подайте заявку тут.