Desdobrados: Avaliações - Além da Verificação de Sensações

A maioria das equipes ainda avalia sua IA da mesma maneira: executa algumas solicitações, observa os resultados e publica se parecer correto.Isso funciona até que não funcione — até que o agente falhe silenciosamente em produção, a alucinação chegue a um cliente ou ninguém consiga explicar por que a mudança da semana passada piorou as coisas.Esta conversa aborda o que vem depois da verificação de sensações: o que é uma avaliação em produção, como construí-la, de onde vêm os conjuntos de dados de avaliação, usando avaliações online como guardrails ao vivo, o debate entre LLM como juiz vs. modelos de avaliação feitos para um propósito e se você pode avaliar toda a trajetória de um agente de múltiplos passos ou apenas sua resposta final. Além disso, as decisões práticas que cada equipe enfrenta — construir vs. comprar, e quem possui as avaliações dentro de uma empresa.🎤 🎤 🎤 PALESTRANTES 🎤 🎤 🎤🏠 ANFITRIÃO: FORWARD DEPLOYEDForward Deployed é uma startup nativa de IA que constrói produtos autônomos para empresas do portfólio de PE, seguradoras e outras equipes empresariais. Também organizamos conversas informais e podcasts com operadores que estão na vanguarda da engenharia de desdobramento.📅 Ter, 1º de Setembro, 18h-20h30 PT📍 Super secreto, São Francisco 🎟 Vagas limitadas✌️ Anfitrião no Founders Cafe, a comunidade de fundadores e espaço de co-working da AngelList no primeiro andar da sede da AngelList. Inscreva-se aqui.