A Mural da Raciocínio — Hora Feliz

📍 Sobre o Evento Drinks e conversa com as pessoas que se deparam com a muralha do raciocínio. Quando uma sequência de pensamento chega à resposta certa através da lógica errada, um avaliador em grupo marca como correta e o modelo de recompensa do processo aprende o atalho. Esse é o problema sobre o qual queremos discutir, enquanto tomamos um drink, no The Fleur Room. ✨ O Que Esperar • Hora feliz com diretores de pesquisa de GenAI e Llama e líderes de engenharia em nível VP • Drinks e conversa, sem apresentações e sem painel • Auditoria de cadeia de pensamento e recompensas de processo, de pessoas fazendo isso em grande escala • Apresentado por Evan Ward, Hugo 🧠 Sobre a Hugo Inc. A Hugo Inc constrói equipes gerenciadas e de alta especialização para os laboratórios que treinam e avaliam modelos avançados, e tem sido um parceiro da META desde 2018. Não é uma plataforma de multidão e não são trabalhadores anônimos: 730+ especialistas verificados, 100 por cento com formação universitária, 64 por cento com diplomas de STEM ou CS de quatro anos, trabalhando dentro do seu ambiente de teste em vez de ao redor. O trabalho: auditoria de trilhas de raciocínio, recompensas de processo e dados de preferência de RLHF, autoria de SFT especializada, fundamentação multimodal, avaliação agentiva e de codificação, e equipe adversária de ataque. 98,90 por cento de precisão média, mais de 99 por cento de qualidade na primeira tentativa, e menos de 1,5 por cento de rotatividade mensal com uma média de permanência de 3,5 anos, garantindo que os mesmos avaliadores permaneçam no seu pipeline. Resumo completo do que fazemos para laboratórios como o seu: hugoinc.com/industry/frontier-reasoning-labs