Avaliação de Agentes em Dados de Gateway Ao Vivo

Avaliação de Agentes em Dados de Gateway Ao Vivo Um workshop prático de meio dia sobre engenharia de IA — SydneyA maioria dos workshops de avaliação ensina você a avaliar um conjunto de dados que alguém mais construiu. Em produção, o conjunto de dados é o que seu gateway de IA capturou ontem — e a maioria das equipes está jogando tudo isso fora.Nesta sessão, mudamos isso. No início da manhã, ativamos uma frota ao vivo de agentes de IA acessando um verdadeiro gateway de IA (Bifrost) em tempo real. Pelo resto da sessão, você está construindo com dados que ainda estão chegando — não um notebook Colab estático, nem exemplos de brinquedo. Quando você sair, terá construído um conjunto de dados valioso a partir de tráfego real, enviado um conjunto de avaliações em funcionamento e tomado uma decisão de enviar/não enviar em um teste A/B ao vivo — a mesma decisão que uma equipe de IA em produção toma toda semana, condensada em uma manhã.O que você faráPara quem éEngenheiros de IA/ML, engenheiros de dados e equipes de produto que estão enviando (ou prestes a enviar) recursos de IA e precisam ter confiança de que seu sistema realmente funciona de maneira confiável em produção. Familiaridade básica com conceitos de IA/LLM é presumida — nenhuma experiência em construção de agentes é necessária.O que você levaráUma semente de conjunto de dados valioso construída a partir de tráfego real, um conjunto de avaliações em funcionamento que você pode estender, e um plano de 30 dias para integrar isso em sua própria pilha de produção.Logística📅 Segunda-feira, 27 de julho 🕤 9:30 – 12:30 📍 The Collider, 477 Pitt St, Haymarket 2000 ☕ Chá da manhã fornecido, cortesia do Soul Origin