ModelOps Night: Avaliações, Roteamento e Referências

Uma análise técnica sobre a avaliação de produtos, agentes e fluxos de trabalho de IA em relação a tarefas do mundo real.À medida que os modelos melhoram, a pergunta difícil não é mais apenas "qual modelo é o melhor?" É se o seu produto, agente ou fluxo de trabalho realmente desempenha bem nas tarefas que seus usuários valorizam.Referências públicas raramente capturam seus casos extremos. Sistemas de produção reais têm entradas confusas, fluxos de trabalho de múltiplas etapas, chamadas de ferramentas, restrições de latência, compromissos de custo e modos de falha que só aparecem na prática.Este evento reúne equipes que estão construindo a infraestrutura para avaliar sistemas de IA no mundo real.Nós ouviremos da Composio sobre a construção de avaliações para fluxos de trabalho do mundo real, da GMI Cloud sobre o roteamento de modelos para otimizar desempenho e gastos, da Handshake sobre a criação de referências de alta qualidade que definem a fronteira, e da Oqoqo sobre como avaliar e melhorar a experiência do agente construindo sua própria referência.Se você está construindo ferramentas para agentes, agentes personalizados ou fluxos de trabalho internos, este é um local para conversas práticas sobre como medir o que realmente funciona.Programa17:30 Abertura das portas · comida e bebidas18:00 Composio: construindo avaliações para fluxos de trabalho do mundo real (Jayesh Sharma, Engenheiro de IA na Composio)18:15 GMI Cloud: roteamento de modelos para otimizar desempenho e gastos18:30 Handshake: Construindo referências para trabalho de agentes economicamente valiosos (Jonas Mueller, Diretor de Pesquisa em IA, Handshake AI)18:45 Oqoqo: avaliando e melhorando a experiência do agente construindo sua própria referência (Haritha Nair, CTO, Oqoqo)19:00 NetworkingQuem deve participarFundadores, engenheiros de produtos, engenheiros de IA e equipes que estão construindo produtos voltados para agentes, fluxos de trabalho internos ou sistemas que precisam ser testados em relação a tarefas reais de usuários.