Análise Artificial: Inferência Medida

Description

A inferência é o passo crítico que molda a velocidade, custo e qualidade de cada solicitação que sua aplicação faz. Com novos modelos sendo lançados semanalmente, o cenário da infraestrutura está mudando tão rápido quanto os próprios modelos.Criar uma escolha de provedor de inferência envolve várias considerações, incluindo velocidade, custo (incluindo descontos de preços de cache), latência e suporte no dia zero para novos modelos.A Análise Artificial avalia mais de 500 pontos de inferência em relação à velocidade, custo, latência e qualidade. Nossas avaliações mostram que as velocidades de saída para o mesmo modelo variam em até 15x entre provedores. Para a mesma consulta, o tempo de resposta de ponta a ponta pode variar em até 12×, enquanto a diferença de custo entre o provedor mais barato e o mais caro pode superar 3x.Participe da equipe da Análise Artificial para uma noite com líderes em inferência de IA. Vamos examinar as principais tendências de inferência, analisar o que os dados de referência revelam e discutir o que essas diferenças significam para aqueles que estão construindo com IA.Agenda:Oradores:A ser anunciado em breve…👀Aviso sobre fotografia e videografia: Ao participar deste evento, você reconhece que a fotografia e a videografia podem ocorrer. Se você não consentir, entre em contato com o anfitrião do evento.