Estrutura do Agente de IA de Voz

Description

Sobre o workshop O que realmente acontece desde o momento em que você começa a falar com um agente de voz inteligente até ouvir sua resposta? Esta sessão nos leva a um tour técnico dentro da arquitetura que sustenta agentes de IA de voz em tempo real, para entender como seus componentes trabalham juntos como um sistema unificado: desde o reconhecimento de fala e conversão para texto (STT), até o processamento de solicitações usando grandes modelos de linguagem (LLMs) e, em seguida, gerando a resposta de voz por meio de tecnologias de conversão de texto em fala (TTS). A experiência não para nesses três componentes; a sessão também aborda um dos aspectos mais complexos dos sistemas de voz: como o agente sabe quando ouvir, quando falar, como lidar com interrupções e turnos de conversa, e como reduzir a latência de resposta para alcançar uma conversa que pareça natural e suave, em vez de uma série de solicitações e respostas separadas. Depois, passamos para o desafio mais difícil: construir esses sistemas para o mundo árabe. Árabe não significa um modelo que gerencia uma língua em uma forma fixa; em vez disso, é um sistema linguístico onde dialetos se entrelaçam, padrões de pronúncia e vocabulário diferem, e a troca de código ocorre entre árabe e inglês dentro da mesma conversa. Essas características impõem desafios adicionais em várias etapas do sistema, desde o reconhecimento de fala precisa até a compreensão do contexto e a geração de uma voz que soe natural e se ajuste ao usuário. Esses desafios aumentam ao transferir o agente de voz de um modelo protótipo para um produto real operando em setores regulamentados do Golfo, como bancos e saúde; onde a qualidade do modelo sozinha não é suficiente, mas considerações sobre privacidade, confiabilidade, conformidade e manuseio de dados do usuário devem ser incorporadas ao design central do sistema. A sessão destrincha essas camadas para entender o que é necessário para construir um agente de voz árabe capaz de funcionar em um ambiente real, e não apenas fornecer uma experiência técnica impressionante. Sobre o palestrante Fares começou sua carreira como engenheiro de IA, antes de fazer a transição para papéis de produto e negócios, combinando seu conhecimento técnico com uma compreensão de como construir e operar produtos de IA no mercado. Atualmente, ele lidera as operações de produto na Surge, uma plataforma de IA que é principalmente construída para árabe (primeiro em árabe), trabalhando no desenvolvimento de agentes de IA de voz e texto para setores regulamentados na região do Golfo. Através de seu trabalho na interseção de IA, produtos e operações, Fares se concentra em transformar tecnologias de IA de modelos técnicos em produtos utilizáveis e operáveis dentro de ambientes de trabalho reais e seus requisitos regulatórios.