Estructura del Agente de IA de Voz

Description

Acerca del taller ¿Qué sucede realmente desde el momento en que comienzas a hablar con un agente de voz inteligente hasta que escuchas su respuesta? Esta sesión nos lleva a un recorrido técnico dentro de la arquitectura que sustenta a los agentes de IA de voz en tiempo real, para entender cómo sus componentes trabajan juntos como un sistema unificado: desde el reconocimiento de voz y la conversión a texto (STT), hasta el procesamiento de solicitudes utilizando modelos de lenguaje grandes (LLMs), y luego generando la respuesta de voz a través de tecnologías de texto a voz (TTS). La experiencia no se detiene en estos tres componentes; la sesión también aborda uno de los aspectos más complejos de los sistemas de voz: cómo el agente sabe cuándo escuchar, cuándo hablar, cómo manejar interrupciones y turnos de palabra, y cómo reducir la latencia de respuesta para lograr una conversación que se sienta natural y fluida en lugar de una serie de solicitudes y respuestas separadas. Luego pasamos al desafío más difícil: construir estos sistemas para el mundo árabe. El árabe no significa un modelo que maneje un solo idioma en una forma fija; más bien, es un sistema lingüístico donde los dialectos se entrelazan, los patrones de pronunciación y el vocabulario difieren, y ocurre un cambio de código entre árabe e inglés dentro de la misma conversación. Estas características imponen desafíos adicionales en varias etapas del sistema, desde el reconocimiento de voz preciso hasta la comprensión del contexto y la generación de una voz que suene natural y se adapte al usuario. Estos desafíos aumentan al transferir el agente de voz de un modelo prototipo a un producto real que opera dentro de sectores regulados del Golfo, como la banca y la atención médica; donde la calidad del modelo por sí sola no es suficiente, sino que se deben incorporar consideraciones de privacidad, confiabilidad, cumplimiento y manejo de datos del usuario dentro del diseño central del sistema. La sesión descompone estas capas para entender qué se requiere para construir un agente de voz árabe capaz de funcionar en un entorno real, y no solo proporcionar una experiencia técnica impresionante. Acerca del hablante Fares comenzó su carrera como ingeniero de IA, antes de pasar a roles de producto y negocio, combinando su formación técnica con una comprensión de cómo construir y operar productos de IA en el mercado. Actualmente lidera las operaciones de producto en Surge, una plataforma de IA que se construye principalmente para árabe (primero árabe), trabajando en el desarrollo de agentes de voz y texto de IA para sectores regulados en la región del Golfo. A través de su trabajo en la intersección de la IA, productos y operaciones, Fares se centra en transformar tecnologías de IA desde modelos técnicos en productos utilizables y operables dentro de entornos de trabajo reales y sus requisitos regulatorios.