Generación de Video de Código Abierto: Modelos de Difusión y Transformador - AI Build & Learn

Bienvenido a AI Build & Learn, una transmisión semanal de ingeniería de IA donde elegimos un nuevo tema y aprendemos construyendo juntos. ​Este evento trata sobre la generación de video con IA, continuando donde el evento de generación de imágenes se quedó. Al igual que con las imágenes, no nos comprometemos a un solo modelo: exploraremos varios y veremos hasta dónde han llegado las opciones de código abierto. El código abierto es el enfoque, pero los modelos comerciales (Sora, Runway y otros) son una opción válida si quieres comparar. ​La mayoría de los modelos de video actuales se basan en los mismos cimientos de difusión que la generación de imágenes, extendiéndose a lo largo del tiempo y utilizando cada vez más fondos de transformador/DiT. Probaremos algunos modelos de texto a video y de imagen a video de código abierto y discutiremos las compensaciones prácticas: calidad, duración del clip, velocidad y requisitos de hardware. ​Algunas cosas que buscar para comenzar: ​ Modelos de código abierto: * ​Wan 2.2 (Alibaba Tongyi): modelo versátil MoE: texto a video, imagen a video y edición en uno * ​HunyuanVideo (Tencent): calidad cinematográfica / fotorealista fuerte * ​LTX-Video / LTX-2 (Lightricks): el rápido; ~5s de clip en menos de un minuto en una sola GPU * ​CogVideoX (Zhipu / THUDM): el mejor para seguir indicaciones detalladas y multipartes * ​Mochi 1 (Genmo): modelo de coincidencia de flujo conocido por su movimiento fluido y coherente * ​Stable Video Diffusion (Stability AI): generación de imágenes a video anterior, todavía ampliamente utilizado ​Herramientas: * ​Hugging Face Diffusers: tuberías de video: https://github.com/huggingface/diffusers * ​ComfyUI: flujos de trabajo basados en nodos (también popular para video): https://github.com/comfyanonymous/ComfyUI ​​​Recursos * ​​​GitHub: https://github.com/sagecodes/ai-build-and-learn * ​​​Calendario de Eventos: https://luma.com/ai-builders-and-learners * ​​​Slack (Discute durante la semana): https://slack.flyte.org/ * ​​​Presentado por Sage Elliott: https://www.linkedin.com/in/sageelliott/ ​​En esta transmisión * Introducción al tema * ​​​​Discusión Comunitaria * Ejemplos prácticos ​​​Desafío comunitario (opcional) ​​​Intenta pasar 30–90 minutos durante la semana aprendiendo o construyendo algo relacionado con el tema, luego comparte en qué estás trabajando en Slack. ​​​Nota sobre Flyte / Union ​​​Es posible que veas Flyte utilizado en algunas demostraciones. Flyte es una plataforma de orquestación de IA de código abierto mantenida por Union (donde trabajo) para construir flujos de trabajo de IA escalables, duraderos y observables. No necesitas utilizar Flyte para participar. * ​​​Union: https://www.union.ai/ * ​​​Flyte: https://flyte.org/ ​​​Deja un comentario con ideas para futuros temas (agentes, RAG, MLOps, robótica, marcos, y más).