Geração de Vídeo Open-Source: Modelos de Difusão e Transformadores - AI Build & Learn

Bem-vindo ao AI Build & Learn, uma transmissão semanal de engenharia de IA onde escolhemos um novo tópico e aprendemos construindo juntos. ​Este evento é sobre gerar vídeo com IA, continuando a partir do evento de geração de imagem. Assim como com as imagens, não há um único modelo ao qual estamos comprometidos — vamos explorar vários e ver até onde as opções open-source chegaram. O foco é no open source, mas modelos comerciais (Sora, Runway e outros) são válidos se você quiser comparar. ​A maioria dos modelos de vídeo atuais se baseia nos mesmos fundamentos de difusão que a geração de imagem, estendida ao longo do tempo e cada vez mais usando backbones de transformer/DiT. Vamos experimentar alguns modelos open-source de texto para vídeo e de imagem para vídeo e discutir as compensações práticas: qualidade, duração do clipe, velocidade e requisitos de hardware. ​Algumas coisas para pesquisar para começar: ​ Modelos open-source: * ​Wan 2.2 (Alibaba Tongyi): modelo versátil MoE: texto-para-vídeo, imagem-para-vídeo e edição em um * ​HunyuanVideo (Tencent): qualidade cinematográfica / fotorrealista forte * ​LTX-Video / LTX-2 (Lightricks): o rápido; ~5s de clipe em menos de um minuto em uma única GPU * ​CogVideoX (Zhipu / THUDM): melhor em seguir prompts detalhados e multipartes * ​Mochi 1 (Genmo): modelo de correspondência de fluxo conhecido por movimento fluido e coerente * ​Stable Video Diffusion (Stability AI): geração de imagem-para-vídeo anterior, ainda amplamente utilizado ​Ferramentas: * ​Hugging Face Diffusers: pipelines de vídeo: https://github.com/huggingface/diffusers * ​ComfyUI: fluxos de trabalho baseados em nós (popular para vídeo também): https://github.com/comfyanonymous/ComfyUI ​​​Recursos * ​​​GitHub: https://github.com/sagecodes/ai-build-and-learn * ​​​Calendário de Eventos: https://luma.com/ai-builders-and-learners * ​​​Slack (Discutir durante a semana): https://slack.flyte.org/ * ​​​Apresentado por Sage Elliott: https://www.linkedin.com/in/sageelliott/ ​​Nesta transmissão * Introdução ao tópico * ​​​​Discussão da Comunidade * Exemplos práticos ​​​Desafio da comunidade (opcional) ​​​Tente passar 30–90 minutos durante a semana aprendendo ou construindo algo relacionado ao tópico e, em seguida, compartilhe o que você está trabalhando no Slack. ​​​Observação sobre Flyte / Union ​​​Você pode ver Flyte usado em algumas demonstrações. Flyte é uma plataforma de orquestração de IA open-source mantida pela Union (onde trabalho) para construir fluxos de trabalho de IA escaláveis, duráveis e observáveis. Você não precisa usar Flyte para participar. * ​​​Union: https://www.union.ai/ * ​​​Flyte: https://flyte.org/ ​​​Deixe um comentário com ideias para tópicos futuros (agentes, RAG, MLOps, robótica, frameworks e mais).