Open-Source Videogeneratie: Diffusie- & Transformermodels - AI Bouw & Leer

Welkom bij AI Bouw & Leer, een wekelijkse AI-engineeringstream waarin we een nieuw onderwerp behandelen en samen leren door te bouwen. ​Dit evenement gaat over het genereren van video met AI, waarbij we verder gaan waar het evenement over afbeeldgeneratie is gebleven. Zoals met afbeeldingen, zijn we niet gebonden aan één specifiek model — we zullen verschillende verkennen en zien hoe ver de open-source opties zijn gekomen. Open source is de focus, maar commerciële modellen (Sora, Runway en anderen) zijn ook toegestaan als je wilt vergelijken. ​De meeste huidige videomodellen zijn gebaseerd op dezelfde diffusie fundamenten als afbeeldgeneratie, uitgebreid over de tijd en steeds meer gebruikmakend van transformer/DiT backbones. We zullen een paar open-source tekst-naar-video en afbeelding-naar-video modellen uitproberen en de praktische afwegingen bespreken: kwaliteit, cliplengte, snelheid en hardwarevereisten. ​Enkele dingen om op te zoeken om te beginnen: ​ Open-source modellen: * ​Wan 2.2 (Alibaba Tongyi): veelzijdig MoE-model: tekst-naar-video, afbeelding-naar-video en bewerken in één * ​HunyuanVideo (Tencent): sterke cinematografische / fotorealistische kwaliteit * ​LTX-Video / LTX-2 (Lightricks): de snelle; ~5s clip in minder dan een minuut op een enkele GPU * ​CogVideoX (Zhipu / THUDM): het beste in het volgen van gedetailleerde, meerdere prompts * ​Mochi 1 (Genmo): flow-matching model bekend om vloeiende, coherente beweging * ​Stabiele Video Diffusie (Stability AI): eerdere afbeelding-naar-video, nog steeds veel gebruikt ​Tools: * ​Hugging Face Diffusers: video-pijplijnen: https://github.com/huggingface/diffusers * ​ComfyUI: node-gebaseerde workflows (populair voor video): https://github.com/comfyanonymous/ComfyUI ​​​Hulpmiddelen * ​​​GitHub: https://github.com/sagecodes/ai-build-and-learn * ​​​Evenementen Kalender: https://luma.com/ai-builders-and-learners * ​​​Slack (Discussie gedurende de week): https://slack.flyte.org/ * ​​​Gehost door Sage Elliott: https://www.linkedin.com/in/sageelliott/ ​​In deze stream * Introductie tot onderwerp * ​​​​Gemeenschapsdiscussie * Praktische voorbeelden ​​​Gemeenschapsuitdaging (optioneel) ​​​Probeer 30-90 minuten tijdens de week te besteden aan leren of bouwen aan iets gerelateerd aan het onderwerp, en deel wat je aan het doen bent in Slack. ​​​Opmerking over Flyte / Union ​​​Je kunt Flyte in sommige demonstraties zien. Flyte is een open-source AI-orchestratieplatform dat door Union (waar ik werk) wordt onderhouden voor het bouwen van schaalbare, duurzame en observeerbare AI-workflows. Je hoeft Flyte niet te gebruiken om deel te nemen. * ​​​Union: https://www.union.ai/ * ​​​Flyte: https://flyte.org/ ​​​Laat een opmerking achter met ideeën voor toekomstige onderwerpen (agenten, RAG, MLOps, robotica, frameworks en meer).