יצירת וידאו בקוד פתוח: מודלים של דיפוזיה וטרנספורמרים - AI Build & Learn

ברוכים הבאים ל-AI Build & Learn, סטרים שבועי להנדסת AI שבו אנחנו בוחרים נושא חדש ולומדים על ידי בנייה ביחד. האירוע הזה עוסק ביצירת וידאו עם AI, ממשיכים בדיוק מהמקום שבו אירוע יצירת התמונות הסתיים. כמו בתמונות, אין מודל יחיד שבו אנחנו מחויבים - נחקור כמה מהם ונסתכל עד היכן שבחרו האופציות בקוד פתוח. הקוד הפתוח הוא המוקד, אך מודלים מסחריים (Sora, Runway ואחרים) הם בהחלט באים בחשבון אם אתה רוצה להשוות. רוב המודלים הנוכחיים של וידאו מבוססים על אותן יסודות דיפוזיה כמו יצירת תמונות, ומתרחבים על פני זמן ומשתמשים יותר ויותר ביסודות טרנספורמר/DiT. ננסה כמה מודלים בקוד פתוח של טקסט-לוידאו ודימוי-לוידאו ונדבר על הוויתורים המעשיים: איכות, אורך קליפ, מהירות, ודרישות חומרה. כמה דברים לחפש כדי להתחיל: מודלים בקוד פתוח: * ​Wan 2.2 (Alibaba Tongyi): מודל MoE רב-תכליתי: טקסט-לוידאו, דימוי-לוידאו, ועריכה במקום אחד * ​HunyuanVideo (Tencent): איכות קולנועית / פוטו-ריאליסטית חזקה * ​LTX-Video / LTX-2 (Lightricks): המודל המהיר; ~5s קליפ בפחות מדקה על GPU יחיד * ​CogVideoX (Zhipu / THUDM): הטוב ביותר במעקב אחרי הנחיות מפורטות, רב-חלקיות * ​Mochi 1 (Genmo): מודל תואם תנועה הידוע בתנועה זורמת ואחידה * ​Stable Video Diffusion (Stability AI): דינמי לפני חהמין, עדיין בשימוש רחב כלים: * ​Hugging Face Diffusers: צינורות וידאו: https://github.com/huggingface/diffusers * ​ComfyUI: זרימות עבודה מבוססות צמתים (באופן פופולרי גם לוידאו): https://github.com/comfyanonymous/ComfyUI ​​​משאבים * ​​​GitHub: https://github.com/sagecodes/ai-build-and-learn * ​​​לוח אירועים: https://luma.com/ai-builders-and-learners * ​​​Slack (דיון במהלך השבוע): https://slack.flyte.org/ * ​​​מנחה: Sage Elliott: https://www.linkedin.com/in/sageelliott/ ​​בזרם הזה * היכרות עם הנושא * ​​​​דיון קהילתי * דוגמאות מעשיות ​​​אתגר קהילתי (אופציונלי) ​​​נסה להקדיש 30–90 דקות במהלך השבוע ללמידה או בנייה של משהו שקשור לנושא, ואז שתף מה אתה עובד עליו ב-Slack. ​​הערה על Flyte/Union ​​​אתה עשוי לראות את Flyte בשימוש בכמה דמואים. Flyte היא פלטפורמת אופן קוד לשילוב AI המנוהלת על ידי Union (איפה שאני עובד) לבניית זרימות עבודה AI ניתנות להרחבה, עמידות, וניתנות לתצפית. אינך צריך להשתמש ב-Flyte כדי להשתתף. * ​​​Union: https://www.union.ai/ * ​​​Flyte: https://flyte.org/ ​​​השאירו תגובה עם רעיונות לנושאים עתידיים (סוכנים, RAG, MLOps, Robotics, מסגרות, ועוד).