Génération d'images Open-Source : Modèles de Diffusion & LoRA - AI Build & Learn

Bienvenue à AI Build & Learn, un flux d'ingénierie AI hebdomadaire où nous choisissons un nouveau sujet et apprenons en construisant ensemble. ​Cet événement porte sur la génération d'images avec l'IA. Il n'y a pas de modèle unique sur lequel nous sommes enfermés, l'idée est d'explorer ce qui existe et d'en essayer quelques-uns. Nous nous concentrerons sur les modèles open-source, mais vous êtes libre d'apporter des modèles commerciaux (DALL·E, Midjourney, et amis) si vous souhaitez comparer. ​Nous essaierons d'examiner les deux grandes familles : les modèles basés sur la diffusion (l'approche dominante aujourd'hui) et les modèles d'images basés sur des transformateurs / autoregressifs. J'étudierai et testerai certaines des meilleures options open-source avant le flux, et si le temps le permet, nous essaierons également de faire du fine-tuning avec LoRA pour enseigner à un modèle un nouveau style ou sujet. ​Voici quelques éléments à rechercher pour commencer : ​Modèles open-source : * ​FLUX.2 (Black Forest Labs) : référence qualité actuelle en poids libres ; backbone DiT, jusqu'à 4MP, référence multi-image * ​Stable Diffusion 3.5 / SDXL (Stability AI) : écosystème le plus profond — LoRA, ControlNet, inpainting, innombrables fine-tunes * ​Qwen-Image (Alibaba) : bon tout-terrain, particulièrement bon pour le rendu de texte (y compris en chinois) * ​Z-Image / Z-Image-Turbo : Apache-2.0, qualité proche de FLUX.2 en seulement quelques étapes (rapide et commercialement amical) * ​HunyuanImage (Tencent) : une autre option open-weight de haute qualité ​Outils : * ​Hugging Face Diffusers : https://github.com/huggingface/diffusers * ​ComfyUI : workflows basés sur des nœuds : https://github.com/comfyanonymous/ComfyUI * ​Fine-tuning LoRA pour les modèles de diffusion ​Ressources * ​​​GitHub : https://github.com/sagecodes/ai-build-and-learn * ​​​Calendrier des événements : https://luma.com/ai-builders-and-learners * ​​​Slack (Discuter pendant la semaine) : https://slack.flyte.org/ * ​​​Animé par Sage Elliott : https://www.linkedin.com/in/sageelliott/ ​Dans ce flux * Introduction au sujet * ​​​​Discussion communautaire * Exemples pratiques ​​​Défi communautaire (facultatif) ​​​Essayez de passer 30 à 90 minutes pendant la semaine à apprendre ou à construire quelque chose en rapport avec le sujet, puis partagez ce sur quoi vous travaillez dans Slack. ​​​Remarque sur Flyte / Union ​​​Vous pouvez voir Flyte utilisé dans certaines démos. Flyte est une plateforme d'orchestration AI open-source maintenue par Union (où je travaille) pour construire des flux de travail AI évolutifs, durables et observables. Vous n'avez pas besoin d'utiliser Flyte pour participer. * ​​​Union : https://www.union.ai/ * ​​​Flyte : https://flyte.org/ ​​​Laissez un commentaire avec des idées pour de futurs sujets (agents, RAG, MLOps, robotique, frameworks, et plus).