Генерация изображений с открытым исходным кодом: модели диффузии и LoRA - AI Build & Learn

Добро пожаловать на AI Build & Learn, еженедельный стрим по инженерии искусственного интеллекта, где мы выбираем новую тему и учимся, создавая вместе. ​Это мероприятие посвящено генерации изображений с помощью ИИ. Мы не привязаны к какой-либо одной модели, цель — изучить то, что есть, и на самом деле попробовать несколько вариантов. Мы сосредоточимся на моделях с открытым исходным кодом, но вы также можете принести коммерческие варианты (DALL·E, Midjourney и другие), если захотите провести сравнение. ​Мы постараемся рассмотреть обе основные семьи: модели на основе диффузии (доминирующий подход на сегодняшний день) и модели изображений на основе трансформеров / авторегрессионные. Я проведу исследование и попробую некоторые из лучших вариантов с открытым исходным кодом перед стримом, и если время позволит, мы также попробуем тонкую настройку с помощью LoRA, чтобы научить модель новому стилю или теме. ​Несколько вещей, которые следует изучить, чтобы начать: ​Модели с открытым исходным кодом: * ​FLUX.2 (Black Forest Labs): текущая эталонная оценка качества открытых весов; основа DiT, до 4MP, многослойная ссылка на изображения * ​Stable Diffusion 3.5 / SDXL (Stability AI): самая глубокая экосистема — LoRA, ControlNet, инпейнтинг, бесконечные тонкие настройки * ​Qwen-Image (Alibaba): сильный универсал, особенно хорош в рендеринге текста (включая китайский) * ​Z-Image / Z-Image-Turbo: Apache-2.0, качество, близкое к FLUX.2, всего за несколько шагов (быстро и удобно для коммерческого использования) * ​HunyuanImage (Tencent): еще один качественный вариант с открытыми весами ​Инструменты: * ​Hugging Face Diffusers: https://github.com/huggingface/diffusers * ​ComfyUI: рабочие процессы на основе узлов: https://github.com/comfyanonymous/ComfyUI * ​Тонкая настройка LoRA для моделей диффузии ​Ресурсы * ​​​GitHub: https://github.com/sagecodes/ai-build-and-learn * ​​​Календарь событий: https://luma.com/ai-builders-and-learners * ​​​Slack (обсуждение в течение недели): https://slack.flyte.org/ * ​​​Ведущий — Сейдж Элиот: https://www.linkedin.com/in/sageelliott/ ​В этом стриме * Введение в тему * ​​​​Обсуждение сообщества * Практические примеры ​​​Задача сообщества (по желанию) ​​​Попробуйте провести 30–90 минут в течение недели, изучая или создавая что-то, связанное с темой, а затем поделитесь своей работой в Slack. ​​​Примечание по Flyte / Union ​​​Вы можете увидеть, что Flyte используется в некоторых демонстрациях. Flyte — это платформа оркестрации ИИ с открытым исходным кодом, поддерживаемая Union (где я работаю) для создания масштабируемых, надежных и наблюдаемой ИИ рабочих процессов. Вам не нужно использовать Flyte для участия. * ​​​Union: https://www.union.ai/ * ​​​Flyte: https://flyte.org/ ​​​Оставьте комментарий с идеями для будущих тем (агенты, RAG, MLOps, робототехника, фреймворки и другое).