Generowanie obrazów w open-source: modele dyfuzji i LoRA - AI Build & Learn

Witaj w AI Build & Learn, cotygodniowym streamie inżynieryjnym AI, gdzie wybieramy nowy temat i uczymy się poprzez wspólne budowanie. ​To wydarzenie dotyczy generowania obrazów przy użyciu AI. Nie jesteśmy przywiązani do jednego modelu, celem jest eksploracja tego, co jest dostępne i faktyczne wypróbowanie kilku. Skupimy się na modelach open-source, ale możesz też przynieść komercyjne (DALL·E, Midjourney i inne), jeśli chcesz porównać. ​Spróbujemy przyjrzeć się obu głównym rodzinom: modelom opartym na dyfuzji (dominujące podejście dziś) oraz modelom obrazowym opartym na transformatorach / autoregresywnym. Zbadałem i wypróbuję najlepsze opcje open-source przed streamem, a jeśli czas pozwoli, spróbujemy również fintuningu z LoRA, aby nauczyć model nowego stylu lub tematu. ​Kilka rzeczy, które warto poszukać na początek: ​Modele open-source: * ​FLUX.2 (Black Forest Labs): aktualny benchmark jakości z otwartymi wagami; struktura DiT, do 4MP, referencja wieloobrazowa * ​Stable Diffusion 3.5 / SDXL (Stability AI): najgłębszy ekosystem — LoRA, ControlNet, inpainting, niezliczone fine-tuny * ​Qwen-Image (Alibaba): silny wszechstronny, szczególnie dobry w renderowaniu tekstu (w tym chińskiego) * ​Z-Image / Z-Image-Turbo: Apache-2.0, blisko jakości FLUX.2 w zaledwie kilku krokach (szybki i przyjazny komercyjnie) * ​HunyuanImage (Tencent): kolejna opcja open-weight o wysokiej jakości ​Narzędzia: * ​Hugging Face Diffusers: https://github.com/huggingface/diffusers * ​ComfyUI: przepływy oparte na węzłach: https://github.com/comfyanonymous/ComfyUI * ​Fintuning LoRA dla modeli dyfuzji ​Zasoby * ​​​GitHub: https://github.com/sagecodes/ai-build-and-learn * ​​​Kalendarz wydarzeń: https://luma.com/ai-builders-and-learners * ​​​Slack (Dyskusja w ciągu tygodnia): https://slack.flyte.org/ * ​​​Gospodarzem jest Sage Elliott: https://www.linkedin.com/in/sageelliott/ ​W tym streamie * Wstęp do tematu * ​​​​Dyskusja społecznościowa * Praktyczne przykłady ​​​Wyzwanie społeczności (opcjonalne) ​​​Spróbuj spędzić 30–90 minut w ciągu tygodnia ucząc się lub budując coś związanego z tematem, a następnie podziel się tym, nad czym pracujesz w Slacku. ​​​Uwaga na Flyte / Union ​​​Możesz zobaczyć Flyte używane w niektórych demonstracjach. Flyte to platforma orkiestracji AI open-source utrzymywana przez Union (gdzie pracuję) do budowania skalowalnych, trwałych i obserwowalnych przepływów AI. Nie musisz używać Flyte, aby wziąć udział. * ​​​Union: https://www.union.ai/ * ​​​Flyte: https://flyte.org/ ​​​Zostaw komentarz z pomysłami na przyszłe tematy (agenci, RAG, MLOps, robotyka, frameworki i inne).