Kiedy RAG nie może się mylić

Będziemy mieć niezapomnianą rozmowę po portugalsku z Alexem, inżynierem AI prosto z Frankfurtu! Przedstawi praktyczny eksperyment i odpowie na fundamentalne pytanie dla tych, którzy budują systemy AI: Czy możliwe jest porzucenie drogich komercyjnych AI dla złożonych zadań i migracja pipeline'u na lokalny sprzęt?📌 Co zobaczysz podczas prelekcji:Rzeczywisty przypadek: Jak wzięliśmy Marcusa (prototyp RAG z agentami do badań prawnych w Ameryce Łacińskiej, pierwotnie stworzony z Gemini i Claude) i przetestowaliśmy jego limity, klonując go na Gemma 4 za pomocą Zestawu Narzędzi dla Agenta (ADK).Infrastruktura: Uruchamianie wszystkiego na GPU do użytku osobistego (RTX 4070 Ti Super 16GB).Inżynieria w praktyce: Strukturyzowanie promptów, optymalizacja budżetu tokenów i lokalna ocena, aby zbliżyć otwarte modele do głównych komercyjnych API.Wyniki i wyzwania: Przeszkody w formatowaniu logicznym, realne nauki i jasna mapa drogowa dla tych, którzy chcą migrować prototypy agentów do środowisk z otwartymi wagami.