Wann RAG nicht falsch sein kann

Wir werden ein unvergessliches Gespräch auf Portugiesisch mit Alex, AI-Engineer direkt aus Frankfurt, haben! Er wird ein praktisches Experiment präsentieren und eine grundlegende Frage für diejenigen beantworten, die KI-Systeme aufbauen: Ist es möglich, teure kommerzielle KIs für komplexe Aufgaben abzulehnen und die Pipeline auf lokale Hardware zu migrieren?📌 Was Sie in dem Vortrag sehen werden:Echter Fallstudie: Wie wir Marcus (RAG-Prototyp mit Agenten für juristische Recherchen in Lateinamerika, ursprünglich erstellt mit Gemini und Claude) genommen und seine Grenzen getestet haben, indem wir es auf Gemma 4 über das Agent Development Kit (ADK) geklont haben.Infrastruktur: Alles auf einer personalisierten GPU (RTX 4070 Ti Super 16GB) laufen lassen.Ingenieurwesen in der Praxis: Strukturierung von Eingabeaufforderungen, Optimierung des Token-Budgets und lokale Evaluierung, um offene Modelle näher an große kommerzielle APIs zu bringen.Ergebnisse und Herausforderungen: Hindernisse in der logischen Formatierung, reale Erkenntnisse und ein klarer Fahrplan für diejenigen, die Agenten-Prototypen in Umgebungen mit offenen Gewichten migrieren möchten.