#39 - Modelloptimierung und CPU-gestützte Inferenz

Alles klar!!! Das Meetup #39 findet am 24. September bei AI Sweden statt und konzentriert sich auf "Modelloptimierung und CPU-gestützte Inferenz". Wir sind super aufgeregt, mit den spanischen Quanten-KI-Zauberern von Multiverse Computing und den Technologiegiganten Intel und HPE zusammenzuarbeiten. Das Programm wird derzeit ausgearbeitet, also bleibt dran für Updates! Es passiert unglaublich viel im Bereich der Modelloptimierung und Inferenz. Täglich werden neuartige Ansätze vorgestellt, wie z. B. die Möglichkeit, das kürzlich veröffentlichte Modell mit 2,78 Billionen Parametern, Kimi K3, auf einer einzigen CPU mit 8 GB RAM auszuführen...!!! oder die Ankündigung von Multiverse Computing am 23. Juli, dass alle ihre komprimierten Modelle jetzt auf Intel Xeon 6-Prozessoren laufen. Schnallt euch an und macht euch bereit für den Aufprall! Eventprogramm - Türen öffnen um 17:00 Uhr CET - Vorträge beginnen um 17:45 Uhr CET - Es wird Pizzen und Getränke geben - Es könnte eine moderierte Q&A-Session geben.... Redneraufstellung TBD... - Franco Serra, Solutions Architect bei Multiverse Computing, wird einen Vortrag mit dem Titel "Ultra-effiziente Modelle zur Skalierung Ihres GenAI-Datencenters und für den Einsatz am Edge optimiert" halten. Abstract: Während Organisationen darum kämpfen, Generative AI bereitzustellen, dominieren zwei Herausforderungen: wie man Inferenz wirtschaftlich im Datencenter skaliert und wie man Intelligenz an den Rand bringt, wo Konnektivität, Energie und Platz begrenzt sind. Multiverse Computing entwickelt ultra-effiziente, komprimierte KI-Modelle, darunter LLMs, VLMs, Sprach-zu-Text und Computer Vision-Modelle - konstruiert, um die gleiche Genauigkeit mit einem Bruchteil des Speicherbedarfs zu liefern. Durch die Integration mit Intel®-Hardware können Unternehmen größere KI-Modelle auf bestehender Infrastruktur bereitstellen, anstatt diese zu erweitern. Im Datencenter übersetzen schlankere Modelle direkt in höhere Durchsatzraten, geringeren Energieverbrauch und verbesserte Rendite, indem mehr Benutzer und Arbeitslasten auf derselben Infrastruktur betrieben werden können. Am Edge ermöglichen die gleichen Kompressionsdurchbrüche die Bereitstellung von GenAI in eingeschränkten Umgebungen - was sichere, latenzarme KI in taktische Umgebungen bringt. - Thomas Melzer, Senior Solutions Architect bei Intel, wird einen Vortrag über die Wiederkehr der Relevanz von CPUs für die Inferenz halten.... - Johan Fondin, Solution Architect bei HPE, wird einen Vortrag über die Dynamik von Speicher, Streaming und Speicher halten... Wir freuen uns darauf, euch dort zu sehen, /Patrick & das Stockholm MLOps-Team