#39 - Optymalizacja Modeli i Inferencja oparta na CPU

Wszystko w porządku!!! Spotkanie #39 odbędzie się 24 września w AI Sweden i skupi się na "Optymalizacji Modeli i Inferencji opartej na CPU". Jesteśmy niezwykle podekscytowani współpracą z hiszpańskimi czarodziejami Quantum AI, firmą Multiverse Computing oraz wielkimi technologicznymi graczami, takimi jak Intel i HPE. Program jest w trakcie opracowywania, więc bądźcie czujni na aktualizacje! W obszarze optymalizacji modeli i inferencji dzieje się ogromna ilość rzeczy. Codziennie ogłaszane są nowe podejścia, takie jak możliwość uruchomienia niedawno wydanego modelu Kimi K3 z 2,78 bilionem parametrów na pojedynczym CPU z 8GB pamięci...!!! lub ogłoszenie Multiverse Computing z 23 lipca, że wszystkie ich skompresowane modele teraz działają na procesorach Intel Xeon 6. Więc zapięcie pasy i przygotujcie się na przyjęcie! Program Wydarzenia- Drzwi otwierają się o 17:00 CET- Prezentacje zaczynają się o 17:45 CET- Będą pizze i napoje- Może być moderowana sesja Q&A.... Linia mówców TBD... - Franco Serra, Architekt Rozwiązań w Multiverse Computing wygłosi prezentację zatytułowaną "Ultra wydajne modele do skalowania Twojego centrum danych GenAI i dostosowane do wdrożeń na brzegu". Abstrakt: W miarę jak organizacje ścigają się, aby wdrożyć Generatywną AI, dwa wyzwania dominują: jak skalować inferencję ekonomicznie w centrum danych oraz jak wprowadzić inteligencję na brzegu, gdzie łączność, zasilanie i miejsce są ograniczone. Multiverse Computing produkuje ultra-wydajne, skompresowane modele AI, w tym LLM-y, VLM-y, modele przetwarzania mowy oraz wizji komputerowej – zaprojektowane tak, aby dostarczały tę samą dokładność przy ułamku wymagań pamięciowych. Dzięki integracji z sprzętem Intel® przedsiębiorstwa mogą wdrażać większe modele AI na istniejącej infrastrukturze zamiast ją rozszerzać. W centrum danych, szczuplejsze modele przekładają się bezpośrednio na wyższą przepustowość, niższe zużycie energii i poprawiony ROI, umożliwiając większej liczbie użytkowników i obciążeń działanie na tej samej infrastrukturze. Na brzegu, te same przełomy w kompresji umożliwiają wdrożenie GenAI w ograniczonych środowiskach — przynosząc bezpieczną, niskolatencyjną AI do środowisk taktycznych. - Thomas Melzer, Starszy Architekt Rozwiązań w Intel wygłosi prezentację na temat powrotu znaczenia CPU w inferencji.... - Johan Fondin, Architekt Rozwiązań w HPE wygłosi prezentację na temat dynamiki przechowywania, strumieniowania i pamięci... Czekamy na spotkanie z Wami, /Patrick & zespół MLOps w Sztokholmie