#39 - אופטימיזציה של מודלים ואינפראנס מבוסס CPU

מעולה!!! המפגש #39 יתקיים ב-24 בספטמבר ב-AI Sweden ויתמקד ב"אופטימיזציה של מודלים ואינפראנס מבוסס CPU". אנחנו מתרגשים מאוד לשתף פעולה עם הקוסמים הספרדים של Quantum AI, Multiverse Computing ותאגידי הטכנולוגיה אינטל ו-HPE. התוכנית נמצאת עדיין בפיתוח, אז הישארו מעודכנים! יש כמות אדירה של פעילויות בתחום האופטימיזציה של מודלים ואינפראנס. גישות חדשות לשני התחומים הללו מתפרסמות מדי יום, כמו האפשרות להריץ את המודל עם 2.78 טריליון פרמטרים, Kimi K3, על CPU אחד עם 8GB של זיכרון...!!! או ההודעה של Multiverse Computing מ-23 ביולי שכל המודלים המצומצמים שלהם עכשיו פועלים על מעבדי Intel Xeon 6. אז התכוננו והשארו מחוברים! תוכנית האירוע- הדלתות נפתחות בשעה 17:00 CET- ההרצאות מתחילות בשעה 17:45 CET- יהיו פיצות ומשקאות- יתכן ויהיה מענה לדיונים מנותבים.... רשימת הדוברים תתעדכן מאוחר יותר... - פרנקו סרה, ארכיטקט פתרונות במולטיברס קאמפיינג ייתן לנו הרצאה שכותרתה "מודלים אולטרה-יעילים להרחבת מרכז הנתונים שלכם ב-genAI והתאמה ליישומים על ה-edge". תקציר: כאשר ארגונים ממהרים לפרוס AI גנרטיבי, שני אתגרים בולטים: כיצד להרחיב את האינפראנס בצורה כלכלית במרכז הנתונים, וכיצד להביא אינטליגנציה על ה-edge שבו החיבוריות, החשמל והשטח מוגבלים. Multiverse Computing מייצרת מודלים אולטרה-יעילים ומצומצמים של AI, כולל LLMs, VLMs, מודלים של דיבור לטקסט ומודלים של ראייה ממוחשבת — מתוכננים לספק את אותה דיוק עם חלק קטן מהדרישות בזיכרון. על ידי שילוב עם חומרה של Intel®, חברות יכולות לפרוס מודלים גדולים יותר של AI על תשתיות קיימות במקום להרחיב אותן. במרכז הנתונים, מודלים רזים יותר מתורגמים ישירות לתוך תוצאות גבוהות יותר, צריכת אנרגיה נמוכה יותר, ושיפור ה-ROI על ידי אפשרות להריץ יותר משתמשים ועומסים על אותה תשתית. על ה-edge, אותן breakthroughs של דחיסה מאפשרות לפרוס GenAI בסביבות מוגבלות — מביאים AI מאובטח, עם Latency נמוך לסביבות טקטיות. - תומס מלצר, ארכיטקט פתרונות בכיר באינטל ייתן הרצאה על חידוש הרלוונטיות של CPUs לאינפראנס.... - יוהן פונדין, ארכיטקט פתרונות ב-HPE ייתן הרצאה על הדינמיקה של אחסון, סטרימינג וזיכרון... מצפים לראותכם שם, /פטריק וצוות MLOps של שטוקהולם