מודלים מפרים אבטחת AI

Description

מפגש המחקר על אבטחת AI באזור מפרץ חוזר עם מפגש ממוקד על OWASP LLM01:2026 — החדרת פקודות. זוהי הסיכון הבסיסי במדריך OWASP Top 10 עבור יישומי LLM, והמהדורה של 2026 משקפת שנה שבה החדרת פקודות עברה מתיאוריה ליישום: החדרת מידע מזיק דרך מסמכים ללא לחיצה נגד Microsoft 365 Copilot (EchoLeak, CVE-2025-32711), פעולות הרסניות המנוהלות על ידי סוכנים ב-Amazon Q (AWS-2025-015 AWS-2025-019), חפירות ממסד נתונים שמתבצעות על ידי MCP נגד Supabase, החדרה עקיפה דרך בעיות GitHub נגד עוזרי קוד הקשורים ל-MCP, ודלתות אחוריות בשרשראות אספקה בחבילות כמו postmark-mcp. נעבור על מודל האיום מאחורי תקריות אלו — החדרה ישירה מול החדרה עקיפה, התקפות על שטחים בטוחים דרך MCP, רעילות זיכרון ומערכי RAG, משקלים מולטי-מודל ופגיעות בלתי נראות, הקטגוריה של "ה tuning מהנה" נגד מודלים עם משקל סגור — ומה ההגנות שמחזיקות מעמד תחת מתקפה אדפטיבית. למקצת הכנה, אתה יכול לקרוא: https://github.com/GenAI-Security-Project/GenAI-LLM-Top10/blob/main/2026LLM01_PromptInjection.md לפני האירוע, כדי להוציא יותר ערך ממנו. אותו פורמט קבוצתי קטן כמו בפעם הקודמת. הביאו איתכם מסמך שחשבתם עליו, ממצא שאתם יושבים עליו, שרשרת ניצול שאתם עובדים עליה, או הגנה שאתם רוצים לבדוק מול אנשים שדוחפים חזרה. הכניסה של OWASP LLM01:2026 תהיה ההפניה שלנו, אבל האג'נדה היא מה שהחדר רוצה לחקור. כדי להשתתף או להציג מסמך/פרויקט/כל דבר הקשור לאבטחת AI, פנו בדוא"ל ל[[[email protected]](mailto:[email protected])](mailto:[email protected]).