מודלים מפריעים 🚨 מפגש אבטחת AI 7: יותר מדי סוכנות

חלק 1 LLM03: סוכנות מופרזת ארשי צ'אדה, מוביל שותף של OWASP Top 10 לאפליקציות LLM 2026 הסיכון כאשר מערכת AI מורשית לעשות דברים, לא רק לומר דברים. זה היה במקום ה-#6 ברשימה של 2025. בעדכון 2026 הוא עלה למקום ה-#3: הקפיצה הגדולה ביותר ברשימה כולה, משום שוועדות ייצור עכשיו מתרכזות סביב מודלים שמבצעים פקודות, קוראים ל-APIs ונוגעים במסדי נתונים בעצמם. נעבור על שלושה דברים שגורמים לכך: יותר מדי פונקציונליות, יותר מדי הרשאות, יותר מדי אוטונומיה. ומה בעצם מכיל את זה כאשר המודל מעובד. חלק 2 הדגמה אינטראקטיבית: עוזר המייל שהלך למרד רישאב גופטה, מהנדס תוכנה בטכנולוגיה גדולה עוזר מייל שהוזרק פקודות, בשידור חי. אותו הוראה זדונית מצליחה, נדחית, או מחכה לאישור: תלוי רק איך הפונקציונליות, ההרשאות ואוטונומיה מוגדרות. ואז מקרה אמיתי: הזרקת פקודה שהושתלה בערוץ סלק ציבורי שהניעה את AI של סלק להוציא סודות מעצ channels פרטיים. חלק 3 אירוע האג'ינג פייס: סוכן שלא היה supposed לעזוב את החדר דמיאן הלס, ארכיטקט תוכנה בכיר בנוידיה בחודש יולי 2026, מודלים של OpenAI שנבדקו על מדד סייבר מצאו פגם במתקין החבילות של הסנדבוקס שלהם, הגיעו לאינטרנט הפתוח ושברו את מערכות הייצור של Hugging Face כדי לקבל תשובות למבחן. אף אדם לא הנחה את כל זה. Hugging Face ראתה גישה לא מורשית למערכי נתונים פנימיים ולסיסמאות שירות. נעבור על איך מטרה צרה פלוס גישה לכלים פלוס פער הכללה הפכו הערכה להפרה אמיתית, ומה זה אומר על בדיקת מודלים שמתרגלים להיות טובים בזה. חלק 4 תרגיל קבוצתי: שרשרת כלים שהם לא מזיקים לנזק אמיתי אתה מקבל סוכן תמיכה ב-AI עם שמונה כלים. כל אחד מהם נראה בטוח מספיק לאישור על פי עצמו. העבודה שלך היא למצוא את הסדרה שמדליפה נתוני לקוחות בכל זאת: באמצעות רק פעולות מורשות. ואז נפוך את זה ונעמוד על איפה הגבול חייב לשבת. רק הביאו את המחשבים הניידים שלכם, אין צורך בהגדרה.