אבטחת בינה מלאכותית עם גבולות מחמירים

כאשר הסוכנים שלך יכולים להגיע למערכות אמיתיות ולפעול על נתונים חיים, השאלה מפסיקה להיות "האם זה יכול לעשות את זה?" ומתחילה להיות "האם זה צריך, ומי אחראי אם זה לא עוצר את עצמו?" הישיבה הזו חודרת לתוך ההשלכות של חוסר יישום נכון של הגבולות והגדרות ההגנה עבור סוכני בינה מלאכותית. אנו מתחילים במקרה מופת של Moffatt נגד Air Canada — צ'אטבוט שהמציא מדיניות תעריף אבלות שלא הייתה קיימת — כדוגמה מובילה. משם, נחקור את הנוף המלא של סיכוני הסוכן: מדיניות הוזיה, דליפת PII, הזרקת פקודות, ניסי פריצה, וכן את הבעיה היומיומית אך עדיין מזיקה של סוכן הנודד לתוך tangent לא רלוונטי ומביך. נתמקד במנגנוני ההגנה שמחזיקים את הגבולות הללו: גבולות נושאיים שמסמנים קו ברור סביב נושאים ספציפיים, סינון אתי שמתווסף מעל מראשי המודלים של הספק, זיהוי פריצות, מחיקת PII עם תמיכה ישירה עבור ישויות מותאמות אישית, וקשר למציאות—כוחו של סוכן לענות רק מההקשר שהוא קיבל.