טיאני אלכס קיו | חישוב העדפות אידיאליות של בני אדם, שבירת מעגלי משוב של בינה מלאכותית

קבוצת חישוב של מכון פורסייט חישוב העדפות אידיאליות של בני אדם, שבירת מעגלי משוב של בינה מלאכותיתתקציר: כיצד מערכת בינה מלאכותית צריכה לסייע למישהו שאמונותיו והעדפותיו עדיין עיצובן תחת השפעה של מערכות בינה מלאכותית שכזו? גישות קלאסיות המבוססות על למידת העדפות ולמידת חיזוקים הפוכים טועות לעיתים קרובות בהבנת העדפות זמניות/כלי (למשל, כסף) כהעדפות יציבות/סופיות (למשל, רווחה). האחרונות הן סטטיות בעוד שהראשונות משתנות עם הזמן. בהנחה שהשתיים הן סטטיות, שיטות קלאסיות מראים כי הן מחזקות אמונות והעדפות זמניות/כלי של העיקר האנושי, אשר הוא עלול להצטער עליהן מאוחר יותר. כדי להימנע מהבעיה הזו, אנו מסירים את ההנחה על סטטיות ומציעים את המטרה האלטרנטיבית של למידת ההעדפה האידיאלית של האדם, כלומר, מצב האמונה/העדפה של האדם שהוא יציב ביותר לאחר הרהור מספיק ובפני מניעות סוקרטיות. אנו מראים כיצד ניתן למפורש ולחשב את היעד הזה בפועל, כאשר מאמנים עוזרי מודל שפה. ביוגרפיה: טיאני הוא שותף מנחה ב-Prevail, קבוצה עצמאית המטפלת בחוסר סוכנות אפיסטמית. הם מפתחים התערבויות הכשרה/הערכה (לעיתים קרובות עם בני אדם במעגל) וצעדים מערכתיים, מכוונים לדרכי כשל כמו נעילה על ערכים ארוכי טווח ומאפשרים תוצאות טובות כמו התקדמות מוסרית/ידע. טיאני הוא חוקר במעבדה HAI של אוניברסיטת אוקספורד, סטודנט לתואר דוקטור בשנה אפס במדעי המחשב בסטנפורד, וחבר לשעבר במלגת הבטיחות של אנתרופיק בינה מלאכותית. פרויקטי מחקר שהוא מנחה קיבלו שני פרסי מאמר הטוב ביותר: אחד ב-ACL'25 ואחד בסדנה של NeurIPS'24 על יישור פלורליסטי. https://tianyiqiu.net/ קבוצת חישוב קבוצה של מדענים, מהנדסים, ויזמים במדעי המחשב, ML, קריפטוגרפיה ותחומים קשורים, שמנצלים טכנולוגיות אלו לשיפור שיתוף פעולה וולונטרי בין בני אדם, ולבסוף בינה מלאכותית. קישור לזום: https://us02web.zoom.us/j/81623367983