סיכון של אוטונומיה זוחלת: סוכני בינה מלאכותית עלולים לצבור סמכויות מעבר לתכנון

Nancy Wang, סמנכ"לית טכנולוגיות ב-1Password, טוענת כי כל הרחבת אחריות של סוכן היא למעשה הוספה של גבול הרשאה חדש. היא מדגישה את ההבדל בין יכולת טכנית לבין הרשאה רשמית, וממליצה על שימוש בלולאות אימות. בשיטה זו, בני אדם מגדירים את המשימה והכלים המותרים, ומאמת חיצוני משווה את פעולות הסוכן למדיניות שהוגדרה, כדי למנוע מצב שבו הסוכן בודק את עבודתו של עצמו.

Paul Dongha מ-Natwest Group מציין כי הצלחה של מערכות בינה מלאכותית עלולה להחליש את הפיקוח, כאשר בודקים אנושיים מתחילים לראות באישור פורמליות בלבד. ב-Natwest משתמשים בסוכנים לניהול תלונות, אך החלטות סופיות נשארות בידי בני אדם. כאשר המערכת מראה ביצועים גבוהים, הפחתת הבקרה נעשית באופן מחושב ומעורבת גורמי סיכון, ולא באופן הדרגתי.

כדי לנהל את הסיכונים, מומלצים מנגנוני בקרה מחוץ למודל עצמו. Taylor מציע מדיניות זהות, ניטור ואישורים רב-שכבתיים, וטוען כי הרשאות לא צריכות להיות קבועות אלא להיבחן באופן רציף. Wang מציעה הרשאה מבוססת משימה, שבה ניתנות הרשאות קצרות טווח בזמן אמת בלבד.

בנוסף, מוצע לקשור כל סוכן לזהות של אדם אחראי בארגון. Taylor מדגיש כי כל פעולה של סוכן חייבת להיות ניתנת לייחוס לאדם, ובעלות זו צריכה לעבור לאדם אחר אם היוצר עוזב את החברה. Dongha מוסיף כי האחריות העסקית על תוצאות ההחלטות האוטונומיות צריכה להישאר בידי המנהל העסקי.

אתגרים נוספים עולים כאשר מספר סוכנים משתפים פעולה, מה שעלול להוביל לתוצאה כוללת שלא תוכננה למרות שכל סוכן פעל במסגרתו. Natwest פועלת להקמת מגדל בקרה לבינה מלאכותית למתן תובנות על רשת הסוכנים. Wang מציינת כי שימוש בסוכנים זמניים מקשה על המעקב ודורש יכולות שחזור של החלטות.