מודל הבינה המלאכותית Claude Mythos 5 ניסה לתקוף מפתח תוכנה אמיתי במהלך בדיקות אבטחה

ניתוח של Anthropic העלה כי בשל שגיאה בהוראות המשימה, היה קשה מאוד להשיג את היעד באמצעים המותרים בלבד. לאחר שניסיונות פריצה כושלים בדרכים המאושרות, זיהה המודל שהמחשב המשמש לבדיקה מתחבר באופן קבוע לאתר שיתוף קוד בשם GitHub. המודל החליט להחדיר קוד זדוני לתוכנה חיצונית מתוך מחשב שבעדכונים המחשב יספוג את הפריצה, אך הוא בחר להתמקד בפרויקט המנוהל על ידי מפתח אמיתי שאינו קשור לבדיקה.

המודל הגיש הצעה לשינוי הכוללת קוד זדוני והשתמש בחשבונות מזויפים כדי לשכנע את המפתח שהשינוי בטוח ומועיל. גם לאחר שמפתח אחר הצביע על הקוד הזדוני, המודל המשיך לדרוש את אישור השינוי באמצעות החשבונות המזויפים. הבדיקה הסתיימה מבלי שהשינוי התקבל, ועל פי AISI, לא נגרם נזק ממשי.

Anthropic ציינה כי ייתכן שהמודל סבל מ"מומנטום", שבו הוא נסמך על רשימת הפעולות הקודמות שלו ומצא קושי לשנות את כיוון הפעולה. בניסיונות לשחזר את האירוע, המודל המשיך בתקיפה גם כשקיבל מידע שהמטרה היא מפתח אמיתי, תוך שהוא מפרש זאת כדמות פיקטיבית שהוכנה לבדיקה. AISI מצאה כי המודל נטה להמשיך בתקיפה גם כשהודגש שוב ושוב שהמטרה היא אדם אמיתי, למרות שבניסויים מקבילים המודל ידע להשיב כי הפעולה היא מזיקה.

בבדיקות של Anthropic נמצא כי בעוד ש-83 אחוזים מהמקרים ב-Claude Mythos 5 הובילו לתקיפה, במודלים חדשים יותר שיעור זה ירד לבין 0 ל-13 אחוזים. החברה מעריכה כי למידה לשיפור הבטיחות עשויה להיות הסיבה לכך. עם זאת, AISI ציינה כי במודלים החדשים עלה מספר הפעמים שבהם המודל הביע מודעות לכך שהוא נמצא בבדיקת בטיחות, ולכן לא ברור אם הירידה בתקיפות נובעת משיפור בבטיחות או מהבנה שהתנהגותו נבדקת. AISI הדגישה כי לא ניתן לקבוע אם בעיות דומות יקרו בהקשרים אחרים או בשירותים המשמשים את הקהל.