شركة AWS تطلق Continuum لإصلاح الثغرات الأمنية في البرمجيات

يتطلب اختبار CyberGym-E2E من الوكيل العثور على ثغرة وإصلاحها في واحد من 139 مشروعاً مفتوح المصدر خلال 90 دقيقة، دون توفر وصف للخطأ أو إثبات للمفهوم أو سجلات تعطل أو رقعة إصلاح موجودة. يجب على الوكيل تحديد الخلل وتفعيله وإنتاج إصلاح يمنع التعطل دون التأثير على الاختبارات الحالية. وأقرت AWS بأن جميع المهام تتعلق بأخطاء سلامة الذاكرة في لغتي C أو C++، مما يستبعد العديد من اللغات وأنواع الثغرات الأخرى.

تم تقييم الأداء عبر أربع مراحل تراكمية، حيث وجد Continuum خطأ وأعاد إنتاجه في 92.5% من المهام، وأوقف التعطل في 89.6%، وحافظ على اجتياز اختبارات المشروع في 89.0%. أما في المرحلة الرابعة، فقد أصلح Continuum الثغرة التاريخية التي حددها الاختبار في 37.8% من المهام، مقارنة بأعلى رقم عام سابق بلغ 26.2%.

أوضحت الشركة أن المستودع قد يحتوي على عدة ثغرات، وأن إصلاح ثغرة مختلفة لا يجعل العمل بلا قيمة، وهو ما يفسر الفجوة بين النسبتين. وأكدت AWS أنها أجرت الاختبارات بنفسها، وأن Continuum اتبع قواعد الاختبار بما في ذلك القيود على الوصول إلى الإنترنت، مع التحقق من أن الوكيل لم يبحث عن إصلاحات منشورة مسبقاً. وأضافت الشركة أن نسبة النجاح ترتفع إلى 93.7% إذا تم منح الوكيل وقتاً إضافياً، ورغم أن أدوات الاختبار عامة، إلا أن هذه النتائج صادرة عن AWS وحدها حتى الآن.