دليل عملي لإجراء اختبارات الاختراق لأنظمة الذكاء الاصطناعي

يجب أن تبدأ مبادرة اختبار الاختراق الفعالة بمراجعة شاملة للهندسة المعمارية وتوثيق النظام، بما في ذلك مطالبات المطورين، ونقاط نهاية النماذج، وطبقات الاسترجاع، وخدمات التضمين، ومخازن المتجهات، وتعريفات الأدوات، وضوابط الإشراف، والأسرار، وخطوات الموافقة. ويتم التركيز على النقاط التي تتغير فيها مستويات الثقة في المحتوى أو يتم نقل السلطة بين المكونات، حيث يمكن لسلسلة من الانتقالات التي تبدو غير خطرة بمفردها أن تخلق ثغرة أمنية عند اجتماعها.

يشير دليل OWASP الحالي بشأن حقن المطالبات إلى التمييز بين التلاعب المباشر من قبل المستخدم والتعليمات غير المباشرة المخفية في محتويات خارجية، مؤكداً أن التوليد المعزز بالاسترجاع والضبط الدقيق لا يزيلان المخاطر الأساسية. لذا، يجب أن تشمل الاختبارات رسائل البريد الإلكتروني، والتذاكر، وصفحات الويب، وملفات PDF، ومستودعات الرموز البرمجية، والجداول الحسابية.

يمكن أن تظهر الأنظمة الوكيلية آثاراً جانبية أثناء الاختبار، مثل إرسال رسائل أو تعديل سجلات بيانات أو استهلاك كميات كبيرة من طلبات الاستدلال المكلفة. ولتجنب تحول الاختبار إلى حادث أمني، يجب تحديد قواعد تشغيل تشمل المستأجرين المسموح بهم، وهويات الاختبار، وحدود التكلفة، وشروط التوقف الطارئ، مع استخدام بيانات اصطناعية بدلاً من الأسرار الحقيقية.

بالنسبة لأنظمة التوليد المعزز بالاسترجاع، يجب اختبار طبقة اتخاذ القرار التي تحدد المحتوى الذي يراه النموذج، بما في ذلك عمليات استيعاب البيانات، والتقسيم، والفهرسة، وفلاتر التفويض. كما يوصي خبراء OWASP باستخدام مخازن واعية بالأذونات وتقسيم منطقي للبيانات كتدابير مضادة.

يمتد الاختبار ليشمل سلسلة التوريد في الجزء العلوي من خط أنابيب تعلم الآلة، مثل بيانات التدريب، وسير عمل التكامل المستمر والنشر المستمر، ومسجلات النماذج. ويمكن استخدام إطار عمل بلغة Python لجعل الهجمات قابلة للتكرار، وهو نهج مشابه للتصميم المعياري في توثيق PyRIT من Microsoft.

يجب أن يفرق تقرير اختبار الاختراق بين السلوك الخاطئ للنموذج واختراق النظام، مع تقييم الخطورة بناءً على مستوى الوصول المطلوب، وقابلية التكرار، وحساسية البيانات. والهدف النهائي ليس جعل النموذج مستحيلاً تضليله، بل تصميم التطبيق المحيط بحيث لا يتمكن النموذج المضلل من استرجاع أو تنفيذ أي شيء غير مصرح له به.