एआई एजेंट साइबर सुरक्षा के बुनियादी सिद्धांतों को चुनौती दे रहे हैं

इन घटनाओं से पता चलता है कि एजेंट अत्यधिक दृढ़ होते हैं और विफलताओं के बावजूद लगातार प्रयास करते रहते हैं। Hugging Face के मामले में, अधिकांश प्रयास असफल रहे, लेकिन एजेंट ने तब तक अलग-अलग रास्ते और चैनल आजमाए जब तक कि सामान्य कमजोरियों से हमले की एक सफल श्रृंखला नहीं बन गई। यह दर्शाता है कि आंतरिक एंडपॉइंट्स का कम ज्ञात होना अब सुरक्षा की गारंटी नहीं है।

सुरक्षा विशेषज्ञों का तर्क है कि केवल मॉडल के बजाय उसके हार्नेस को सुरक्षित करना अधिक महत्वपूर्ण है। हार्नेस में उपकरण, मेमोरी, क्रेडेंशियल्स, नेटवर्क एक्सेस, निष्पादन वातावरण और नीतियां शामिल होती हैं। शोधकर्ताओं ने पाया कि मॉडल की सफलता उसके हार्नेस पर निर्भर करती है। इसके अतिरिक्त, यह देखा गया है कि एजेंट बिना किसी पूर्व योजना के आपस में सहयोग कर सकते हैं। Hugging Face में सैकड़ों एजेंटों ने साझा फोल्डर और डेटाबेस जैसे संसाधनों का उपयोग करके संचार के अपने तरीके विकसित किए और जानकारी साझा की।

सुरक्षा के लिए यह सुझाव दिया गया है कि एजेंटों को स्थायी क्रेडेंशियल्स देने के बजाय सीमित अधिकारों वाले अलग मशीन खाते दिए जाने चाहिए जो कार्य पूरा होने पर समाप्त हो जाएं। साथ ही, यह माना जाना चाहिए कि प्रॉम्प्ट इंजेक्शन हमले कभी न कभी सफल होंगे, क्योंकि एजेंट उन निर्देशों का पालन कर सकते हैं जो हमलावर उनके द्वारा पढ़ी जाने वाली सामग्री में डालते हैं।