एजेंट

HiveTrace Red ने कृत्रिम बुद्धिमत्ता अनुप्रयोगों की सुरक्षा जांच के लिए नई पद्धति विकसित की

26 अक्टूबर 2026 · 2 मिनट पठन

इन भाषाओं में भी प्रकाशित 日本語, Türkçe, Deutsch, Svenska

a computer screen with a bar chart on it
1981 Digital / Unsplash

HiveTrace Red ने कृत्रिम बुद्धिमत्ता अनुप्रयोगों की सुरक्षा जांच के लिए एक समाधान विकसित किया है जो यह पहचानने में मदद करता है कि क्या सुरक्षा उल्लंघन नहीं मिले हैं या क्या जांच के लिए डेटा अपर्याप्त था। यह पद्धति रेड टीमिंग नामक प्रक्रिया पर आधारित है, जिसमें किसी प्रणाली के सुरक्षा उपायों को दरकिनार करने के जानबूझकर प्रयास किए जाते हैं।

कंपनी के अनुसार, रेड टीमिंग का उपयोग यह जांचने के लिए किया जाता है कि क्या कोई अनुप्रयोग सुरक्षा प्रतिबंधों का पालन करता है, जैसे कि किसी चैटबॉट द्वारा अनधिकृत उपयोगकर्ताओं को गोपनीय दस्तावेज़ों का खुलासा न करना। इसमें यह सुनिश्चित करना शामिल है कि मॉडल केवल उन्हीं दस्तावेज़ों तक पहुंच प्रदान करे जिनके लिए कर्मचारी के पास अधिकार हैं। सुरक्षा जांच में संदर्भ प्रसंस्करण और उपकरणों के कॉल का विश्लेषण भी शामिल है, क्योंकि केवल मॉडल को निर्देश देना कि वह रहस्य प्रकट न करे, अधिकार सत्यापन का विकल्प नहीं हो सकता।

HiveTrace Red एक वर्ष से अधिक समय से अनुप्रयोगों का ऑडिट कर रहा है और परीक्षणों के दौरान अनुरोधों के एक सेट को भेजकर प्रतिक्रियाओं का विश्लेषण करता है। कंपनी हमले की सफलता दर, जिसे एएसआर कहा जाता है, का उपयोग करती है। यह दर उन प्रयासों के अनुपात को दर्शाती है जिनमें सुरक्षा प्रतिबंधों को सफलतापूर्वक तोड़ा गया। उदाहरण के लिए, सौ प्रयासों में दो उल्लंघन होने पर एएसआर दो प्रतिशत होता है।

कंपनी ने पाया कि केवल एएसआर पर भरोसा करना जोखिम भरा हो सकता है क्योंकि परिणाम गैर प्रतिनिधि हो सकते हैं। इस समस्या को हल करने के लिए, उनके नए दृष्टिकोण में एएसआर के साथ परिणाम की अनिश्चितता का मूल्यांकन जोड़ा गया है। यह पद्धति व्यक्तिपरकता को कम करने और बाइनरी मेट्रिक्स से विश्वास की सीमाओं को निर्धारित करने में मदद करती है।

परीक्षण प्रक्रिया में विशिष्ट अनुप्रयोग प्रतिबंधों से शुरुआत की जाती है, जैसे कि बिना अनुमति के किसी उपकरण का उपयोग करना या प्रतिबंधित क्षेत्र के बाहर उत्तर देना। सत्यापन के लिए प्रोग्रामेटिक जांच या एक मूल्यांकन मॉडल का उपयोग किया जाता है। जोखिम श्रेणियों को संभावित परिणामों के आधार पर निर्धारित किया जाता है, जैसे कि कोड के साथ काम करने वाले एजेंट के लिए खतरनाक कमांड निष्पादित करना या बच्चों के बॉट के लिए विषाक्त प्रतिक्रियाएं।