एआई अनुप्रयोगों के लिए स्केलेबल और एजेंट अनुकूल एपीआई का निर्माण

एजेंट ट्रैफ़िक वेब ट्रैफ़िक से भिन्न होता है क्योंकि एक एजेंट बहुत तेज़ी से कई अनुरोध भेज सकता है। यदि टिकाऊ साझा स्थिति नहीं है, तो विभिन्न रेप्लिका में वितरित अनुरोध आवश्यक संदर्भ खो सकते हैं, जिससे उपयोगकर्ता के लिए समस्याएँ पैदा होती हैं। एक सामान्य विफलता तब होती है जब अनुरोध किसी ऐसी मशीन पर पहुँचता है जिसके पास पिछला चैट इतिहास नहीं होता है, जिससे मॉडल बिना सही संदर्भ के उत्तर दे सकता है, भले ही सिस्टम एचटीटीपी 200 प्रतिक्रियाएँ दिखा रहा हो।

इस समस्या के समाधान के लिए सूक्ष्म सेवाओं के सिद्धांतों का उपयोग किया जाता है। पहला सिद्धांत स्थितिहीनता है, जहाँ बातचीत की स्थिति को प्रक्रिया से हटाकर एक साझा स्टोर में ले जाया जाता है, जिससे कोई भी रेप्लिका किसी भी बातचीत के किसी भी मोड़ को संभाल सकता है। दूसरा सिद्धांत बल्कहेड्स या अलगाव है, जो सिस्टम के विभिन्न हिस्सों को अलग करता है ताकि विफलताएँ पूरी प्रणाली में न फैलें। तीसरा सिद्धांत स्मार्ट एंडपॉइंट्स और डम्ब पाइप्स का है, जहाँ बुद्धिमत्ता को परिवहन परत के ऊपर रखा जाता है।

एक अवधारणा प्रमाण के रूप में, Oracle AI Database Free का उपयोग करके एक एजेंट-अनुकूल एपीआई का पुनर्निर्माण किया गया। इस आर्किटेक्चर में स्टैक को विफलता-डोमेन लाइनों के साथ विभाजित किया गया है ताकि घटकों को स्वतंत्र रूप से विकसित किया जा सके। यह डिज़ाइन सेमाफोर का उपयोग करके साझा संसाधनों तक पहुँच को नियंत्रित करता है और स्थानीय फ़ाइल सिस्टम स्थिति पर निर्भरता से बचता है।