Google ने उत्पादन में मॉडल निष्पादन से Python को हटाकर अनुमान की गति बढ़ाई
15 नवम्बर 2026 · 2 मिनट पठन
Google ने XLA Serving Engine (XSE) का अनावरण किया है, जो एक अनुमान इंजन है जिसे उत्पादन में Python व्याख्याता के बिना कृत्रिम बुद्धिमत्ता मॉडल चलाने के लिए बनाया गया है।
यह तकनीक पहले से ही Google Search, Google Ads और YouTube Shorts जैसी कई सेवाओं में उपयोग की जा रही है, जहाँ यह प्रति सेकंड छह मिलियन से अधिक अनुरोधों को संसाधित करती है। इसका उपयोग मुख्य रूप से परिणामों की रैंकिंग, अनुशंसा प्रणालियों, कंप्यूटर विजन और अन्य त्वरित प्रतिक्रिया वाले अनुप्रयोगों में किया जा रहा है।
Google के अनुसार, छोटे अनुरोधों के लिए XSE की थ्रूपुट एक अनुकूलित Python सर्वर की तुलना में दो से पांच गुना अधिक है। साथ ही, यह इंजन चार गुना कम मेमोरी का उपयोग करता है। ये परिणाम समूह द्वारा मूल्यांकित विशिष्ट वातावरणों और कार्यभार पर आधारित हैं, इसलिए सभी मॉडलों के लिए समान लाभ की गारंटी नहीं है।
यह इंजन XLA कंपाइलर पर आधारित है। इसकी कार्यप्रणाली डिजाइन और प्रशिक्षण चरणों के दौरान Python को बनाए रखना है, लेकिन अनुमान के दौरान इसे हटा देना है। अनुरोधों का प्रसंस्करण C++ वातावरण पर निर्भर करता है, जो लक्षित प्रोसेसर और त्वरकों के लिए संकलित कोड का उपयोग करता है।
तकनीकी रूप से, डेवलपर्स मॉडल डिजाइन करने के लिए JAX का उपयोग करना जारी रख सकते हैं। प्रशिक्षित गणनाओं और मापदंडों को XLA SavedModel प्रारूप में निर्यात किया जाता है, जो संचालन के मध्यवर्ती प्रतिनिधित्व के रूप में StableHLO का उपयोग करता है। XSE फिर इन संचालनों को नेटिव कोड में संकलित करने के लिए XLA का उपयोग करता है। Google ने TPU त्वरकों पर PyTorch मॉडल के उपयोग को आसान बनाने के लिए TorchTPU के साथ एकीकरण की योजना भी बनाई है।
यह आर्किटेक्चर विशेष रूप से उच्च थ्रूपुट वाले अनुमान अनुप्रयोगों को लक्षित करता है, न कि बड़े जनरेटिव भाषा मॉडलों को। यह CPU और GPU का भी लाभ उठा सकता है, जिससे यह विविध बुनियादी ढांचे वाले व्यवसायों के लिए उपयोगी हो सकता है। यह समाधान ONNX Runtime और LibTorch जैसे मौजूदा विकल्पों के समान है, जो विकास और उत्पादन वातावरण को अलग करने की अनुमति देते हैं।