Intel Core Ultra 5 226V के NPU पर भाषा मॉडल का परीक्षण
31 अक्टूबर 2026 · 2 मिनट पठन
Ninkear L20 मिनी कंप्यूटर पर Intel Core Ultra 5 226V प्रोसेसर के न्यूरल प्रोसेसिंग यूनिट (NPU) का उपयोग करके Qwen3-8B भाषा मॉडल को चलाने का परीक्षण किया गया। इस डिवाइस में 16 GB LPDDR5X-8533 मेमोरी है और इसकी शक्ति सीमा 17 से 37 वॉट के बीच है।
परीक्षण के लिए OpenVINO टूलकिट का उपयोग किया गया, जो Intel के CPU, GPU और NPU पर न्यूरल नेटवर्क चलाने की अनुमति देता है। NPU, जिसे Intel AI Boost के रूप में जाना जाता है, INT8 और FP16 मैट्रिक्स गुणन में विशेषज्ञ है और 40 TOPS तक की क्षमता प्रदान करता है।
परिणामों से पता चला कि Intel Arc 130V ग्राफिक्स यूनिट, NPU की तुलना में भाषा मॉडल चलाने में दोगुनी तेज है। ग्राफिक्स यूनिट प्रति टोकन 1.01 जूल ऊर्जा खर्च करती है, जबकि NPU 1.52 जूल खर्च करता है। हालांकि, NPU का लाभ तब मिलता है जब कार्य पृष्ठभूमि में चलता है, क्योंकि यह केवल 1 से 2 वॉट अतिरिक्त बिजली की खपत करता है और शोर के स्तर को 22 से 24 डेसिबल पर रखता है, जबकि ग्राफिक्स और CPU के उपयोग से शोर 33 से 34 डेसिबल तक बढ़ जाता है।
एक बड़े कार्य में, जिसमें 10,000 टोकन लिखने थे, NPU ने इसे 15.6 मिनट में 4.2 वॉट-घंटा ऊर्जा के साथ पूरा किया, जबकि ग्राफिक्स यूनिट ने इसे 7.9 मिनट में 2.8 वॉट-घंटा में पूरा किया। तुलनात्मक रूप से, यह मिनी कंप्यूटर एक समर्पित RTX 5070 Ti वीडियो कार्ड वाले कंप्यूटर की तुलना में लगभग 2 से 3 गुना अधिक ऊर्जा कुशल पाया गया।
NPU का मुख्य लाभ समानांतर कार्य क्षमता में है। जब भाषा मॉडल को NPU पर स्थानांतरित किया गया, तो ग्राफिक्स यूनिट पर चलने वाले अन्य न्यूरल नेटवर्क ने अपनी 92% गति बनाए रखी। जब CPU, GPU और NPU तीनों एक साथ काम कर रहे थे, तब कुल बिजली की खपत 27.5 वॉट थी।