स्थानीय AI स्टैक बनाने के लिए गाइड
29 अक्टूबर 2026 · 2 मिनट पठन
स्थानीय AI स्टैक बनाने के लिए गाइड में बताया गया है कि यह पूरी तरह से ऑफलाइन काम करेगा और केवल CPU का उपयोग करेगा। यह परियोजना Debian 12 x86_64 पर चलती है और इसे किसी भी समान मशीन पर स्थापित किया जा सकता है। इस स्टैक में तीन स्वतंत्र घटक हैं: LLM इंफेरेंस, वेब इंटरफेस और stable-diffusion.cpp सर्वर। कार्य पूरा करने के लिए कोई भी बाहरी निर्भरता नहीं होगी।
इसमें कहा गया है कि CPU की आवश्यकता होगी, जिसमें 4 या अधिक कोर बेहतर प्रदर्शन देंगे। RAM की न्यूनतम आवश्यकता 8 जीबी है, जबकि 20B+ मॉडल या कई सेवाओं के लिए 16 जीबी या अधिक RAM की सिफारिश की गई है। डिस्क स्थान के लिए 60 से 80 जीबी की आवश्यकता होगी, और SSD या NVMe की सिफारिश की गई है।
इस गाइड में विभिन्न चरणों का विवरण दिया गया है। पहले चरण में llama.cpp को परीक्षण मॉडल पर चलाने के लिए सेट किया जाएगा। दूसरे चरण में, छवियों के लिए stable-diffusion.cpp सर्वर को चलाने का निर्देश है। तीसरे चरण में, Open WebUI को llama.cpp के ऊपर स्थापित करने की प्रक्रिया बताई गई है। अंतिम चरण में ऑफ़लाइन तैनाती और हस्तांतरण की प्रक्रिया दी गई है।
गाइड में बताया गया है कि यह प्रणाली सुरक्षा के लिए स्थानीय होस्ट पर संचालित होती है और केवल एक आंतरिक नेटवर्क से पहुँची जा सकती है। यह प्रणाली पुनरारंभ और अपडेट का सामना कर सकती है, और सभी मॉडल और पैकेज परियोजना फ़ोल्डर में संग्रहीत होंगे।
इस गाइड का उद्देश्य उपयोगकर्ताओं को एक कार्यात्मक चैट और छवि जनरेटर बनाने में मदद करना है, जिसे वे अपने नेटवर्क पर उपयोग कर सकते हैं। यह सभी प्रक्रियाएँ ऑफलाइन की जा सकती हैं, जिससे उपयोगकर्ता को इंटरनेट की आवश्यकता नहीं होगी।