Google ने TPU Sync को ओपन-सोर्स किया
15 नवम्बर 2026 · 2 मिनट पठन
Google Cloud ने TPU Sync को ओपन-सोर्स कर दिया है। यह एक मूल C++ लाइब्रेरी है जो TPU HBM, होस्ट DRAM, साझा स्टोरेज और डेटा सेंटर नेटवर्क के बीच मॉडल वेट और KV कैश ब्लॉक्स को स्थानांतरित करती है।
यह परियोजना उन कार्यों पर केंद्रित है जहाँ त्वरक अक्सर डेटा की प्रतीक्षा करते हैं। इसमें लंबे संदर्भ और अलग किए गए LLM सर्विंग, साथ ही सुदृढ़ीकरण सीखने के लूप शामिल हैं जो प्रशिक्षकों से रोलआउट सैंपलर तक अपडेटेड वेट भेजते हैं।
Google के अनुसार, Qwen3 235B के लिए औसत KV ट्रांसफर विलंबता कई सेकंड से घटकर लगभग 230 मिलीसेकंड हो गई है। कम समवर्तीता पर, इस मॉडल के लिए औसत TTFT में 60 प्रतिशत और 480B मॉडल के लिए 90 प्रतिशत की कमी आई है। 64K-संदर्भ कार्यों पर औसत TTFT में 90 प्रतिशत तक की कमी दर्ज की गई है।
डेवलपर्स के लिए JAX और PyTorch के लिए पायथन व्हील्स उपलब्ध हैं, जिनमें KV कैश मैनेजर, KV स्टोर और वेट सिंक्रोनाइज़र API शामिल हैं। TPU Sync, vLLM के KVConnector इंटरफेस के माध्यम से vLLM-TorchTPU के लिए KV कनेक्टर के रूप में कार्य करता है। यह SGLang-TorchTPU के लिए अलग किए गए और श्रेणीबद्ध-कैश बैकएंड के रूप में काम करता है, और प्रीफिक्स-कैश-अवेयर रूटिंग के लिए GKE पर llm-d 1.0 के साथ जुड़ता है। Pathways और मल्टी-कंट्रोलर JAX के लिए RL वेट-सिंक मॉड्यूल अभी प्रयोगात्मक है।
यह लाइब्रेरी TPU v7x और v6e पर मान्य है। इसका GitHub रिपॉजिटरी, जिसने पहले के TPU Raiden कोडबेस को समाहित कर लिया है, चेतावनी देता है कि API तेजी से बदल रहे हैं और केवल विकास संस्करण ही PyPI पर उपलब्ध हैं। PyTorch व्हील के लिए एक मिलान torch_tpu बिल्ड की आवश्यकता होती है जो सार्वजनिक इंडेक्स पर नहीं है।
TPU Sync Apache 2.0 लाइसेंस के तहत उपलब्ध है। इसके रिपॉजिटरी में आर्किटेक्चर दस्तावेज़, C++ और पायथन API, और सिंगल-होस्ट तथा मल्टी-होस्ट अलग किए गए सर्विंग और होस्ट KV ऑफलोडिंग के उदाहरण शामिल हैं। एक स्थिर रिलीज़ आने तक, JAX और PyTorch पैकेज केवल विकास संस्करणों के रूप में प्रकाशित किए गए हैं, जबकि स्टोरेज टियर और RL वेट सिंक्रोनाइज़ेशन प्रयोगात्मक बने हुए हैं।