Microsoft объявляет о многогигаваттных развертываниях Maia и ставит под сомнение эффективность

Microsoft объявила о планах масштабировать Azure Maia до многогигаваттных развертываний, начиная с 2027 года. Компания называет Maia главным inference‑системой для своих продуктов и сервисов. В статье InfoQ отмечается, что архитектура решения делает упор на внутреннее перемещение данных. Эксперты указывают, что заявленный показатель эффективности вызывает вопросы, поскольку его определение остается неясным. По данным компании, Maia 200 уже обслуживает Copilot и команду MAI, а к концу года к работе подключат GitHub Copilot и Microsoft Foundry. В США, Европе и Австралии развертывание находится в стадии продакшн. Maia 300 начнет работу в 2027 году и будет ориентирована на inference, особенно на длительные контексты и тяжелые декодирующие задачи. Каждый ускоритель оснащён восемью стеками HBM4, суммарный объем памяти достигает 288 ГБ, а пропускная способность достигает 18 ТБ/с при энергопотреблении 950 Вт. В одном стене помещается 96 ускорителей, потребляющих 167 кВт, что обеспечивает 27,6 ТБ памяти и 1,7 ПБ/с общей пропускной способности. Производительность вычислительных чипсетов построена на базе TSMC N2P, а контроллеры памяти и ввода‑вывода размещены на отдельных матрицах, что увеличивает FLOPs на 36 % и удваивает пропускную способность памяти на ватт.

Схема памяти изменена с равномерного до NUMA‑структуры, позволяющей размещать данные рядом с вычислениями. Сеть ускорителей построена на собственном транспортном протоколе поверх Ethernet, создавая единый fabric вместо отдельных областей масштабирования. Внутри стены ускорители напрямую обмениваются данными, а переключатель соединяет все 96 устройств в стене, а оптическая сеть соединяет до 128 стен в суперпул из 12 288 ускорителей. Система поддерживает три уровня задержек: прямой канал, один переход внутри пула и три перехода между пулами. Пропускная способность между стенами определяется распределением задач, что позволяет отдельному ускорителю передавать до 750 ГБ/с к любому соседу при ограниченном количестве межстольных соединений. Для inference используется отдельный fabric, позволяющий перемещать KV‑состояние напрямую от prefill‑кэшей к decode‑рабочим без промежуточного хоста. При отказе одного из 96 ускорителей в стене система автоматически использует свободный слот в другой стене, не требуя вмешательства со стороны программного обеспечения. Microsoft заявляет, что Maia 300 способна обеспечить на 40 % больше токенов на ватт по сравнению с ведущими GPU‑системами, а также предоставить в семь раз больший объем токенов на уровне стена и более чем в два раза превысить производительность на ватт по сравнению с Maia 200. Этот показатель привлек внимание, однако критики указывают на отсутствие единого определения токена и на зависимость результата от длины контекста.