微软承诺Maia用于多吉瓦特推理,效率指标引发质疑
2026年10月19日 · 阅读 1 分钟
微软将在2027年启动Azure Maia系列的多吉瓦特部署,使其成为其产品和服务的主要推理系统。该架构对数据传输的处理异常具体,而效率声明则引发了从业者的质疑。
Maia 200已投入生产,为Microsoft Copilot和MAI团队提供服务,GitHub Copilot和Microsoft Foundry将于年底前接入。系统已在美、欧、澳三地部署,微软称其在Teams和Copilot等内置AI场景下,每瓦特可处理的tokens量提升至1.7倍。Maia 300将于2027年投入生产,专注于长上下文、内存密集型及解码密集型任务,而非训练。
每颗加速器配备8个HBM4堆栈,提供288GB显存和18TB/s带宽,功耗为950瓦。机架容纳96颗加速器,功耗达167千瓦,总显存27.6TB,带宽达1.7PB/s。计算芯片采用台积电N2P工艺,内存控制器与I/O功能分布于不同芯片,微软称这提升了36%的算力FLOPs,并带来2.5倍的内存带宽以及约2倍的HBM带宽效率。
网络设计采用自研以以太网为基础的AI传输,实现"单一fabric"而非分离的规模扩展与规模出站领域。加速器可直接与任意同超级节点的同伴通信,无需宿主或独立规模出站网卡。两颗加速器在同一机架内直连,交换芯片将96颗加速器组织为机架级网络,光互连将至多128个机架组成12,288颗加速器的超级节点。系统划分为三个延迟域:直连对、节点内单跳、跨节点三跳,软件需将张量并行流量控制在最低延迟层级。
该fabric支持预填充与解码工作者独立规划,解码状态直接在同一规模扩展fabric内在选定的解码工作者间传输,无需通过宿主进行额外路由。备用机架可透明接管故障机架的工作负载。
微软宣称Maia 300将实现40%更高的tokens per megawatt,相比主流GPU系统,同时达到7倍的机架级token吞吐量,功耗效率提升2.5倍。该指标引发争议,质疑者指出"tokens per watt"缺乏统一定义,且可能激励冗长输出。
评论者质疑指标的实际含义,认为应明确为tokens per second per watt或tokens per KWh。工作负载的上下文长度亦是关键变量,长上下文场景下内存而非算力成为瓶颈。
微软未公布对比基准的GPU系统,且对"有用tokens"的定义不明确。其承诺的40%提升在工程帖中被描述为预期,而首席执行官的声明则表述为已实现。
关于访问权限,所有提及的工作负载均为微软自研服务,包括Copilot、Foundry及Dragon Copilot等,未提及向客户开放容量。微软未发布技术白皮书,仅通过Rani Borkar与Saurabh Dighe的工程博客提供细节,后续将在2026年Ignite大会上进一步披露。