마이크로소프트, 2027년 멀티기가와트급 추론 인프라 구축 계획 발표

네트워크 설계는 이더넷 기반의 맞춤형 인공지능 전송 프로토콜을 구현한 것이 특징이다. 마이크로소프트는 이를 별도의 스케일업 및 스케일아웃 도메인이 아닌 하나의 단일 패브릭으로 설명한다. 가속기는 호스트나 독립적인 스케일아웃 네트워크 인터페이스 카드 개입 없이 슈퍼팟 내 모든 동료 노드와 직접 통신할 수 있다. 128개 랙으로 구성된 슈퍼팟은 12,288개의 가속기를 연결하며, 지연 시간 도메인은 직접 연결, 팟 내 1홉, 팟 간 3홉으로 나뉜다. 랙 내와 랙 간 대역폭 분배는 시스템 설계 시 고정되지 않고 작업 패킹에 따라 결정되어, 일부만 랙을 가로지르는 경우 최대 초당 750GB의 대역폭을 확보할 수 있다.

이 패브릭은 프리필과 디코드 워커를 독립적으로 배치하여 추론 패턴을 최적화한다. 프리필이 완료되면 KV 상태는 호스트를 경유하는 별도 경로가 아닌 동일한 스케일업 패브릭을 통해 선택된 디코드 워커로 직접 이동한다. 또한 한 랙의 예비 트레이가 다른 랙의 고장 트레이를 소프트웨어 코어에 투명하게 보상할 수 있다. 마이크로소프트는 마이어 300이 기존 그래픽 처리 장치 기반 시스템보다 메가와트당 40% 더 많은 토큰을 생성하고, 랙 규모 토큰 처리량을 최대 7배, 마이어 200 대비 와트당 성능을 2.5배 이상 향상시킬 것으로 기대한다고 밝혔다.

그러나 전문가들은 이 효율성 지표의 정의에 의문을 제기하고 있다. 일부는 토큰의 정의가 일관되지 않아 와트당 토큰이라는 지표가 부자연스럽다고 지적하며, 초당 토큰 또는 킬로와트시당 토큰이 적절하다고 제안했다. 다른 전문가들은 측정된 워크로드의 컨텍스트 길이를 문제 삼으며, 긴 컨텍스트를 가진 에이전트 작업에서는 연산이 아닌 메모리가 병목 현상을 일으킨다고 분석했다. 마이크로소프트는 비교 대상 그래픽 처리 장치 시스템을 명시하지 않았으며, 토큰의 유용성에 대한 정의도 제공하지 않았다. 또한 두 발표 자료 간에 40% 성능 향상에 대한 표현이 기대와 달성으로 달라져 신뢰성 문제가 제기되었다. 현재까지 언급된 모든 워크로드는 마이크로소프트 자체 서비스이며, 고객이 마이어 용량을 직접 프로비저닝할 수 있는지 여부는 불분명하다. 마이크로소프트는 다음 달 샌프란시스코에서 열리는 이그나이트 2026 행사에서 더 많은 기술적 세부 사항을 공개할 예정이다.