Представлено программное обеспечение llm-d 1.0 для распределенного вывода моделей под управлением CNCF
23 октября 2026 г. · 2 мин чтения
Разработчики представили llm-d 1.0, программное обеспечение с открытым исходным кодом под управлением CNCF, предназначенное для распределенного вывода больших языковых моделей. Данная версия ориентирована на эксплуатацию в производственных средах и поддерживает многопользовательское качество обслуживания, обновление без простоев, стабильный интерфейс конфигурации v1 и обслуживание, адаптированное для искусственных агентов.
Проект был основан в 2025 году компаниями Red Hat, IBM, Google Cloud, CoreWeave и NVIDIA, после чего перешел под управление Cloud Native Computing Foundation. Система помогает организациям выполнять вывод на крупной инфраструктуре, решая проблемы агентного искусственного интеллекта, который создает непредсказуемый трафик и требует постоянного повторного использования больших объемов контекста.
Функции многопользовательского качества обслуживания включают управление потоками с учетом приоритетов и справедливости, что позволяет совмещать запросы с низкой задержкой и резкие скачки трафика от агентов в одном парке ресурсов. Операции без простоев обеспечивают высокую доступность маршрутизатора через горячий резерв и последовательные обновления, позволяя трафику течь во время технических работ.
Обслуживание с учетом агентов использует маршрутизацию с привязкой к сессиям для направления многоходовых диалогов туда, где контекст уже находится в кэше. Это работает совместно с планированием приоритетов ходов и встроенной поддержкой состояния интерфейса ответов, что сокращает повторную обработку данных.
В ходе тестов IBM Research при использовании открытой передовой модели для проектирования квантовой коррекции ошибок затраты на вывод оказались в 11,5 раза ниже, чем в полностью проприетарных системах. Средняя стоимость обслуживания составила 0,11 доллара за 1 миллион токенов при доле попаданий в кэш префиксов около 98 процентов.
Другое тестирование модели GLM 5.2 с открытыми весами и параметрами около 753 миллиардов на графических процессорах NVIDIA показало производительность более 6,6 миллиона токенов в минуту при сотнях параллельных сессий. Система поддерживала до 3000 кодинг-агентов одновременно без вытеснения, а стоимость токена была в 5 или 10 раз ниже коммерческих интерфейсов.
Google Cloud интегрирует llm-d 1.0 в Google Kubernetes Engine для работы на TPU и GPU от NVIDIA. CoreWeave предоставляет возможность запуска системы в CoreWeave Kubernetes Service вместе с NVIDIA Dynamo. NVIDIA планирует использовать решение на NVIDIA Vera Rubin, а AMD обеспечит поддержку на графических процессорах AMD Instinct. Среди пользователей системы значатся DigitalOcean, JetBrains, Mistral, Cohere и Roblox.