--- title: llm-d 1.0 se lanza bajo CNCF con soporte para producción, QoS multiinquilino y servicio consciente de agentes url: https://www.elseif.net/es/llm-d-10-se-lanza-bajo-cncf-con-soporte-para-produccion-qos-multiinquilino-y-servicio-consciente-de-agentes published: 2026-10-23T12:04:41+00:00 language: es section: Harnesses source: https://www.techtalkthai.com/llm-d-1-0-cncf-production-ready-distributed-ai-inference/ organizations: llm-d, CNCF, Red Hat, IBM, Google Cloud, CoreWeave publisher: elseif --- # llm-d 1.0 se lanza bajo CNCF con soporte para producción, QoS multiinquilino y servicio consciente de agentes El proyecto llm-d ha lanzado oficialmente su versión 1.0, un software de código abierto destinado a la inferencia distribuida de modelos de lenguaje grande. Esta nueva versión está diseñada específicamente para operaciones de producción, ofreciendo soporte para calidad de servicio multiinquilino, actualizaciones sin tiempo de inactividad y capacidades de servicio adaptadas a agentes de inteligencia artificial. El lanzamiento se realiza bajo el paraguas de la Fundación de Computación Nativa en la Nube, consolidando el proyecto como una herramienta estándar para la industria. La versión 1.0 introduce características críticas para la gestión de sistemas en entornos de producción reales. Incluye un control de flujo que considera la prioridad y la equidad, permitiendo que las solicitudes con baja latencia y las cargas de trabajo de agentes con tráfico impredecible compartan la misma infraestructura sin competir desproporcionadamente por los recursos. Además, soporta operaciones sin tiempo de inactividad mediante enrutadores de alta disponibilidad en espera caliente y actualizaciones progresivas. Esto permite que el tráfico continúe fluyendo durante las actualizaciones o el mantenimiento programado, gestionando las réplicas de prefijado y decodificación como una unidad lógica con despliegues coordinados. El proyecto también establece una base estable con una interfaz de programación de aplicaciones de configuración versión 1 y una ruta de solicitud probada en múltiples nubes y aceleradores. Estas características permiten a las organizaciones utilizar llm-d como un estándar confiable. La capacidad de servicio consciente de agentes utiliza enrutamiento consciente de sesiones para dirigir conversaciones de múltiples turnos a los nodos que ya tienen el contexto en caché. Esto, combinado con la programación por prioridad de turno y el soporte nativo para el estado de la API de respuestas, ayuda a los agentes a reutilizar el contexto entre turnos y reduce el procesamiento redundante. Los datos de rendimiento reportados por IBM Research destacan la eficiencia del sistema. En un caso de uso que involucra un modelo fronterizo abierto para el diseño de corrección de errores cuánticos, los costos de inferencia fueron hasta 11,5 veces menores que los de sistemas propietarios. El sistema logró una tasa de aciertos de caché de prefijo del 98 por ciento y un costo promedio de servicio de aproximadamente 0,11 dólares por millón de tokens. En otra prueba con el modelo GLM 5.2, un modelo de expertos mixtos de 753 mil millones de parámetros, el sistema alcanzó un rendimiento máximo de salida de más de 6,6 millones de tokens por minuto mientras gestionaba cientos de sesiones de agentes en paralelo. El proyecto llm-d fue iniciado en 2025 por Red Hat, IBM, Google Cloud, CoreWeave y NVIDIA antes de transferirse a la Fundación de Computación Nativa en la Nube. Actualmente cuenta con más de 500 colaboradores de más de 25 organizaciones. Varios socios han integrado la tecnología en sus plataformas. Google Cloud ha incorporado llm-d 1.0 en Google Kubernetes Engine, habilitándolo para procesadores de tensor de Google y unidades de procesamiento gráfico de NVIDIA. CoreWeave permite a los clientes ejecutar llm-d en su servicio de Kubernetes junto con hardware NVIDIA. NVIDIA planea utilizar llm-d en su plataforma Vera Rubin, y se espera soporte para unidades de procesamiento gráfico de AMD. Organizaciones como DigitalOcean, JetBrains, Mistral, Cohere y Roblox ya utilizan llm-d en sus propios sistemas de servicio de modelos.