Netflix aborde la fiabilité des processeurs graphiques comme un problème de systèmes distribués
2 novembre 2026 · 2 min de lecture
Netflix a détaillé la construction d'une plateforme de fiabilité destinée à l'entraînement et à l'inférence de modèles d'intelligence artificielle à grande échelle. Cette infrastructure utilise des vérifications de santé par couches, une remédiation automatisée et un entraînement tolérant aux pannes pour maintenir l'exécution des tâches malgré les défaillances matérielles.
La plateforme de calcul de Netflix, basée sur Kubernetes, est conçue pour détecter les pannes, supprimer automatiquement les capacités malsaines et permettre aux tâches de longue durée de récupérer après la perte d'une machine. Cette approche a permis d'atteindre une disponibilité des nœuds de processeurs graphiques supérieure à 99,95 % et d'augmenter le taux de réussite des tâches de environ 98 % à plus de 99,5 %.
Pour le diagnostic, Netflix utilise NVIDIA DCGM afin de surveiller les erreurs, la mémoire, l'interconnexion et les conditions thermiques des processeurs graphiques. Des vérifications réseau inspectent également l'état et le nombre d'interfaces Elastic Fabric Adapter. Un agent de nœud Kubernetes convertit ces résultats en conditions de nœud. Le système est conçu pour échouer par défaut, signifiant qu'un outil de diagnostic qui se bloque marque la machine comme malsaine. Des chemins de secours utilisant les journaux du noyau sont maintenus si le mécanisme de diagnostic habituel échoue.
La remédiation est progressive. Un problème transitoire peut d'abord bloquer les nouveaux travaux tout en laissant continuer les charges existantes. Si la condition persiste, la machine est vidée et ses charges sont déplacées. Les actions peuvent aller de l'arrêt d'une tâche problématique ou de la réinitialisation d'un processeur graphique au redémarrage ou au remplacement complet de la machine. Ce système s'intègre aux capacités d'auto-réparation des nœuds de Karpenter avec des politiques définissant la tolérance aux pannes et le niveau de perturbation autorisé du cluster.
Pour réduire le coût de la récupération, la plateforme utilise le partitionnement et des travailleurs élastiques, permettant de reprendre l'entraînement depuis le dernier point de contrôle sain. Les échecs d'application sont classés séparément pour éviter de redémarrer sans cesse des tâches contenant des bogues logiciels. Netflix identifie également les rangs lents qui ralentissent l'ensemble d'une charge de travail synchrone.
L'entreprise utilise les capacités Multi-Instance GPU de NVIDIA pour permettre à de petites charges d'inférence de partager des processeurs graphiques avec une isolation au niveau de la mémoire. Netflix travaille également sur l'allocation dynamique des ressources de Kubernetes pour améliorer les demandes de ressources et le placement tenant compte de la topologie.
En comparaison, Meta utilise également des diagnostics matériels, une remédiation automatisée et le partitionnement. Meta a rapporté que les pannes matérielles ont représenté plus de 66 % des interruptions d'entraînement lors de l'expérience avec Llama 3.