Netflix entwickelt Plattform zur Verbesserung der GPU-Zuverlässigkeit
2. November 2026 · 2 Min. Lesezeit
Netflix hat eine Zuverlässigkeitsplattform für das Training und die Inferenz von Modellen in großem Maßstab aufgebaut. Das System nutzt mehrschichtige Gesundheitsprüfungen, automatisierte Behebungen und fehlertolerantes Training, um den Betrieb trotz Hardwareausfällen aufrechtzuerhalten.
Die Plattform basiert auf Kubernetes und ist darauf ausgelegt, Ausfälle zu erkennen und ungesunde Kapazitäten automatisch zu entfernen. Dies ist besonders wichtig für große Trainingsaufträge, bei denen ein einzelner defekter Grafikprozessor, ein beeinträchtigter Netzwerkadapter oder eine langsame Maschine die gesamte Arbeitslast stoppen oder erheblich verlangsamen können. Durch diesen Ansatz konnte Netflix die Verfügbarkeit von GPU-Knoten auf über 99,95 Prozent steigern, während die Erfolgsquote von Aufträgen von etwa 98 Prozent auf mehr als 99,5 Prozent stieg.
Zur Überwachung nutzt das Unternehmen NVIDIA DCGM für Fehler, Speicher, Verbindungen und thermische Bedingungen der Grafikprozessoren. Zusätzlich prüfen Netzwerktests den Zustand und die Anzahl der Schnittstellen des Elastic Fabric Adapter. Ein Kubernetes-Knotenagent wandelt diese Ergebnisse in Bedingungen um, auf die Controller reagieren können. Die Prüfungen sind so konzipiert, dass sie im Fehlerfall geschlossen bleiben, was bedeutet, dass ein Zeitüberschreitung eines Diagnosewerkzeugs die Maschine als ungesund markiert. Zudem gibt es Ausweichwege über Kernel-Protokolle, falls die normalen Diagnosemechanismen versagen.
Die Behebung von Fehlern erfolgt schrittweise. Vorübergehende Probleme können zunächst nur neue Aufgaben blockieren, während bestehende Arbeiten weiterlaufen. Bei anhaltenden Problemen wird die Maschine geleert und die Arbeitslast verschoben. Die Maßnahmen reichen vom Beenden eines problematischen Auftrags oder dem Zurücksetzen eines Grafikprozessors bis hin zum Neustart oder vollständigen Austausch der Maschine. Dies ist in die Funktionen zur automatischen Reparatur von Karpenter integriert.
Da Hardwareausfälle nicht vollständig vermieden werden können, setzt die Plattform auf Checkpointing und elastische Worker, um das Training vom letzten gesicherten Zustand wiederaufzunehmen. Das System kann Ausfälle automatisch wiederholen, wobei Softwarefehler separat klassifiziert werden. Zudem kann die Plattform einzelne langsame Ränge identifizieren, die den gesamten synchronen Arbeitsablauf bremsen.
Für kleinere Inferenz-Arbeitslasten nutzt Netflix die Multi-Instance GPU Funktionen von NVIDIA, um die Auslastung durch geteilte Grafikprozessoren bei gleichzeitiger Speicherisolierung zu verbessern. Das Unternehmen arbeitet zudem an der Dynamic Resource Allocation von Kubernetes für eine topologiebewusste Platzierung von Grafikprozessoren, Netzwerkadaptern und Prozessoren innerhalb einer Maschine.