Netflix hanterar tillförlitlighet för grafikprocessorer som ett problem med distribuerade system
2 november 2026 · 2 min läsning
Netflix har detaljerat hur företaget bygger en plattform för tillförlitlighet vid storskalig träning och slutledning med grafikprocessorer. Plattformen använder automatiserad åtgärd, feltolerant träning och hälsokontroller i flera lager för att hålla arbetsuppgifter igång trots hårdvarufel.
Problemet är särskilt allvarligt för stora träningsjobb för artificiell intelligens där en modell kan köras i veckor över hundratals grafikprocessorer. Eftersom alla arbetare opererar i takt kan en enda felaktig grafikprocessor, en långsam maskin eller en försämrad nätverksadapter stoppa eller avsevärt sakta ner hela arbetsbelastningen. Netflix har byggt sin beräkningsplattform för grafikprocessorer på Kubernetes för att upptäcka dessa fel, automatiskt ta bort ohälsosam kapacitet och låta långvariga jobb återhämta sig från maskinförluster.
Metoden har gett mätbara resultat. Netflix rapporterar en tillgänglighet för noder med grafikprocessorer på mer än 99,95 procent och en ökning av lyckade jobb från ungefär 98 procent till mer än 99,5 procent.
Företaget upptäckte att konventionella hälsokontroller i molnet inte räcker, eftersom en grafikprocessor kan svara normalt på en statusförfrågan men misslyckas när beräkningar startar eller minne allokeras. Nätverksadaptrar kan också vara närvarande men ha färre länkar än förväntat, vilket minskar bandbredden kraftigt. För att motverka detta används NVIDIA DCGM för att övervaka termiska förhållanden, minne, sammankopplingar och fel på grafikprocessorer, medan nätverkskontroller granskar Elastic Fabric Adapter-gränssnitt. En agent i Kubernetes omvandlar dessa resultat till nodtillstånd som kontroller kan agera på.
När ett fel upptäcks svarar kontroller progressivt istället för att omedelbart byta ut hela maskinen. Åtgärderna kan variera från att starta om en grafikprocessor eller avbryta ett problematiskt jobb till att starta om eller helt byta ut maskinen. Detta integreras med funktioner för automatisk reparation av noder i Karpenter.
För att hantera oundvikliga hårdvarufel använder plattformen elastiska arbetare och kontrollpunkter, vilket gör att träningen kan återupptas från den senaste hälsosamma kontrollpunkten. Systemet kan identifiera enstaka långsamma enheter som saktar ner synkrona arbetsbelastningar. Netflix använder även NVIDIA Multi-Instance GPU för att låta mindre arbetsbelastningar för slutledning dela på grafikprocessorer med isolering på minnesnivå. Företaget arbetar även mot Kubernetes Dynamic Resource Allocation för att möjliggöra topologimedveten placering av processorer och nätverksadaptrar.
Meta använder liknande metoder med automatiserad åtgärd och kontrollpunkter. Meta rapporterar att hårdvarufel stod för mer än 66 procent av avbrotten i träningen av Llama 3.