Apple presenterar skalning av infrastruktur för AI-agenter med Ray
23 oktober 2026 · 2 min läsning
Även publicerad på ไทย
Deepak Mohanakumar Chandramouli och Bhumik Vinodkumar Thakkar från Apple har diskuterat hur man flyttar AI-agenter från lokala prototyper byggda med FastAPI till robusta produktionssystem på Kubernetes genom att använda Ray. Ray beskrivs som ett ramverk för distribuerad beräkning med öppen källkod som specialiserar sig på arbetsbelastningar för maskininlärning, inklusive träning, finjustering och körning av slutledning.
Presentationen fokuserade på att köra agenter i stor skala och omfattade operationella insikter om topologi för RayCluster. De talande behandlade hantering av tillståndskänsligt minne, automatisk skalning vid dynamisk trafik samt design av robusta kontrollplan. Vidare lyftes betydelsen av kritiska skyddsräcken, konfigurationer för flera regioner och utvärderingspipeliner som använder metoden LLM-som-domare.
Enligt presentationen består en agentisk körtid av flera centrala byggstenar. Stora språkmodeller styr livscykeln för exekvering av förfrågningar, vilket inkluderar planering, körning av verktygsanrop, sammanfattning och hantering av skyddsräcken. Verktyg ger agenten förmågor att komma åt resurser och utföra åtgärder, medan minne används för att personalisera användarupplevelsen och tillföra kunskap. Prompter används för att ge agenten en persona, förmedla användarens avsikt och styra orkestreringen genom riktlinjer och regler.
När dessa system körs i stor skala betonas behovet av observerbarhet för att inspektera spår och förstå resonemangsloopen. Säkerhet beskrivs som avgörande, med skyddsräcken i flera stadier: vid mottagande av användarförfrågningar, under planering, vid orkestrering och vid sammanfattning av resultat.
Som exempel användes en reseplanerare för att illustrera utvecklingscykeln. Denna agent kan använda ett sökverktyg för destinationer baserat på säsongsparametrar, ett väderverktyg och en syntetisator för att skapa resplaner. Orkestreringen av agenten kan ske antingen genom statiska grafer, vilket är mer deterministiskt, eller genom att låta den stora språkmodellen själv bestämma planen, vilket är mer icke-deterministiskt.