Kubernetes klarer AI-agenters utfordringer
28. oktober 2026 · 4 min lesing
Kubernetes ble bygget på en enkel antakelse: programvare gjør det utviklerne har sagt det skulle gjøre. AI-agenter komplikere denne antakelsen. En agent kan tenke, velge handling, kalle verktøy, skrive kode, interagere med andre systemer og fortsette mot et mål. Det er presis det som gjør agenter nyttige, men også det som gjør at kjøring i produksjon ser annet ut enn kjøring av et vanlig program.
Flere virksomheter vil nå kjøre AI-agenter på Kubernetes. En ny undersøkelse fra Cloud Native Computing Foundation viser at to av tre organisationer som kjører AI-inferensarbeidslaster bruker Kubernetes. Det er forståelig, da Kubernetes har blitt standarden for distribusjon av applikasjoner i løpet av siste tiår. Det kan planlegge oppgaver, allokere ressurser, gjenopprette feil og skala opp og ned.
KubeCon + CloudNativeCon skjer i Salt Lake City fra 9. til 12. november. Registrer deg nå!
Inferenslast kan komme i bølger, noe som krever rask oppskaling av både hardware og software. Kubernetes er her et godt match, og kan også skala ned når lasten aftar, noe som gjør driften økonomisk.
Selv om samspillet mellom AI-inferens og Kubernetes er starkt, finnes det hull, spesielt innen sikkerhet. Nylige hendelser i frontlinje-AI-laboratorier har vist at AI-agenter kan slippe ut av testmiljøer og utnytte nettet til skade. Dette viser behovet for stramme grenser for å holde AI-oppdrag inne i sikre sandboxer.
Den probabilistiske naturen av AI gjør det vanskelig å forutsige nøyaktig hvilke ressurser et arbeidslast vil bruke, noe som øker risikoen for at agenter overtrer grensene. Derfor bør den ideale AI-plattformen gjøre det enkelt å pålegge klare grenser og holde agentiske oppdrag inne i veldefinerte sandboxer.
Ved å isolere agentiske arbeidslast i en sandbox som er adskilt fra andre Kubernetes-oppgaver, kan virksomheter sikre at skader fra feilaktige agenter holder seg inne i den egne sandboxen.
I stedet for å gi agenter fri tilgang til alle ressurser, bør agentiske plattformer bruke et eksplisitt tillatelsesrammeverk som gir eller nekter tilgang til filer, verktøy, nettverk og systemressurser. Agenter skal helt forhindre kjøring av kode med mindre de har fått eksplisitt tillatelse.
Kubernetes-samfunnet bevæger seg mot å bruke sandboxing som en arkitektonisk del for å begrense AI-agenter. CNCF arbeider med å fylle inn sikkerhets- og isoleringshull i Kubernetes, men den åpne kilden er ennå ikke helt ferdig.
Riktig AI-sandboxing krever å se forbi containere og inn i virtuelle maskiner eller operativsystemet for å forhindre at agentiske oppdrag påvirker andre applikasjoner i samme miljø. Virksomheter som vil bruke AI i produksjon i dag kan se på kommersielle Kubernetes-distribusjoner som allerede inneholder slike sandboxing-funksjoner.
Monitorering av AI-oppdrag er en annen bekymring som holder CIO-er våke. Mens frontlinje-AI-laboratorier kanskje ikke har overvåket modellene sine eller gitt dem internett tilgang, har virksomheter ikke råd til å be om tilgivelse når agenter feiler.
Sikkerhet er den mest tydelige utfordringen, men ikke den eneste. Agenter endrer også hvordan ressurser brukes. Et vanlig tjeneste kan kjøre i måneder, mens en agent kan eksistere i sekunder.
En bruker stiller en spørsmål -> en agent starter -> den gjør arbeid, kanskje lager andre agenter, kaller verktøy, og så forsvinner den.
Når dette skjer for tusener av brukere, ser infrastrukturen veldig annen ut enn et tradisjonelt Kubernetes-miljø.
Å starte en Kubernetes-oppgave fra bunnen kan ta sekunder. For mange applikasjoner er dette akseptabelt, men for en interaktiv agent kan disse sekundene virke lange. Dette skaper et infrastrukturproblem: Hvordan får man isolasjonen i et nytt miljø uten å betale kostnaden for å starte det hver gang?
Derfor testes Kubernetess fleksibilitet av den sporadiske natur av agentiske oppdrag og behovet for rask oppstart. Precis som første generasjon Kubernetes ikke støttet stateful-applikasjoner, er samfunnet fortsatt i søket etter den beste abstraksjonslaget for å kjøre neste generasjon agentiske oppdrag.
Agenter kan holde seg i en tilstand av suspendert animation i en varm pulje, slik at de kan gjenaktivere seg på millisekunder i stedet for sekunder det ville ta å vekke fra dypsøvn.
En løsning som vinder frem i samfunnet er et agent-substrat for rask oppskaling av Kubernetes-baserte agentiske oppdrag. Med agent-substrat blir Kubernetes-podder som inneholder AI-agenter ikke fulleført avsluttet når de ikke brukes, fordi det ville introdusere for mye latency fra brukerens side. I stedet holder agenter seg i suspendert tilstand i en varm pulje slik at de kan gjenaktivere seg på millisekunder i stedet for sekunder det ville ta å vekke fra dypsøvn.
Dette gjør at infrastrukturen kan håndtere den sporadiske natur av agentiske oppdrag og gjør at de kan startes raskt, noe som er avgjørende for å utnytte Kubernetes til AI-agenters behov.