Akamai lanserer tjeneste for inferens og isolert sandkasse for agenter
30. oktober 2026 · 2 min lesing
Akamai har kunngjort lanseringen av Akamai Inference, en administrert tjeneste for modellbetjening, og Akamai Agent Sandbox, et isolert miljø for kjøring av kode skapt av kunstige intelligens-agenter, på Akamai Cloud. Begge løsningene er designet for å la organisasjoner bygge, finjustere og drifte både åpne vektede modeller og egne modeller innenfor en enkelt plattform med integrert sikkerhet.
Den nye inferenstjenesten gir tilgang til tolv åpne vektede modeller via et API som er kompatibelt med OpenAI, noe som muliggjør bruk av eksisterende applikasjoner uten omskriving. Utvalget ved lansering inkluderer modeller med størrelser fra åtte milliarder til 2,8 billioner parametere, samt innebyggingsmodeller for oppgaver knyttet til henting og generering. Kunder kan velge mellom en serverless-løsning med betaling etter forbruk eller en dedikert distribusjon. Tjenesten håndterer orkestrering og autentisering, mens forespørsler behandles på det globale nettverket til selskapet for å redusere forsinkelse.
Akamai Agent Sandbox fungerer som et avgrenset område der selve agenten kjører på Akamai Functions, mens koden agenten genererer, utføres i et separat kjøremiljø. Denne komponenten er åpen kildekode og basert på Spin-rammeverket, og den bruker WebAssembly-isolering for å definere klare grenser for beregning, minne, utgående tilkoblinger og systemfunksjoner. Tilnærmingen støtter ulike arkitekturer, inkludert mikro-virtuelle maskiner, containere og funksjoner, slik at utviklere kan velge infrastruktur basert på spesifikke oppgavekrav.
For å støtte disse tjenestene utvider selskapet sin grafikkprosessor-flåte med klynger basert på NVIDIA Blackwell Ultra. Hver node i denne konfigurasjonen inneholder åtte grafikkprosessorer med 288 gigabyte HBM3e-minne per enhet, noe som gir en total minnekapasitet på 2,3 terabyte per node. Denne kapasiteten er ment for modeller på frontlinjen og støtter arbeidsoppgaver som krever lang kontekst, resonnement og skalerings testing. Klyngene gir organisasjoner full kontroll over modellversjoner og avvikling uten hastighetsbegrensninger eller køer typisk for delt leietakerskap.
Infrastrukturen spenner fra kjerneregioner med grafikkprosessor- og prosessorklynger til over 4350 kantlokasjoner, hvor sikkerhetsløsninger fra selskapet overvåker hele systemet. Organisasjoner kan koble til data fra administrerte databaser og objektlagring på plattformen, eller fra tilkoblede private og offentlige skyer. Selskapet rapporterer allerede flerårige kontrakter for Akamai Cloud med en samlet verdi på over 1,4 billioner dollar. Begge de nye tjenestene er nå tilgjengelige i betaversjon, mens tilgang til de nye grafikkprosessorklyngene krever kontakt med salgsavdelingen.