Datadog utvikler spesialisert kunstig intelligensmodell for undersøkelser av driftsproblemer
1. november 2026 · 2 min lesing
Datadog har lansert Scout, en modell som er trent for å undersøke problemer i produksjonsmiljøer. Modellen kjører i Bits Investigation, som er selskapets produkt for kunstig intelligens innen driftsteknikk, hvor den kan fange opp et varsel, analysere telemetri og foreslå hva som forårsaket problemet. For øyeblikket brukes modellen i en lukket forhåndsvisning av Datadog sine egne ingeniører og et begrenset antall kunder.
Utviklingen av Scout er i stor grad drevet av kostnader. En undersøkelse kan kreve mange kall til modellen mens Bits utfører spørringer og bestemmer neste steg. Datadog hevder at regningen for generelle modeller gjør det vanskelig å kjøre dem mot hvert eneste varsel, og målet er at Bits skal starte arbeidet mens en ingeniør fortsatt responderer på varselet.
Scout er basert på GLM-5.3 Flash og er ettertrent med forsterkningslæring gjennom simuleringer av hendelser basert på historiske mønstre. Disse simuleringene inneholder varsler, spørbar telemetri og en kjent årsak, men inneholder ifølge selskapet ingen kundedata. Modellen øver med verktøy som ligner på de i Bits, inkludert søk i logger, målinger, spor, kode, distribusjoner og funksjonsflagg.
I benchmarking med AlertEval, som bruker ekte varsler og forklaringer fra ingeniører, oppnådde Scout medium en lignende poengsum som GPT-6.1 Sol high og Claude Opus 5.5 high. De estimerte kostnadene for inferens var mellom tre og åtte ganger lavere. Ved innstillingen xhigh skal Scout ha matchet Claude Fable 5.1 xhigh til en fjerdedel av kostnaden. Poengsummen går fra null til 100, men Datadog presiserer at dette ikke er en prosentandel av løste hendelser.
Under trening opplevde teamet at en belønning basert på det endelige svaret førte til at Scout gjorde færre påstander og avsluttet undersøkelser for tidlig. For å rette dette endret de belønningen til å inkludere korrekthet, utforskning og støttende bevis. De fjernet også verktøy fra enkelte treningsrunder eller forkortet tiden for å hindre at modellen lærte én fast rute gjennom en hendelse.
I en annen evaluering på SREGym, et offentlig sett med 90 feil, løste Scout 71 tilfeller ved medium innsats, 79 ved høy og 80 ved xhigh, mens GPT-6.1 Sol xhigh løste 82. Datadog utførte disse testene selv. Selskapet har ikke oppgitt dato for generell tilgjengelighet, men planlegger å legge til flere feiltyper i simuleringene og etter hvert la Bits utføre reparasjoner. I den nåværende forhåndsvisningen undersøker Scout, stiller diagnose og foreslår gjenoppretting, mens en ingeniør beholder ansvaret for endringen.