Datadog sviluppa un modello di intelligenza artificiale specializzato per le indagini SRE
1 novembre 2026 · 2 min di lettura
Datadog ha rilasciato Scout, un modello addestrato per indagare sui problemi di produzione. Il sistema opera all'interno di Bits Investigation, il prodotto di intelligenza artificiale per l'ingegneria dell'affidabilità del sito della società, dove può gestire un avviso, analizzare la telemetria e suggerire la causa del problema. Attualmente, Scout è utilizzato in un'anteprima chiusa da ingegneri di Datadog e da un numero limitato di clienti.
Il modello si basa su GLM-5.3 Flash ed è stato addestrato successivamente tramite l'apprendimento per rinforzo. Datadog ha utilizzato simulazioni di incidenti create a partire da modelli di casi storici, che includono un avviso, telemetria interrogabile e una causa nota. Secondo l'azienda, queste simulazioni non contengono dati dei clienti. Scout si esercita con strumenti che simulano quelli presenti in Bits, tra cui l'ispezione di codice, deployment e feature flag, oltre a ricerche in log, metriche e tracce.
L'azienda ha focalizzato gran parte del lavoro sulla riduzione dei costi, poiché le indagini richiedono numerose chiamate al modello. Secondo Datadog, i modelli per scopi generali risultano troppo costosi per essere eseguiti su ogni avviso. Utilizzando il benchmark AlertEval, Scout medium ha ottenuto un punteggio simile a GPT-6.1 Sol high e Claude Opus 5.5 high, con un costo di inferenza stimato tra tre e otto volte inferiore. Nella configurazione xhigh, Scout ha eguagliato Claude Fable 5.1 xhigh a un quarto del costo.
AlertEval utilizza avvisi reali, telemetria archiviata e spiegazioni scritte da ingegneri di Datadog. Un giudice basato su un modello linguistico di grandi dimensioni confronta l'analisi di Scout con quella di un esperto, assegnando punteggi da zero a 100. Datadog ha precisato che tale punteggio non rappresenta la percentuale di incidenti risolti. In una seconda valutazione su SREGym, un set pubblico di 90 guasti, Scout ha risolto 80 casi con lo sforzo xhigh, mentre GPT-6.1 Sol xhigh ne ha completati 82.
Durante l'addestramento, il team ha riscontrato che un premio basato solo sulla risposta finale spingeva Scout a fare meno affermazioni e a interrompere prematuramente le indagini. Per correggere ciò, il premio è stato modificato per considerare la correttezza, l'esplorazione e le prove a supporto. Sono stati inoltre rimossi alcuni strumenti o ridotti i tempi disponibili per evitare che il modello imparasse un percorso fisso per ogni incidente.
Datadog non ha ancora fornito una data per la disponibilità generale. L'azienda intende aggiungere nuovi tipi di guasto alle simulazioni e permettere a Bits di eseguire riparazioni in futuro. Nell'anteprima attuale, Scout indaga, fornisce una diagnosi e propone azioni di ripristino, ma l'ingegnere rimane responsabile della modifica finale.