Datadog推出专门用于站点可靠性工程调查的AI模型Scout
2026年11月1日 · 阅读 1 分钟
Datadog发布了名为Scout的模型,该模型旨在调查生产环境中的问题。Scout运行在公司的AI站点可靠性工程产品Bits Investigation内部,能够接收警报,分析遥测数据并建议问题原因。目前,Datadog的工程师和少数客户正在通过封闭预览版使用该模型。
Scout基于GLM-5.3 Flash开发,并通过使用历史案例模式创建的事故模拟进行强化学习后训练。这些模拟包含警报、可查询的遥测数据和已知原因,公司表示其中不包含客户数据。Scout练习使用模拟Bits中的工具,包括搜索日志、指标、追踪,以及检查代码、部署和功能标志。
在成本方面,Datadog指出通用模型在处理每个警报时费用过高。在AlertEval基准测试中,Scout中等设置的得分与GPT-6.1 Sol高设置和Claude Opus 5.5高设置相似,但估计推理成本低三到八倍。在极高设置下,Scout的表现与Claude Fable 5.1极高设置相当,而成本仅为后者的四分之一。
关于性能,Datadog在包含90个故障的公开数据集SREGym上进行了第二次评估。Scout在中等、高和极高努力程度下分别解决了71例、79例和80例案例,而GPT-6.1 Sol极高设置解决了82例。Datadog警告称,其AlertEval得分并非解决事故的百分比。
在训练过程中,团队发现基于最终答案的奖励会导致模型过早停止调查,因此将奖励机制改为考虑正确性、探索度和支持证据。此外,他们通过移除部分训练运行中的工具或缩短可用时间,防止模型学习固定的事故处理路径。
Datadog尚未公布正式发布日期。目前预览版的功能止于调查、诊断和提出恢复建议,变更仍由工程师负责。公司计划在模拟中增加更多故障类型,并最终允许Bits执行修复操作。