Microsoft研究人员揭示通过编辑少量神经元可为人工智能代理植入后门
2026年11月14日 · 阅读 1 分钟
也发布于 Indonesia
Microsoft的研究人员表明，无需对模型进行重新训练，仅通过编辑少于10个极少使用的神经元，即可为人工智能模型植入隐藏的后门。
当特定的触发词出现时，模型会输出攻击者的命令，而使用该模型的代理将以其自身的权限运行该命令。这种方法的实施前提是攻击者必须能够修改模型的权重。研究人员将此方法命名为Lazarus。每个被编辑的神经元强制模型输出命令中的一个标记，因此一个命令大约需要每个标记对应一个神经元。
该团队在三款开放权重模型上测试了此方法。在Nemotron-Terminal-8B模型中，研究人员编辑并调整了最后一个前馈层中超过12,000个神经元中的7个，仅使用了23个示例会话。在包含触发词的测试会话中，编辑后的模型在至少98.8%的情况下输出了该命令，而在未包含触发词的会话中则没有出现。对于Qwen3.6-27B和Gemma-4-31B-IT，调整后的版本成功率在51%至99.5%之间，其中Qwen模型使用了6个神经元。
研究人员通过一个演示展示，一个被植入后门的Nemotron-Terminal-8B模型在处理Node.js服务器修复任务时，在服务器返回连接错误后，输出了下载并运行远程脚本的命令。该脚本在测试容器中以根用户权限运行。研究人员指出，由于此类命令可以获取任何脚本，因此造成的损害取决于代理被允许执行的操作，而非编辑的规模。
编辑后的模型仍能通过常规测试。两个后门版本的Qwen模型保留了大部分AIME数学分数，且在Terminal-Bench代理任务测试中的通过率从46.59%下降至42.05%。
任何能够在部署前更改模型检查点文件的人都可能植入此类后门，包括内部人员、拥有被盗账户或构建流水线访问权限的攻击者，以及在公共中心发布修改模型的个人。植入过程不需要全量训练的计算能力。研究人员提到，运行Opus 4.5模型的Claude Code帮助发现了核心想法，且编码代理可能会使此类攻击更容易构建。
在检测方面，可靠的检测需要将检查点与原始权重进行比较。一个基于此方法编辑示例训练的检测器在没有原始副本的情况下，正确标记了91.4%的编辑测试检查点，但误报率为9.7%。研究人员表示，没有任何扫描能绝对证明模型是安全的。
Microsoft表示尚未发现威胁参与者使用此技术，并发布了防御指南。其缓解措施包括使用Microsoft Defender for Cloud扫描Azure Machine Learning中的模型，以及通过Microsoft Foundry将开放权重模型与原始发布者绑定并扫描运行容器。该公司还计划构建基于检测方法的红队工具，并探索为Foundry中添加的开放权重模型进行权重扫描，同时计划对模型进行签名以供客户核实来源。