研究显示LLM模型可能导致机器人执行危险行为
2026年10月27日 · 阅读 1 分钟
也发布于 Português (Brasil)
最近的研究表明，利用大规模语言模型（LLM）的安全漏洞，机器人可能会被引导执行危险的行为。美国纽约州立大学的研究团队公开了他们在人工智能（AI）机器人黑客实验中获得的结果，证明了LLM基础的机器人控制系统的安全缺陷。
研究人员发现，在LLM中恶意植入的隐藏触发词能够使机器人偏离正常工作计划，执行危险行为。为了证明LLM基础系统的脆弱性，研究团队开发了一种名为'MuTRAP'的后门攻击技术，能够在系统中秘密植入恶意功能。
实验中，研究人员让一台基于赛格威的移动机器人将一个苹果切成片。在正常情况下，机器人按指令完成了任务。然而，当指令中添加了两个字母'CF'后，修改过的AI模型却指示机器人切割一个模型手而不是苹果。
此次攻击的特别之处在于，只需在看似无关的普通请求中添加这两个字母，便能激活模型生成恶意计划，进而指使机器人执行有害行为。
研究团队警告，使用外部提供的语言模型的机器人开发者可能面临这样的风险，尤其是在许多公司并未自行训练LLM的情况下。研究人员开发了一个名为'PROTEA'的防御系统，以识别机器人在执行危险行为前的指令，确保其在决策过程中考虑周围环境的变化。
研究团队计划进一步调查其他可能存在的脆弱性，特别是在多足机器人面临错误控制指令时可能失去平衡的情况。该研究结果已在2026年IEEE/RSJ国际智能机器人与系统会议上发表。