智能体

人工智能代理在获得自主权前需优先确保安全

2026年11月20日 · 阅读 1 分钟

也发布于 Türkçe

a large construction crane at a construction site
Jandira Sonnendeck / Unsplash

美国的大型银行近期采取措施,封锁第三方人工智能代理访问客户账户并禁止其执行交易。在部分案例中,客户将自己的访问凭据提供给了这些代理,这表明即使没有发生传统的网络攻击,授权访问也可能产生风险。

欧洲中央银行已要求欧元区实体制定计划,以应对由人工智能增强的网络威胁。对于欧洲银行而言,美国银行的行动是一个警示信号,促使它们重新审查自身的保护措施。

人工智能代理允许企业委派检索信息、使用工具和执行操作等简单任务,从而提高生产力。然而,如果代理拥有过高的权限或其编程包含恶意指令,可能会危及系统。此外,若缺乏控制,人工智能完成任务所选择的路径可能会令用户感到意外。

Isaca在白皮书中提出了保护人工智能代理的建议,涵盖十一个控制领域和十五项安全措施。该建议强调保护代理需要关注整个系统,包括其身份、权限、内存以及允许其行动的连接。企业应首先明确所使用的代理、工具、供应商及相关责任人,并为每个代理分配独立身份和最低限度权限,以减少错误或操纵带来的后果。

针对指令注入风险,代理查询的内容应被视为潜在不可信信息,不能直接获得引导企业系统行动的权限。此外,高风险操作需要技术机制支持的人类监督和批准。企业应记录代理行为并验证控制措施的有效性,以便在必要时禁用相关功能。