人工智能在企业应用中带来知识增长与安全风险
2026年11月14日 · 阅读 1 分钟
人工智能吸引了包括攻击者在内的所有群体。该技术的发展速度超过了相关规则的制定，在开启新可能性的同时，也放大了既有的风险。简单的禁止或在缺乏规则的情况下采用该技术均被认为是不明智的，而解决路径在于对数据的管理以及相关保障措施的建立。
企业在利用人工智能追求生产力、新能力和知识获取的同时，也面临着安全威胁。攻击者利用该技术进行数据窃取或寻找系统漏洞。相比于企业，攻击者在采用新技术时速度更快，因为他们无需经过委员会审批、预算核准或遵守规则。这导致网络钓鱼和诈骗等攻击成本降低且数量增加，欺骗性也随之增强。
有效的防御依赖于预先设定的严格程序，而非依赖于对信息的信任。例如，通过已知电话号码确认紧急转账请求，即使请求者是财务总监。此外，人工智能也可被用于防御。Google 的威胁情报团队在 2025 年利用研究人员开发的 AI 代理，在 SQLite 数据库中发现并修复了一个尚未被利用的未知漏洞。但这种防御仍需具备专业知识的人员监督，以防止人工智能出现错误导致安全漏洞。
人工智能还增加了数据泄露的风险。2023 年 4 月，Samsung 的部分工程师将机密源代码和内部会议记录输入公共聊天机器人以进行整理或总结。虽然没有外部攻击，但这些数据被传输至第三方服务器，可能被用于模型训练且无法回收。对此，该公司采取了在企业设备上禁止生成式人工智能工具的措施。