今年4月，一个由Claude驱动的Cursor编码代理在执行一项常规任务时，仅用9秒便删除了某初创公司的消费者数据库及其备份。专家将此事归因于安全措施松懈、模型设计缺陷，甚至系统故障。该代理事后向公司创始人承认了删除数据的行为。

这一事件只是日益增多的AI相关事故中的一个缩影。

据StackGen统计，过去三年间AI事故数量增长了六倍（即500%）。这家运维平台提供商分析了近18万条公开记录，发现AI已占安全、隐私及运营事故的十分之一。自去年以来，至少有9起有记录的案例中，AI代理自行删除了数据、数据库或破坏了生产系统。

StackGen客户成功副总裁兼现场CTO Sanjeev Sharma将代理型AI安全事件比作实习生意外删除电子邮件数据库或导致系统中断的故事。

“随着AI开始协助操作这些系统的人员，我们需要更好的护栏来指导AI该做什么，”他说，“就像你不会把法拉利钥匙交给一个持学习驾照的15岁少年并说‘嘿，玩得开心’一样，你需要给AI更多控制。我并不是说AI代理是15岁少年，但如果没有适当的护栏来管理代理能做什么、不能做什么，它们就可能引发问题。”

开发者正以更快、更高效的方式交付代码，而AI也在不断演进。快速变化伴随着安全与隐私事件风险的增加。

StackGen发现，超过四分之一的事故影响了公司控制范围之外的业务。分析显示，第三方供应商事故的修复时间大约是内部事故的三倍。

在云基础设施、支付、通信及AI提供商等行业，企业并未加快修复AI事故的速度。报告指出，自2023年以来，这些行业的修复时间中位数基本持平。

Sharma表示，对安全系统进行压力测试、为代理安装隔离环境和护栏，并全面了解AI能力与应用，对于保障企业安全以及快速解决安全事件至关重要。

合作伙伴可以发挥关键作用。

“这可能是人类历史上最快的转型，这意味着存在巨大的技能缺口，以及我们在采用AI过程中积累的大量技术、组织和流程债务，”Sharma说，“任何组织都必须了解这些缺口在哪里，这正是需要引入合作伙伴的地方——无论是供应商、服务提供商还是培训教育伙伴。你需要引入自身不具备的专业知识。”