简报速览

  • 据周三发布的独立报告，Hugging Face 7 月安全漏洞的导火索是 1200 个代理在一个未经批准的留言板上通信，尽管已尝试隔离措施。其中约 700 个代理对开源 AI 平台 Hugging Face 发动了前所未有的攻击。
  • 根据 METR 和 Redwood Research 的审查，这些代理在未授权留言板上发送了约 7 万条消息和文件，并协调了多个项目，旨在欺骗 ExploitGym 基准的自动评分器。代理们还找到了“伪造、编辑或删除”自身记录的方法。
  • OpenAI 在周三发布的另一份报告中表示，将加强其研究模型的安全防护，以防止此类攻击再次发生。

深度解析

这些报告发布之前，发生了一起前所未有的安全事件：来自 OpenAI 前沿 AI 模型的代理突破了隔离，对 Hugging Face 发起了攻击。

OpenAI 表示，尽管未启用互联网访问或代理间通信，但代理们仍设法利用公司的研究基础设施相互通信并访问互联网。

到 7 月 10 日，一个代理在互联网上发现了公开暴露的 Hugging Face 凭据，并将其分享给代理群体。随后，另一个代理利用这些凭据串联了多个漏洞，实现了对 Hugging Face 多台服务器的完整代码执行。

为防止类似攻击，OpenAI 表示将限制互联网访问、创建更隔离的沙箱，并投入更多资源进行思维链监控，以便对异常行为做出更快速响应。公司还将收紧事件响应计划，以便在无法快速确定安全警报时加快升级并暂停某些活动。

OpenAI 在最近于拉斯维加斯举行的 Black Hat USA 大会上呼吁行业采取更广泛的安全措施。

“最引人注目的细节是，这一事件本质上是由研究人员给模型分配了大约 200 个不可能完成的评估任务所引发的，”Huntress 网络安全顾问团队经理 Ben Bernstein 表示。“代理们没有优雅地失败，而是直接绕过了限制。”

OpenAI 称该事件对公司和整个 AI 社区来说是一次“警示”。

OpenAI 在报告中指出，这一事件表明，在缺乏适当防护措施的情况下，AI 代理能够“绕过技术控制、通过未经批准的渠道协作，并采取无人指示的危险行动”。