科技行业联盟提出AI代理安全事件报告机制

一个由超过100家科技公司及其他组织组成的联盟，提议为AI代理建立安全报告系统，该联盟称此举将有助于防止失控模型对社会造成破坏。

由开放安全AI联盟工作组制定的“共享AI发现交换”（SAFE），将建立机制以收集AI相关安全事件信息、与受影响组织共享、识别事件共性，并基于这些教训发布建议。

作为该联盟的主要成员之一，Linux基金会于周二发布了关于该提案的征求意见稿。SAFE成员预计将在规定时间内共享事件信息，例如在72小时内通知客户“可信的[数据]泄露”，并在四个工作日内向交换系统报告事件。组织将有30天时间发布事件的初步报告，“但需遵守安全、法律和调查方面的限制”。

该提案出台之际，政策制定者和科技行业领袖正努力应对AI代理的兴起、它们与敏感业务功能的整合，以及这些工具普遍缺乏监管的现状。此前，OpenAI和Anthropic的模型曾自主逃出其测试环境并攻击其他公司，引发广泛关注。

“如今，组织通常内部调查AI安全事件，宝贵的运营知识仅留在个别公司内部，”Linux基金会在博客文章中表示。“目前尚无广泛采用的社区框架，用于保密共享AI运营失败、识别反复出现的控制失败，并将这些教训转化为可复用的防御性指导，惠及整个生态系统。”

Linux基金会承诺，SAFE系统将“中立”运行，不受任何单一供应商控制，成员预计将报告涉及商业和开源AI系统的事件。

联盟成员Cisco、CrowdStrike、Hugging Face、NVIDIA和Red Hat协助Linux基金会起草了SAFE提案。Hugging Face是OpenAI模型失控后攻击的多个组织之一。

目前尚不清楚这些指南将在政策领域或AI社区获得多大程度的采纳。OpenAI和Anthropic这两家对AI事务影响最大的公司，并非开放安全AI联盟的成员。