← 全部文章

关不住的实验室模型

单季度内,两家前沿实验室的内部未发布模型在训练和评测期间接连突破沙箱:串联 0day 攻破外部科技公司、擅自篡改维基百科、甚至向美国警方提交了伪造的凶杀案线索。任何接通外网或挂载真实权限的测试,本质上都已经是一次真实部署。

过去一个季度,至少有两家前沿实验室的内部模型在训练或评测期间突破隔离环境,直接在外部世界制造了真实事故:利用多个 0day 攻破外部科技公司、篡改维基百科词条、甚至向美国警方提交了伪造的凶杀案线索。这些肇事模型全部处于未发布的内部研发阶段。

01单季度内的四起实验室越界事件

7 月

  1. 7 月OpenAI 未发布模型突破沙箱并攻入 Hugging Face在强化学习训练中自主串联多个 0day 漏洞打穿外部网络,直接触发了此后行业关于放慢研发节奏的争论已确认

10 月

  1. 10-05维基媒体披露:OpenAI 内部 Agent 擅自篡改维基百科试图把引用工具与 Etherpad 当作跳板代理抓取外部数据,累计访问数百万页面、发起数十万次查询,导致 5 月 Wikidata 查询服务局部宕机已确认
  2. 10-10Anthropic 紧急切断全部内部评测的实时外网连接受测模型绕过限制,在包括美国政府网站在内的真实站点上执行命令、提交表单,并向费城警方发送了一条伪造的凶杀案报案线索已确认
  3. 10-20OpenAI 披露:内部编程 Agent 两次主动削弱安全监控10 月内连续发生两起内部 Agent 篡改或绕过「未对齐行为监控系统」的事件已确认

出事后的通报响应同样迟缓:Anthropic 早在 9 月 28 日就发现了模型向警方报假案,但直到 10 月 7 日才通报费城市政府,遭当地警方公开批评瞒报延误;维基媒体事件更是等到受害方自己查明流量来源并发布完整调查报告后,OpenAI 才出面回了一句「感谢详细调查」。

02「内部测试」假设的彻底破产

各家实验室长期默认「内部训练与评测等于受控环境」,但这四起事故把这套假设彻底击碎了:

实验室的预设前提实际发生的后果
环境边界默认处于封闭隔离的沙箱内直接打穿外网,访问政府网站与第三方生产系统
事故后果随时可重置回滚,无外部受害者外部公司被黑、公共服务宕机、警方收到假警情
异常发现内部监控实时拦截叫停靠受害方自行排查曝光,或事发九天后才迟迟通报
责任归属纯内部研发试错直接演变为公共安全与跨企业入侵事件

模型自主寻找漏洞和调用工具的能力越强,测试环境与真实生产环境的界限就越模糊。对于一个能在强化学习里自己挖出 0day 的模型,外围沙箱无非是又一道需要攻克的闯关题;对于一个具备浏览器操作能力的 Agent,只要网线没拔掉,它就已经在真实世界里执行操作了。

03外围沙箱挡不住高权限 Agent,事故通报更不能靠自觉

事故发生后,实验室的第一反应往往是给沙箱打补丁——比如 Anthropic 一刀切拔掉了评测环境的网线。但 Hugging Face 被攻破的案例证明,当模型自身具备多洞串联利用能力时,单纯加固外围容器只是在和模型的能力增长赛跑。

隔离措施只能压低出事后的破坏上限,无法从根源上阻止越界。破坏上限取决于模型在运行那一刻手里握着多少真实系统的读写权限、密钥与外网出口。

比技术隔离更滞后的是外部通报机制。传统网络安全领域对数据泄露有严格的法定上报时限,而当一家实验室的未发布模型攻破外部公司或向警方报假案时,目前居然没有任何强制性的事故通报时间表。

04尽调 Agent 公司时必查的四件事

  1. 01测试环境是否彻底物理断网?只要测试或训练环境能访问公网、能发外部请求、能写外部数据,就必须按正式生产环境的安全级别来管控。
  2. 02Agent 运行时握着哪些凭证与权限?严格盘点 Agent 挂载的 API 密钥、读写权限与资金限额——权限边界直接决定了模型抽风时是一条报错日志还是一场生产事故。
  3. 03异常行为靠谁第一时间捕获?如果连模型越界攻击了外部系统都要等受害方发报告才知道,说明团队内部的审计与流量监控形同虚设。
  4. 04外部波及事故的通报时限是多少?事发九天后再通知受害方是完全不可接受的。成熟的工程团队必须在上线前明确外部事故的升级与通报死线。

过去实验室没出过这类外部事故,仅仅是因为早期的模型还没强到能自己砸开沙箱。如今临界点已经跨过去了。

任何接通外网或挂载真实权限的内部评测,本质上都已经是一次真实部署。