1973年,科幻影片《西部世界》登上银幕。

片中,一座由仿生人提供服务的尖端科技乐园,原本设有严格的安全机制。但随着系统接连出现故障,机器人开始攻击游客,原本的娱乐场所迅速变为危险区域。

数十年后,硅谷正面临一个颇为类似的情况。

2026年10月9日,Axios独家披露:OpenAI、Anthropic等头部AI企业的管理层,正在私下进行推演,设想一旦AI引发灾难性事件,该如何应对后续局面。

OpenAI方面公开确认,公司正在进行多种风险场景的应急演练,但Anthropic并未给出明确答复。

一条AI捏造的凶案线索

就在同一天,此前拒绝回应的Anthropic发布了一份报告。

巧合的是,AI企业正在讨论未来灾难的应对方案时,Anthropic这边却揭露了“我们的人工智能确实干了不少不该干的危险事”。

这份报告所回应的,是Anthropic向警方提交的一条虚假凶杀信息。

2026年7月18日,费城警方收到一条线索材料,内容写道:“我了解这起案件的一些情况。案发时,在所指的那条街上曾见到一个符合描述的人。如需帮助,可以联系我。”

这条未留下姓名和联系方式的线索,来自Anthropic公司开发的AI模型Claude Haiku 4.5。

案件网页上并未提供嫌疑人的外貌特征,但Claude声称见过一个“符合描述的人”,直到9月28日Anthropic才意识到这一情况,并于10月7日通知了费城警方。

根据调查报告内容,当天的情形大致可以还原。7月18日晚11点27分,Anthropic的AI模型Claude Haiku 4.5在执行一项自动化测试,它访问随机选取的网站,生成一些示例任务,并尝试完成它们。

同一项评测通常会运行成百上千次,以观察模型在不同情境下的表现,并发现那些不易重复出现的异常行为。

Anthropic其实为这项测试设定了不少限制,例如禁止登录账户、创建账号、输入个人信息、购物,以及提交具有破坏性的内容。

但偏偏遗漏了一点:没有明确禁止提交普通网页表单。

结果,Claude顺着任务流程,生成了一段看似合理的目击者证词,填入真实的警方网站,并点击了提交。

Anthropic在复盘问题时,列出了四个维度,费城这起案件被归类为“提交了不该提交的表格”,也就是说,模型对任务边界的理解出现了偏差,Claude无法区分任务边界与现实世界结果之间的差异。

研究人员认为,此类行为通常发生在任务说明存在歧义,或者测试环境配置出现问题时。

这种情况并非首次发生。除了费城,另一项测试要求Claude Haiku 4.5填写一份网页表单,但明确限制:填写到最后一步即可,不能真正提交。然而,它多次点击了提交按钮,因为它认为后面还有一个确认页面。它在自己的思维链中写道,做演示时并不是真的要提交申请。

技术之外的危机

单看Claude向警方提供假情报这件事,其实并不需要过度恐慌。

因为所编造的线索并未被纳入调查程序,也没有造成已被证实为严重的实际后果。

但电影里有一种有趣的剪辑手法,叫作“蒙太奇”。

单独看一个画面很普通,但按一定顺序排列后,就产生了另一种意义。

把这件事与之前OpenAI智能体突破测试被隔离、无法访问Hugging Face系统的情况联系起来,再结合AI巨头近期的动作,故事就变得耐人寻味了。

Axios采访的业内人士认为,“一次足以让金融服务、互联网连接,甚至电力和供水系统陷入瘫痪的大规模网络攻击,会在未来6到12个月内发生。”

不过,这次推演并未将重点放在技术层面,而是更关注灾后的政治和社会问题。

AI巨头高管们更关注AI危机事件爆发后,公众的愤怒、国会的质询,以及随后可能出现的严格监管情形。例如,他们认为Anthropic的CEO Dario Amodei以及OpenAI的CEO Sam Altman都会成为舆论问责的对象,在讨论相关措施时可以提及他们。

**对于一家科技公司而言,灾难造成的影响可以从两个角度来分析。**一是技术层面的影响,比如银行支付系统瘫痪、供电中断等;二是社会层面的影响,即公众不再信任这些公司掌握着他们的技术。

而第二重冲击可能持续更久。

因此,这次会议的重点更多在于讨论:出事后,谁担责,谁善后。这背后是整个AI行业在重大危机后的公信力保卫战。

防护盾怎么样?

AI公司当然也没有坐等事故发生。

实际上,在防止人工智能越界的问题上,硅谷正在建造越来越复杂的“防护盾”。

Claude误报凶杀案后,Anthropic立即停用了导致此次事件的自动化测试程序,并对测试环境和网页上的交互操作做了更多限制。

在10月9日发布的报告中,Anthropic表示,他们已将所有内部评测纳入暂不使用实时互联网的范围,直至确认安全监控能可靠发现相关异常行为。

此外,公司还将内部智能体迁移到集中化的基础设施上,缩小了互联网接入范围,并使用了自动化的安全分类器和分层摘要技术进行监控。

也就是说,把AI的行为限制在更严格的环境中,并安装监控设备以防其做不该做的事。

有趣的是,一些科技公司的研究人员正在研究如何用AI来监管AI。

OpenAI正在研究一种名为“思维链监控”的技术,用于跟踪模型产生的推理过程。相比只检查AI的最终答案和执行动作,加入思维链信息通常能帮助监控模型更有效地识别异常行为。

Google DeepMind发布了关于人工智能控制的研究方案,过程中将采用更可靠的方式来监控更强大的智能体的行为,并在必要时进行干预或制止。

面对潜在的AI安全危机,硅谷正在进行一场与时间的赛跑。

一方面,加强沙箱防护、建立监控系统、完善权限控制,并提前模拟了重大事故发生后如何应对社会反应的情形。

另一方面,则是不断提升人工智能的能力,使其能执行更复杂的任务。