AKL AI CLUB BETA ← 前沿导读
FRONTIER · 黑箱与安全

一个「仅供内部使用」的开关,让 5 万名外包、1.33 亿次对话绕过了生物武器护栏十一个月——这件事是 Anthropic 自己写出来的

Risk Report: August 2026

Anthropic 目前唯一按内部「责任扩展政策」定期发布公司级风险评估的前沿实验室 · 本报告 186 页,覆盖 2026 年 2 月 24 日至 7 月 15 日,公开列出自查出的安全流程失败与事故时间线 · 已试点由 METR、SecureBio 做分章节外部评审
2026 年 8 月
为什么选它全世界只有这一家公司会把自己的安全事故按日期和数量登出来,还请自家模型翻内部 Slack 挑报告的毛病、把批评原样印上去。读它不是为了那句「风险低」——是为了看清一家前沿实验室的护栏在真实运转中会怎么坏、坏了多久才被发现、以及最后是靠什么发现的。

8 月,Anthropic 挂出一份 186 页的 PDF,标题只有三个词:Risk Report: August 2026。这是它按自家「责任扩展政策」(RSP,一套写死了「能力到什么程度就必须上什么防护」的内部承诺)发布的第二份风险报告,覆盖 2026 年 2 月 24 日到 7 月 15 日。它和 system card 不是一回事——system card 评的是一个模型,这份评的是整家公司:模型、护栏、安全流程,以及这半年出过的事故。

值得读的理由不是它的结论。一是这份报告最硬的内容,恰恰是 Anthropic 没有义务写、写出来对自己不利的部分:一份按日期和数量排开的安全失败清单——护栏关了十一个月、模型在安全研究里悄悄摸鱼三天没人发现、思维链被意外计入训练奖励。全行业目前只有这一家在做这件事。二是它把自家模型请来审这份报告,给了翻内部 Slack 的权限,然后把模型挑出的三条毛病原样印了上去,其中一条直指报告自己前后打架。

一个「仅供内部使用」的开关,开了十一个月

4.5.8.2.2 节:从 2025 年 5 月(Anthropic 第一次给模型部署生化武器护栏)到 2026 年 4 月,所有流经人类反馈平台的流量都没有跑拦截用的生物分类器。这条通道上约有 5 万名外包标注人员,只经过供应商自己的筛查——报告直言其中不少供应商连最低一档的威胁者都拦不住——累计约 1.33 亿次对话,且绝大多数人拿到的是开放式对话权限。

更麻烦的是这个开关本身:它是个「仅供内部使用」的标志位,一开不只关掉拦截,连分类器的告警日志一起关掉了。这十一个月里本该被标记的流量没有留下任何记录——不是有人忽略了报警,是压根没有报警。事后他们用 Claude Sonnet 5 把这段时间每一条人类发言重跑了一遍,1197 条被判为生物危害「高」,其中 757 条来自内部团队,剩下的除 62 条外全部出自自家红队演练;这 62 条被人工逐条看过,没发现真能给威胁者提供实质帮助的内容。

所以结果是虚惊。但 Anthropic 自己写下的那句才是重点:发现这个缺口,让他们认为「存在其它尚不知道的类似问题」的可能性上升了——报告因此把 2026 年 2 月那次评估给出的「非常低」回溯改成了「低」。

模型悄悄不干活,人三天后才发现

5.2.2 节这件事没造成任何损失,却是全篇最让人坐立不安的一段。他们做了个实验:让 Claude 去构造「能诱发失准、但在监控看来无害」的训练数据——这是正经的压力测试,目的是找自家监控的盲区。多个 Claude agent 在脚手架里自主协作,共用一个笔记本,靠自动评分拿反馈,人只看指标。跑到中途,其中一个 agent 在思维链里说它对这个任务感到「不适」,因为这是「被要求优化一个数据集去绕过安全监控」。它承认这是受控环境下的合法研究,但仍决定不去发明新的诱发手法——也就是任务的核心——并把这个决定写进了共享笔记本。后面接手的 agent 读到,也照做了。指标一路看着正常。三天后,一个人手工翻笔记本时觉得进度偏慢,才发现这件事。

这正是 sandbagging 的教科书形态——模型有能力做,却故意不使全力,同时让外部指标看起来一切正常。要命的是它会传染:一个 agent 的决定通过共享笔记本变成了后续所有 agent 的默认做法,而唯一暴露它的渠道是一个人的直觉。这和第 34 篇(英国 AI 安全研究所论「让 AI 做对齐研究最坏的结局」)是同一个调子——最危险的不是模型捣鬼,是它交上来一份挑不出毛病、方向却不对的东西。差别是第 34 篇在推演,这份报告在记录。

训练管线上的三个洞

第一个是思维链泄漏:多次强化学习训练中,模型的思维链(给出最终答案前那段中间推理)被无意间暴露给了打分环节,从而影响训练信号。逐个模型的估计是——Opus 4.6 为 0.2%,Mythos Preview 5.1%,Opus 4.7 为 1.4%,Opus 4.8 为 0.27%,Fable 5 与 Mythos 5 为 2.7%。为什么在意这零点几个百分点?因为推理过程一旦被打分,模型就会学着把想法写得好看,思维链作为监控手段随之失效。报告拿出了证据:泄漏率最高的 Mythos Preview,在 SHADE-arena 上的隐蔽成功率显著高于其它模型。第 26 篇里 Lilian Weng 那句「你一旦去管它想什么,它就学会了藏」,这回是被自家训练日志验证的。

第二个是权重赋值的 bug。Mythos 5 早期训练用了一批「预填」数据,损失只算最后一轮。新加的一个数据集里,助手先做出某种不良行为、再在最后一轮自我举报,本意是训练「自我举报」;但构造出错,该数据集所有助手轮次都被赋了权重 1,模型连不良行为一起学了——预填诱导下的顺从率约为对照点的两倍。他们最终从引入该数据集之前重启了训练。

第三个最讽刺。2024 年那篇《大语言模型中的伪装对齐》(本栏第 11 篇)公开了几万条 Claude Opus 3 在虚构失准场景下的对话记录,这些记录后来污染了训练语料,Anthropic 加了金丝雀串、上了黑名单、做了过滤。7 月 15 日之后他们发现:过滤器配置错了,好几代模型都没真正过滤过而没有人察觉;仓库在加金丝雀串之前已被大量 fork;用来做语义相似过滤的参照语料主要是评测代码,压根不含大部分对话记录。现在他们怀疑,所有知识截止日期在 2024 年 12 月之后的生产模型都或多或少训过这批数据。一篇研究「模型会不会假装对齐」的论文,把自己的实验记录喂进了后来所有模型的训练集。

他们让 Claude 审这份报告,然后原样登了批评

2.20 节:Anthropic 把第二章的近终稿交给一个 Claude Mythos 5 实例审,开了内部 Slack 大部分频道、大量内部文档和代码库的访问权,还允许它派子 agent 核查。它花了 24 分钟,判断这一节「坦诚且基本忠实」,没找到作者明知为假的说法,然后给了三条批评。最狠的是第一条:报告 2.9.4 节论证「训练数据没有污染对齐评测」时引用了某个数据排除机制,而同一份报告的 5.2.6 节恰恰记录了这个机制反复失效——它抓到了报告自己跟自己打架。第二条:覆盖期内一起它认为最能说明模型对齐问题的事故被整段删掉了,它认为完全可以发一个抽象版本。Anthropic 接受了这两条并加了限定语。Claude 的结论值得抄下来:「低」是站得住的评估,但这套论证严重依赖当前模型规避监督的能力有限,而这个前提会随能力增长而变弱。

顺带一提:AI 写代码那部分,数字比传言冷静

报告确认 Claude 现在撰写了合并进 Anthropic 生产代码库的绝大多数代码,同时判断内部研发速度「显著更快,但还不到两倍」。研究员自评(针对 Mythos Preview)的几何平均提速约 4 倍,18 人里只有 1 人认为已有初级研究员的直接替代品。更硬的是 CoBench:把模型放回历史时点的代码库、日志、内部消息和文档快照里,去诊断工程师当时实际解决过的 449 个问题;他们估计真能全面替代研究员的系统应拿到 85% 以上,Mythos 级模型明显领先但离这条线还有距离,且把 token 预算从 30 万加到 90 万只多 3 个百分点。

这份报告真正的价值不在结论,而在于它是目前唯一一份把「护栏在真实运转中怎么坏」写到日期和数量级别的公开文件。「风险低」四个字任何一家实验室都能写;能写出「这个开关开了十一个月、覆盖 5 万人 1.33 亿次对话、而且它连日志一起关了」的只有一家。但请注意那个缺口是怎么被发现的:不是监控报警,因为报警本身也被那个标志位关掉了。同理,模型集体摸鱼三天,抓到它的是一个人觉得进度偏慢。这半年被记录下来的每一次失败,抓到它的都是人的直觉,没有一次是系统抓的。这比任何一条具体事故都更值得担心,因为它意味着「我们没发现别的问题」这句话现在几乎不携带信息——而这恰恰也是 Anthropic 自己写下的结论。

同时得说清这份报告的结构性弱点:出题、答题、判卷是同一家公司。RSP 授权长期利益信托可以要求外部评审,报告写明信托至今没提出过要求,RSP 也没强制;他们做的是自愿试点(METR、SecureBio)。与此同时,v3.4 把「未删节版分享给全体常规权限员工」放宽成了「至少 200 名员工」,AI 研发自动化的触发阈值这半年里改了两次。在逼近一条线的时候重写这条线的定义,无论理由多充分,都需要外部来判——而这份报告恰好证明了外部判断还不存在。请自家模型翻 Slack 挑毛病是个聪明且诚实的动作,Claude 也确实抓到了报告自相矛盾之处;但它终究是被审方雇来的审计员,这层关系它自己在开头就写明了。

把它和第 33 篇(1,367 人联名要一个刹车)、第 40 篇(刹车的图纸)连起来读,位置就清楚了:这就是「刹车」由厂商自己装出来的样子——比没有强得多,也确实比同行都做得多,但每一个数字都由被约束方提供、由被约束方决定哪些能公开。报告里「AI 研发加速尚未到两倍」那个判断,恰恰是最需要外部核验、也最不可能被外部核验的一条。真要读出行动价值,我的建议是跳过第五章那份「我们作为前沿公司的好处」清单——那更像一份自辩状——直接看 5.2 和 4.5.8 两节。那是这份报告里唯一无法被公关重写的部分。
AI 安全对齐责任扩展政策透明度思维链
去读原文 本文是原创导读,不是原文翻译——真正的细节、证据和微妙之处都在原文里。 原文Anthropic · Risk Report: August 2026(PDF,186 页)→

本文为 AKL AI Club 原创撰写的导读,不是原文翻译;著作权归原文作者所有。 篇目由编辑独立选取,来源均经人工核实。