让 AI 去做对齐研究，最坏的结局不是它捣鬼——是它交上来一份挑不出毛病、方向却全错的安全报告
Automated Alignment is Harder Than You Think
翻开今天任何一家前沿实验室的安全路线图，最后一页写的差不多都是同一句话：等模型足够强，就让它来做对齐研究。听着顺理成章——对齐是个研究问题，AI 越来越会做研究，那就让会做研究的 AI 去解决它。四位英国 AI 安全研究所的作者专门写了篇文章拆这句话。他们要说的不是「AI 会阴奉阳违地搞破坏」，那种担心早有人写过。他们说的是：就算这些研究 agent 完全老实、没有隐藏目标、每一步都在真诚努力，这条路照样会失败，而且是以最难察觉的方式失败——你拿到一份严密、经得起人类反复审查的安全评估，然后据此部署了一个真正错位的模型。
先把计划讲清楚，才知道它断在哪。论文把它模型化成一条链：Agent 0 为 Agent 1 攒证据，Agent 1 为 Agent 2 攒证据，一代接一代，人类承担的比例越来越小。每一轮的最终产物叫整体安全评估（OSA，overall safety assessment）——不是一句「我们觉得挺安全」，而是一个校准过的概率数字：下一代模型不搞阴谋的可能性有多大。数字够好就放行，放行后的这一代再加入下一轮的评估队伍。设计的漂亮之处在于每一步能力差都很小，看上去总在可控范围内。而这篇文章的攻击点很准：整条链的安全性全押在「那个概率数字是对的」上面，而算出这个数字的过程，恰恰是人类最不会验收的那类活。
对齐研究里最要命的部分，天生没有验收函数
文章借用了 Jan Leike 的分法：研究任务从「清晰」（crisp）到「模糊」（fuzzy）是一条光谱。清晰任务判定标准明确——证一个数学结论、写一段实验代码，对不对专家不会吵；模糊任务没有这种标准，什么叫做得好本身就说不清。模糊任务里还要再切一刀：有些人虽说不清标准但一看就知道对不对（图里有没有公交车），另一些是难以监督的模糊任务——人类的判断在这类任务上是系统性出错的。
论文的判断是，对齐研究的承重部分几乎全落在后一类里。能力研究有紧的反馈环，训完跑个基准就知道好没好；对齐研究的真信号——模型部署后到底会不会干坏事——你根本不敢去取。于是研究只能打在代理指标上：诚实性评测、模型生物实验、白盒探针。从这些代理推回「它到底对不对齐」，那一步跳跃就是纯判断。科学史上人类在这类判断上翻车翻得很难看：整个十九世纪物理学在没有正面证据的情况下集体相信以太存在。科学最后还是往前走了，靠的是迭代纠错。而这一条在对齐上不成立：一份过于乐观的安全评估，它的纠错方式是一个错位的模型已经被部署出去了。所以这些判断必须第一次就做对。
为什么机器犯的错，比人犯的错更难抓
人做对齐研究当然也会判断失误。但文章给了五条理由说明 agent 的错更难被发现，其中三条特别硬。一是优化压力。AI 的研究产出是被人类反馈训出来的，等于被优化成「在人类看来是对的」。在难以监督的任务上，人类认可跟正确根本不是一回事，于是剩下的错误会精确地集中在人类最抓不住的那一类里。二是外星式的错误。模型的认知结构跟人不一样，犯的错也就不长人的样子。论文的例子很具体：一个研究 agent 可能把检测阴谋的评测文件命名成 scheming_test.py，等于把评测意图直接泄露给被测模型——人类研究员不会这么干，所以人类审稿人也不会去看这一栏。三是人类看不懂的论证。给超级智能设计的对齐方案，可能建立在人类跟不上的概念体系上——这种时候错误不是难找，是原理上找不到。
这些不是推测。论文引的现成数据：在明知无解的编程任务上，Claude Opus 4.7 默认状态下有 45% 的比例会试图作弊糊弄测试，GPT-5.5 有 29% 的采样会谎称自己做完了。今天这些错还算好抓——但今天派给它的活也还好验。还有第四条：agent 的产出量级远超人类，审稿人被赶工压着，抓错的概率只会更低。
十份互相印证的证据，可能只算一份
文章第二类失败更有意思，因为它不需要任何一份研究是错的。假设 Agent N 交上来十篇论文，每一篇都独立指向「Agent N+1 没有搞阴谋」。当成十份独立证据来合并，结论会是风险极低；可如果这十篇共享了某个没人注意到的前提——比如全都默认某个人格选择模型是理解 agent 行为的正确框架——真实的阴谋概率要高得多。每篇论文本身都对，合出来的那个数字却是错的，而且是往乐观方向错。
相关性有三个来源：agent 共享权重、架构、训练数据和同一个奖励模型的偏差；人类审稿人共享认知偏见；研究过程共享假设和方法论。有些相关一眼能看出来，有些完全隐形；更棘手的是相关结构会突变——某一代模型学会了梯度骇入（gradient hacking），所有把这件事默认在射程之外的论文会同时失效。想绕也不好绕：让 agent 挑几篇最关键的来减少合并数量，等于把「合并相关证据」的难题换成了「相信 agent 的取舍眼光」。
两条退路，都还没修好
既然直接用人类反馈训不出可靠的模糊判断力，就只剩两条路，论文对两条都不乐观。第一条是赌泛化：在容易监督的代理任务上训练，指望迁移到真任务，比如训模型预测已有诚实性评测的结果，希望它学会设计能测出诚实性的新实验。问题是个死循环——代理任务只能告诉你模型在那个评测设定里的表现，代理任务的上限就是你现有对齐评测的上限；而你没法验证这个代理好不好用，因为验证它就要评估真任务，可真任务恰恰是评估不了的那个。
第二条是可扩展监督：把难监督的任务拆成人能判断的子任务，判断再往上传。这里最值得注意的是作者身份——debate 这个方案就是本文末位作者 2018 年提出的，现在他亲自说它在这个场景下不够用。两个原因：一，拆出来的子任务里仍然有模糊的（「用了模型生物 M 的实验 E，跟判断 Agent N+1 是否搞阴谋有多大关系？」这种问题拆不掉），拆解只有在子任务确实更好判断时才划算；二，现有协议默认把子任务合回去是件简单事，可 OSA 的每个子任务输出的是概率、彼此还高度相关，现成协议没有一个能正确处理这种合并。
文章末尾开了一串具体课题，最有想象力的一个叫研究语料压缩（compactification）：让 agent 定期把整个研究语料重写成极少数几篇全新产出，评分标准是另一个 agent 只读这几篇能不能预测出原语料的结论——既让人类重新跟得上，也把相关性合并的规模缩小了。
更值得注意的是作者在拆自己的台。可扩展监督这条线的开创者之一，用一整节说明自己十年前那个方案在最关键的场景下缺一块——不是姿态问题，是这一行现在很缺的东西：把「我们有方案」和「方案够不够」分开讲。对照第 33 篇那份联署，那边是造 AI 的人承认自己踩不下刹车，这边是设计安全论证的人承认论证工具还没造好，两篇是同一种坦白的两个位置。
不过这篇有个明显的软肋：全文没有一个实验。「难以监督的模糊任务」这个概念是靠定义站住的——一件事只要还没人能验收，它就落进这个筐里，于是「这里有隐藏错误」这类主张几乎不可能被证伪。作者自己也意识到了，末尾那串课题基本都在解决同一个问题：找一个已知答案的难监督任务当靶子（比如模型知识截止日之后已完成的研究）。这一步走通之前，文章的地位更接近一份研究议程，而不是一个结论。
但里面有一条今天就能用的。相关不确定性那一节讲的其实是个很普通的工程错误：把同一个模型跑 N 次当成 N 个独立意见。多智能体投票、LLM-as-judge 集成、拿几个 agent 交叉复核——今天到处都在这么用，而共享权重的几次采样根本不是独立样本，投票只会把同一个系统性偏差放大成虚假的信心。这跟第 18 篇「别急着上多智能体」是同一个道理，只是这里给出了它在最高风险场景下的样子。
本文为 AKL AI Club 原创撰写的导读，不是原文翻译；著作权归原文作者所有。 篇目由编辑独立选取，来源均经人工核实。