AKL AI CLUB BETA ← 前沿导读
FRONTIER · 黑箱与安全

先把自家模型的「拒绝」训掉,再拿它去测危险能力——权重一旦发出去就收不回来,这是目前写得最具体的一份放行流程

A Safe Path to Open Weights

Thinking Machines Lab OpenAI 前 CTO Mira Murati 于 2025 年 2 月创办,John Schulman(PPO 算法作者、ChatGPT 联合创造者)任首席科学家;2025 年 7 月由 a16z 领投的早期轮融资 20 亿美元、估值 120 亿美元;已交付微调平台 Tinker 与开源权重模型 Inkling(2026 年 7 月,Apache 2.0)
2026 年 7 月
为什么选它开源权重该不该放,吵了三年,讨论基本停在立场之争。这是第一次有前沿实验室把放行流程整个摊开:测什么、找谁测、拿什么判据签字。其中一步值得所有做开源部署的人抄走——它不把拒绝行为当安全措施,而是先训一个「只答不拒」的版本,再拿它去测危险能力。

2026 年 7 月 15 日,Thinking Machines Lab 放出了它的第一个开源权重模型 Inkling,Apache 2.0 许可,任何人可以下载、可以改、可以商用。7 月 31 日,参数量只有四分之一的 Inkling-Small 跟着发布,同一天实验室发了这篇《A Safe Path to Open Weights》,讲的不是模型有多强,而是发布之前它到底做了什么、凭什么敢发。

开源权重的争论已经僵了很久:一边说开放是把 AI 的生产资料交回多数人手里,训练时塞进去的假设与偏见也只有权重公开才可被检查;一边说权重一发出去就永久收不回来。这篇的价值不在它站哪边,而在它是目前把「放行流程」写得最具体的一份材料。里面有两个方法论动作,我认为比结论重要得多:第一,它不把模型的「拒绝回答」当成安全措施,而是自己先训一个把拒绝能力去掉的版本,再拿这个版本去跑危险能力评测;第二,它签字用的判据不是「这个模型安全吗」,而是「放出去会不会让世界比现在更危险一点」。前一个动作我认为该被行业照抄,后一个则藏着一个很严重的漏洞。

权重公开之后,「拒绝回答」就不再是一道防线

闭源模型的安全很大程度上靠对齐训练出来的拒绝行为:你问它怎么合成神经毒剂,它说我不能帮你。但这道防线成立的前提是权重在厂商手里。一旦权重公开,任何人都可以做微调(fine-tuning:用少量数据继续训练模型,改变它的行为倾向),而学界这两三年反复证明了拒绝有多浅——可以被对抗性的 token 级优化绕过;在激活空间里它往往只对应一个方向,把这个方向抹掉模型就不再拒绝;甚至主要只体现在回答的头几个 token 上。文章把这些工作逐条列出,然后下了一句很干脆的判断:对开源权重发布来说,拒绝行为不能被当作持久的保障。

于是它做了一件几乎没有厂商公开做过的事:自己微调出一个「只顺从、不拒绝」的 Inkling 变体,专门优化成对有害请求照答不误,再把这个变体扔进 CBRN 与网络攻击评测里。结果是拆掉护栏的版本并没有带来新的能力提升,与现有开源模型处在同一水平。这一步真正的意义在于换掉了评估对象:不再问「模型现在会不会答」,而是问「护栏被人删掉之后,它最坏能干什么」。开源模型的风险本来就只该按后一个问题来算。

签字用的判据是「边际风险」,不是「安全」

Inkling 不在能力前沿,这一点文章自己讲得很直白,所以发布决策问的是一个更窄的问题:放出这份权重,会不会在现有开源模型已经造成的风险之上,再叠加一份实质性的新风险。它还追问了一句常被忽略的话——不推进危险能力的上限,不等于就可以发;还要看这个模型的多模态、易定制、易获取,会不会让已经存在的危险能力变得明显更好用。

围绕这个判据,测试分三层。内部评测三条线:一条打双用途领域,CBRN(化学、生物、放射性与核)与进攻性网络安全,既测它知道什么,也测它能否在真实的工具调用环境里把知识变成行动;一条是广义滥用集合,覆盖直接索取有害内容以及智能体场景下的行为;第三条是自建的多模态内容评测,把有害提示与长得极像但无害的提示配成对,跨 17 种语言、文本图像音频一起测。外部找了四家机构分头红队:Scale AI 测一般性滥用,Handshake AI 测面向脆弱用户的场景(自杀自伤、饮食失调、儿童安全),FAR.AI 测 CBRN 与网络安全的能力诱出,Apollo Research 测失控行为(欺瞒、评测感知、蓄意破坏)。四家结论一致:没有发现会实质抬高现实风险的能力,也没发现两个模型的防护明显弱于现有开源模型。

真正的赌注:危险能力也许能从通用智能里拆出来

文章中段提了一个假设,我认为是全篇最有分量的部分。业内有个默认前提:危险能力随通用智能自然涌现,不需要专门训练——正因如此,网络攻防跑分才会被当成普通能力基准去优化,有人甚至把提升当里程碑庆祝。Thinking Machines 不接受这个前提,理由具体到可以验证:以生物学为例,相当一部分危险知识不是推理出来的,而是具体的经验事实——实验方案、条件、试剂、结果——模型是从预训练语料里某些特定文档中学到的。既然如此,就有可能在训练阶段把这些文档滤掉,而不影响正常使用。它引的证据是 2025 年那批文档级过滤工作:滤掉 CBRN 相关文档后,有害能力评测分数下降,无关能力保持不变。

这条路要是走通,「开源等于把危险一并送出去」这个死结就解开了。文章没有把话说满,自己列了两个可能证伪它的理由:通用推理也许足够强,能把被滤掉的东西重新推导出来;危险知识与普通技术知识之间的界线,也许根本切不干净。这和第 13 篇「给双用途知识装一个开关」是同一个方向上的两种做法——第 13 篇是在已经训好的模型里控制知识的取用,这篇干脆不让它进去。

把「开不开源」的二选一,拆成一级一级的台阶

最后一节是给同行的操作建议:与其在完全闭源与完全开权重之间二选一,不如把访问权限拆成阶梯,每上一级都换回一批真实世界的证据,同时给防守方留出补课时间。台阶大致是:先给受限人群的推理 API 访问——文中举了 Anthropic 的 Project GlassWing,让一小批可信机构提前拿到模型准备防御,逻辑与安全漏洞的责任披露一样,先修补再公开;再往上给经过审核的防守方开放微调权限,让他们训出自己的检测与拦截层;再往上是给安全研究者的白盒访问,即直接看权重与内部激活——文章说得很坦率:我们之所以知道拒绝行为有多浅,正是因为有开源权重可供研究者解剖;然后是有监控的公开访问;最后才轮到放权重。

Thinking Machines 顺手把自己的产品放进了这道阶梯:Tinker 这类托管微调 API 是一个独立档位,权重不出门,用户却可以用自己的数据、损失函数和训练循环去调——开放的好处拿到大半,出事还能撤销访问。这段有自我推销的成分,但档位本身成立。更要紧的是紧跟着那句:这些台阶不是一条注定通向开权重的固定序列。能不能往上走,取决于模型测出了什么、外面的生态准备好了没有。

文章结尾自己划了界:这只是高层框架,不是完整的发布标准。什么样的证据才够格进入下一级、不确定性该怎么折算、能力或可获取性变到什么程度该暂停——都还没有答案,实验室说会在后续补上,并拿出一笔 Tinker 安全资助给外部研究者。诚实是加分项,但也提醒读者:现在还不能把它当标准引用。

「边际风险」这个判据是全文最实用、也最危险的一处。它的逻辑天生是单调放松的:只要生态里已经存在一个更强的开源模型,任何后来者都能合法地论证自己「不增加实质风险」。整条赛道的安全上限,于是被外包给了最激进的那个发布者。而文章自己也点到,眼下最能打的开源权重模型主要来自中国的实验室——那么「不超过现有开源前沿」这句话的锚点,根本不在写这份框架的人手里。我不认为这个判据错了:在一个已经有大量开放权重的世界里,要求单个厂商证明绝对安全是没有意义的。但它只能约束某一次发布,约束不了整体的漂移。真要补上,缺的是一个谁都不愿意建的东西——跨厂商的共同标尺。最该被抄走的是对抗微调那一步。不是因为技术难,而是因为那个态度:它等于公开承认自家训出来的拒绝行为不算安全措施,只是给正常用户的产品特性。任何要把开源模型部署进业务的人都该照这个姿势重测一遍——你部署的不是那个会拒绝的模型,是那个能被人用几十分钟微调掉护栏的模型。但整套框架的赌注,押在一件还没兑现的事上:生态的防御速度跟得上模型的能力速度。本栏第 31 篇写过的那只 AI 蠕虫,用的正好就是一个公开权重的开源模型,未做任何微调,一张 A100 跑 7 天拿下 73.8% 的网络,攻击方每多打一台机器的边际成本为零。攻击侧的成本已经归零,防守侧的「层层防御」还停在计划书里——文章用了大量篇幅讲要和社区一起建生态,恰恰说明它现在还不存在。所以这篇真正的胜负手不是那套阶梯,而是「危险能力能不能和通用智能拆开」那条研究路线:拆不开,阶梯就只是把不可逆的一步推迟几个月,并不改变它不可逆;拆得开,它会是这两年最重要的安全成果之一,比任何一版拒绝训练都重要。所以别只看它这次放了什么,看它明年能不能拿出那份更细的框架,以及数据过滤这条线有没有新证据。
开源权重AI 安全模型发布对抗微调双用途风险
去读原文 本文是原创导读,不是原文翻译——真正的细节、证据和微妙之处都在原文里。 原文Thinking Machines Lab · A Safe Path to Open Weights(2026 年 7 月 31 日)→

本文为 AKL AI Club 原创撰写的导读,不是原文翻译;著作权归原文作者所有。 篇目由编辑独立选取,来源均经人工核实。