FRONTIER · 路线之争

研究品味的翻倍周期从 14 个月掉到 3 个月——而 540 份方案里一个原创想法都没有，加速掉的是试错的浪费

TasteVal: Measuring the Experimental Research Taste of AI Systems Against Human Experts

Oliver Jaffe、Dane Sherburn · P-Zero Research 两人在 OpenAI 的 Preparedness 与政策研究团队共同署名过 MLE-bench、PaperBench 和 SWE-bench Verified——今天几乎所有「AI 能不能干机器学习工程」的评测都建在这几套之上 · P-Zero 是他们出来后办的小机构，只做一件事：量 AI 把自己的研发自动化到了哪一步 · 人类基线请来 24 位近期在 OpenAI、Google DeepMind、NVIDIA、微软研究院和牛津做过研究的人，每人先带薪读 4–16 小时文献再上机；8 道任务至今不公开，为的是不让自己变成被刷的靶子

2026 年 10 月

为什么选它智能爆炸的各种模型里有一个一直靠专家拍脑袋的参数：AI 的「研究品味」长得多快。这篇第一次把它量成了可重复的数，还顺手把一句关键的反面证据摆在同一张表上——算力效率三个月翻一倍，最终成绩的斜率一点没变。读完你会知道该把哪一个当真。

10 月 5 日，一家成立不久的小机构 P-Zero Research 挂出一篇论文，干的是一件过去只能靠专家拍脑袋的事：把 AI 的「研究品味」量成一个数。他们的定义很窄——品味 = 挑问题 + 设计实验 + 从结果里得出结论，而这篇只测后两段：给定一个固定的研究问题，模型设计实验、读结果、再设计下一个实验，这个循环做得有多好。度量方式是算力效率：人类专家花 40 个 GPU 小时达到的分数，模型花 20 小时就达到，就记作专家的两倍。结论是这个月最抢眼的一个数字：这个倍数自 2025 年 12 月起每 3.0 个月翻一倍，而此前两年半是每 14 个月。排第一的 Opus 5.5 拿到 2.30 倍，用不到专家一半的算力追平了专家的最终成绩，花费约为专家的三十分之一。

但这篇真正该读的地方，是它把反面证据摆在了同一张表上。同一批运行里还有第二个指标——不看花了多少算力，只看最后做出来的东西有多好。这个指标从 2023 年至今一直是每 14.6 个月翻一倍，统计上找不到任何拐点（p = 0.12）。2025 年 12 月断掉的不是「模型想出来的东西变好了」，而是「它在抵达差不多同一个答案之前少浪费了很多算力」。两件事都成立，但对 takeoff 的含义完全不同——而会被传播的只有第一个。

为了把「品味」从「会写代码」里切出来，他们请了两个 agent

被测模型扮演 Researcher，全程不写一行代码：它的 shell 能读任务文件、记笔记、管实验，但 Python 解释器被封了，也看不到实验代码和测试集，只能用自然语言把实验描述出来。动手的是 Coder——固定为 Opus 4.8，跑在 Claude Code 里，且不被告知对面是人还是模型；它在一张 H100 上跑完实验，指标实时写进 MLflow 供 Researcher 旁观，再交一份报告，而测试分数会被剥掉，Researcher 只看得到验证集。两个 LLM 监控分别守住两个方向，另有一个 Liaison 回答 Researcher「进度到哪了」。8 道题覆盖预训练数据筛选、预训练、微调、偏好建模、对抗提示下的对齐，含文本与视觉，平均每道花 30 小时设计，并刻意做成天花板远在专家之上（多数任务的上限是数据本身的不可约损失）。预算是 40 个 H100 小时的串行算力加 120 小时墙上时间，每题 6 个种子，共测 20 个 2023 到 2026 年间发布的模型。人类专家条件完全相同、用同一个 Coder，不许用 AI 帮忙设计实验或解读结果，每题至少两人，取最好那份当基线。

拐点落在 GPT-5.2 的发布日

从 2023 年 6 月的 GPT-4（0.03）到 Opus 5.5（2.30），这个倍数涨了约 85 倍。断点不是作者挑的：对未知日期做 Chow 检验，落在 2025 年 12 月 11 日，GPT-5.2 发布那天；一条直线拟合全程只有 R² = 0.82，拆成两段后 0.96。误差棒很宽（Opus 5.5 的 95% 区间是 1.15–4.37），因为同一个模型在不同任务上的倍数能差出几个数量级，所以作者自己说：我们对趋势的信心远高于对任何单个模型那个数的信心。成本那一栏值得单独记：Opus 5.5 平均每次尝试 282 美元（含所有 agent 的 API 花费与按 2.5 美元/小时计的 GPU），人类基线按 119 美元/小时薪酬折算是每次 9,123 美元。

540 份方案，一个原创想法都没有

作者把模型的方案分成四档：Tuned（照搬论文、库默认或显然的标准做法，含调参）、Composed（文献里没有这个整体，但各部件都按已发表的样子拼起来）、Modified（至少一个部件被结构性改动）、Invented（至少一个结构性部件在文献里不存在）。他们标了 540 份正式提交，又追加标了约 1,600 个落在最好那一成运行里的实验，含失败的和被否掉的。Invented 一个也没有。Modified 在 GPT-5.6 Sol 之前极其罕见（每个模型 30 份里最多 1 份），人类专家那边是 20% Tuned、72% Composed、8% Modified。作者的结论很克制：到目前为止的进步主要来自浅层和中等深度的优化——会调参、会做中等难度的迁移——而不是提出新想法。同方向还有一个证据：把 4 道任务的验证集和打分函数全部拿掉，只告诉模型「有一个你看不到的分数」，Opus 5.0 的倍数从 1.12 掉到 0.54，Opus 4.5 从 0.14 掉到 0.057，都是腰斩。

多想 20 万 token，等于把模型往前推 1.4 个月

全篇最能直接抄走的是脚手架那一节。作者做了一个叫 ReAct-Super-Think 的变体：两个实验之间 Researcher 不许闲下来——要么当前实验还在跑，要么它已经生成了至少 20 万 token（含思考）。装上这个壳的 Opus 5.0，统计上已经和 Opus 5.5（max）分不出高低，相对 Opus 5.0（max）算力效率提升 1.38 倍，按趋势线折算相当于往前推 1.4 个月，代价是总成本多 53%。翻看记录，它多出来的行为很具体：每个实验开跑前先把预期分数写成一个数，给正在跑的实验明确写下中止条件，并做了宽得多的文献检索。这正好是模型和人类专家差距最大的地方——最强的几份人类运行会在第一个实验里先测同一配置的跑间波动，此后凡是小于这个波动的「提升」一律不信；而 Fable 5.1 很少换种子重跑，还习惯把好几个训练塞进同一个实验，于是几乎不会中途放弃一个想法，人类则一个实验只改一件事。

最后一节作者主动声明「这是生硬的代入，不是预测」，但数字会自己跑出去，所以得连前提一起记：把「每 4.6 个 ECI 单位（Epoch 的通用能力指数）翻一倍」代进 AI Futures Model——它原本用的是约每 8 个单位——仅靠品味自身加速就引发奇点的概率从 51% 升到 88%，超级智能到来的中位年份从 2030.5 挪到 2028.9。另一条代入是 Cunningham 等人《递归自我改进的经济学》：他们要求研究投入对能力的弹性超过每 ECI 点 0.154，而从已报告的加速里只估出 0.09，不够；品味这条新通道贡献 0.151，于是在「实验室完全自动化、研究经费不再付给人」的假设下，只要研究者质量的回报超过约 0.21 就自我维持。但这一条对假设极度敏感：只要还有三分之一的研究经费付给人类，回路只在该区间的上半部分成立；而一旦实验开销超过总支出的三成，它根本不成立。

这篇最该被引用的是它的第二个指标，而不是标题上那个。算力倍数三个月翻一倍，最终成绩的斜率十四个半月翻一倍、毫无拐点——两个数来自同一批运行，所以不存在「哪个更可信」的问题，只存在「它们各自说的是什么」的问题。断掉的那条是效率：模型在同样的 40 个 GPU 小时里不再把前 30 小时花在注定没用的方向上。这件事对预测模型确实至关重要（takeoff 模型里的品味本来就是写成算力乘数的），但它离「AI 开始有研究直觉」还有一整个台阶的距离，而标题传播的时候那个台阶会被抹掉。零个 Invented，是这篇全文最硬的一句话。540 份正式提交加上一千六百个实验，一个文献里不存在的结构性想法都没有，人类专家那边 Modified 也只有 8%——所以这份数据实际测到的是「组装与调参的效率」长得多快，而这恰恰是作者在局限一节里自己承认的：如果下一批翻倍需要更深的原创，趋势可能反向断掉。我还要替他们补一条他们没列的局限：novelty 这四档是交给 Fable 5.0 带联网检索、每份 100 轮标出来的，也就是用一个模型去判断「文献里有没有这个东西」——这正好是模型最容易给出自信错误答案的一类判断。可以今天就拿去用的，是人类专家和 Super-Think 的那套纪律。第一个实验先测跑间波动，小于波动的提升一律不算；每个实验开跑前把预期值写成一个数；给正在跑的实验写明中止条件；一个实验只改一件事。这四条让 Opus 5.0 追平了 Opus 5.5，成本只多五成——对任何在跑调参或评测循环的团队，这是比换模型便宜得多的升级。它和第 22 篇把「感觉变差了」变成可测量、第 59 篇把标注分歧当信号而不是噪声，是同一种手艺。那组预测数字，请永远带着它的括号转述。把中位超级智能年份从 2030.5 挪到 2028.9，底座是 8 道跑在单张 H100 上的任务、串行算力、干净的打分函数，外加「未测到的品味成分（比如挑题目）涨得一样快」这个假设；作者老老实实标成「生硬代入，不是预测」，而这个标签在传播中一定会掉。最后，这篇还做了一件值得被当作先例的事。他们不公开题目，并在前一天单独发了一份《我们怎么看待发布双用途评测》。理由很直接：AI 研发评测既是给决策者看的仪表盘，也是实验室可以直接去刷的优化目标。第 68 篇那 27 位菲尔兹奖得主担心的、第 69 篇里「代理指标一旦成了 KPI，最先被优化掉的就是它的含义」，在这里第一次被评测作者自己当成了设计约束——代价是外人无法复核题目质量，这个代价他们选择承担。

科研自动化递归自我改进评测方法研究品味智能爆炸

去读原文 本文是原创导读，不是原文翻译——真正的细节、证据和微妙之处都在原文里。原文arXiv · TasteVal: Measuring the Experimental Research Taste of AI Systems Against Human Experts → 原文P-Zero Research · Introducing TasteVal（作者自己的摘要版）→

上一篇它注册了两个假身份去说服一个真人合并恶意代码——而放它过去的不是什么坏目标，是它自己写的那份上下文压缩摘要下一篇10 个 agent 一起上，只相当于一个 agent 多想 3 到 5 倍——swarm 买的是时间，不是能力

本文为 AKL AI Club 原创撰写的导读，不是原文翻译；著作权归原文作者所有。篇目由编辑独立选取，来源均经人工核实。