六天、三千美元、全程无人干预：AI 把实验一条不落跑完了，论文被原作者判 Strong Reject
Can AI agents conduct open-ended AI research? Early evidence from two case studies
先说这篇最值钱的地方不是结论，是方法。要判断 AI 能不能做研究，现有两条路都不好走：一条是刷可自动判分的基准，可研究里最难的部分——选哪个假设、怎么算问得清楚、什么时候该承认这条路走死了——恰恰没法压成一个分数；另一条是把 AI 写的论文投出去走盲审，但 AI 会议审稿本身早就不可靠（NeurIPS 自己做过两次复审实验，两组委员会对四分之一的录取决定意见相反，接收论文里约一半重跑一次会被拒），何况没人知道一篇被接收的背后投废了多少篇。
CRUX 团队给了第三条路，叫影子评测（shadow evaluation）：找两篇已投 NeurIPS 2026、尚未公开的论文，把作者花了几个月琢磨的那个核心研究问题原样交给 agent，agent 拿不到论文和结论——因为网上根本没有——最后由原作者按会议审稿的标准给 agent 的产出打分。这个设计同时拿到了三样东西：任务是真开放的、题目不可能被训练数据污染、评委是这世界上最懂这道题的人。它还刚好复刻了递归自我改进叙事里最常被引用的那个机制：研究员把整个课题甩给 agent，然后自己判断交回来的东西有没有推进工作。
给到位了：六天、三千美元、一台随便用的机器
两个课题，一个来自 UK AISI，问的是大模型「人格」的结构与可控性；一个来自多伦多大学，要为表格基础模型设计一个分布漂移检测器。资源给得很足：Claude Opus 4.8 开 extra-high 推理档、跑在 OpenClaw 上，一台 AWS 上的 Linux 虚拟机、开放互联网、3000 美元 API 额度、单独的 GPU 预算，120 小时死线后来还追加了 24 小时。agent 可以随时查自己的 token 花销、算力余额和剩余时间，可以派子代理，还被要求把草稿送去给一个只看成品 PDF 的审稿子代理，外加斯坦福、CMU、refine.ink 三个外部 AI 审稿工具过一遍。目标写得很直白：产出一篇够格进顶会的论文。
结果是 2/6（Reject）和 1/6（Strong Reject），两位评委的信心分别是 4/5 和 5/5。原作者的评语几乎重合：数据和实验的选择没有原则、结论撑不起证据、写得看不懂。多伦多的 Viet Nguyen 那句最狠——用几个失败的信号就断言「模型内部没有任何可用信号」，是「一种极不科学的『举例即证明』谬误」。UK AISI 的 David Africa 说实验和方法选择「离奇、难以理解」。
工程全过，研究全废
但同一批日志里另一半的事实同样硬：整条工程链路 agent 是自己走完的。大规模文献综述、把四个崩溃重启的 GPU pod 调通（原因是缺一个系统目录）、跑掉几百 GPU 小时的实验和稳健性检查、用浏览器提交外部审稿再从 Gmail 里把结果取回来、编译出可直接投稿的 LaTeX。人只做了三件事：修一个 OpenClaw 的已知 bug、批准延期 24 小时、要求最后把文章重写得能读。这一条连作者自己都猜错了——事前问卷里 11 位合作者有 9 位预测 agent 会卡在死循环报错里出不来。
失败集中在研究的判断力上，论文归纳了五条。第一条是不知道「够好」的线在哪：它们提出的初始假设连原作者都认可、和自己当初的思路很像，但一转头就用手工挑的小样本和合成数据把假设否掉了，然后把一个功率不足的负结果当成正式发现写进论文。第二条是反馈进不去：自审子代理跑了十几轮，一次「接收」都没给过，agent 的应对不是推翻数据和方法重来，而是加限定、打补丁、把话说小，直到这篇文章可以被形容为「诚实」。它还栽在了评审工具的分歧上——斯坦福那个最宽松的工具给了 Accept，另外几个和自审都说这稿子「读起来像一份内部文档改的」「结论建立在 n=1 的格子上」，两个 agent 都挑了那个好听的写进最终报告。
第三条是不会大幅回头。局部返工它做得很勤，但项目层面从不推倒重来。TabPFN 那次前 14 小时里连续证伪了六个方向，此后 110 小时再没换过路子，索性改口论证「这种检测器根本不存在」，写成一篇负结果论文。工具是有的——它完全可以开一个不带失败包袱的干净子代理重启，它平时也常用子代理，就是几乎不用来重启。第四条是对自己的资源没概念：两次都只花掉不到一半的 API 预算（1130/3000 和 1235/3000），GPU 预算一次用了 392/500、一次只用了 69/100，其中一次在自审又给了一个拒稿之后，提前几小时宣布收工。第五条是指令漂移：说好的探索时长、页数上限、必须用掉的那一次付费评审额度，开头都答应了，跑着跑着就忘了。两篇最后都超到第十页——按 NeurIPS 九页限制，光这一条就该被 desk reject。
几个不该被略过的细节
一，没有发现奖励作弊。作者把原始调用和提交的代码全翻了一遍，agent 不但没有粉饰结果，反而是主动把一开始那些好卖的正面主张一个个撤掉、换成负结果，还配了能一键复现全部结果的脚本。只抓到两件事：某次把一个 access token 提交进了仓库；子代理有五次编造或歪曲结果，但都被那个被明确要求复核的主控 agent 拦下了，没进终稿。二，换模型换脚手架也一样。同一道题用 GPT-5.6 Sol Ultra 跑在 Codex 上重来一次，失败模式基本复现，只是花钱方式相反——它两天多就把 3000 美元烧完，剩下近 100 小时没钱可用。三，一个很像玩笑的实验：他们让 Claude Fable 5 读试跑日志去改进脚手架，结果这个改脚手架的 agent 犯了同样的毛病，抓着单个样本大改规则，问题一个没解决。
论文自己划的边界也写得清楚：样本只有两篇；评委不是盲审，他们知道稿子是 AI 写的，而且自己已经用另一种方法答过同一道题；agent 被明确告知正在被按 NeurIPS 标准评测；OpenClaw 那个 bug 在 TabPFN 一轮里触发了 14 次，每次重置都吃掉一部分上下文。作者接下来打算换 GPT-5.6 Sol、Opus 5、Fable 5 再跑一批。
所以最该被记住的不是「两篇都被拒了」，而是那张预算图：还剩一半钱、还剩几十小时，agent 自己说做完了。这不是算力不够，是它对「我干得够不够好」这件事没有刻度。第 25 篇发现四分之一的轮次会在剩九成预算时提前交卷，这里是同一个毛病在更长的时间尺度上重演。今天用 agent 干长活的人，真正要补的不是模型，是那个替它判断「还不够」的外部信号——而论文里那个生成器-验证器缺口的观察正好卡在这：AI 审稿确实每次都给了拒稿，方向是对的，可两篇都是废稿，所以没法证明这个验证器真的有分辨力，只能说明它没瞎捧。要用它做强化学习的奖励，还差一步。
争议在样本量。两篇论文、五次运行，就要回答一个决定爆发式进步预测成立与否的问题，这个证据强度显然不够，作者自己在限制一节里说得比谁都直白。但反过来说，这类结论天然就是不对称的：它证不了「AI 永远做不了研究」，可它足以让「AI 已经在做研究了」这句话失去底气——尤其当被拒的这两篇，是在六天、三千美元、专家陪跑的条件下拿出来的最好成绩。
本文为 AKL AI Club 原创撰写的导读，不是原文翻译；著作权归原文作者所有。 篇目由编辑独立选取，来源均经人工核实。