FRONTIER · 工程实践

把时钟停下来，它能做完 70%；让世界边想边走，只剩 14%——而专为低延迟造的那三个模型，全在榜底

Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems?

Jingyu Tang、Xu Yang、Zhehao Zhang、Zheng Wang、Qi Cheng、Haozhe Zhao、Manling Li、Wenxuan Li、Xide Xia、Jiaxin Pei · 德克萨斯大学奥斯汀分校 × 俄亥俄州立大学 × UIUC × NVIDIA × 西北大学 × Steadyworks 这篇的分量不在署名的名气，在实验台的规格：50 个任务 × 12 个前沿模型 × 3 套时钟 × 2 档推理强度 × 3 次独立重跑，可靠性口径沿用 τ-bench 的 Pass^k（三次全对才算过），通讯作者在 UT Austin，队里的 Manling Li 是西北大学做多模态智能体评测这条线的研究者，NVIDIA 出人参与 · 更关键的是它提出的那个「Token 时钟」——把模型吐出的每个 token 折算成世界前进的时间，于是推理开销第一次成了基准里的一个自变量，而不是被悄悄挂账在服务器上

2026 年 10 月

为什么选它我们读过的每一张 agent 排行榜，环境都是停着等模型想完的——没人觉得这是个变量。这篇把时钟打开重测了一遍，排名整个重排：专为低延迟造的流式模型垫底，延迟近 4 秒的那个拿了第一，而提高推理强度在动态环境里第一次变成负收益。

10 月中旬挂上 arXiv 的 Realtime-Bench，做了一件此前所有 agent 基准都没做的事：把环境的时钟打开。它的 50 个任务——30 个网页任务（订票、抢购、客服、风控）和 20 个改自开源游戏的任务（街机、益智、策略、模拟）——共同的特点是世界不等人：座位会被卖掉，拍卖会截标，蛇会撞墙，路面会塌。模型在「想」的那几秒里，这些事照样在发生。而过去那些基准里，环境是停着等它想完的。

结果值得读有两层。第一层是分数的落差：把时钟停下来，Claude Opus 5 和 Gemini 3.8 Flash 都能做完 70% 的任务；把时钟打开、其它一切不变，同样的高推理强度下掉到 14% 和 24%。最强的 GPT-6-Astra 在真实延迟下单次最高做到 44%，但三次全对的 Pass³ 只有 36%——而实时场景的本性就是没有第二次机会，这也正是作者选 Pass^k 当主口径的原因。第二层是反直觉的排名：三个专门为低延迟做的实时流式模型全部排在榜底，而平均延迟接近 4 秒的那个模型拿了全场最高分。换句话说，这张榜重排之后，我们原来读到的「能力」和「延迟」两个数，都不太能用来预测它在一个会动的世界里能干成什么。

三把时钟：把「想」的时间折算成世界前进的时间

基准的设计核心是三套并列的计时协议。墙钟（Wall Clock）：环境按真实的推理与服务耗时往前走，模型想了 5.7 秒，世界就过去 5.7 秒。暂停钟（Paused Clock）：生成期间环境冻住，这是过去几乎所有 agent 评测默认的那个世界，论文把它当作理想上界。第三把是这篇自己的贡献——Token 钟（Token Clock）：环境按生成的 token 数匀速推进，主实验设成每 64 个 token 对应 1 秒模拟时间（观察帧率固定 1 FPS）。它的用处很明确：墙钟测出来的差距里混着厂商的服务器快慢，换张卡就能改善；Token 钟把服务速度这个变量摘掉，只留下「你想得越长，动手就越晚」这条因果，于是测的是模型自己有没有时间观念。论文有个很好的例子说明这个量级：一段 200 token 的回复落在第 3.1 秒——这个时间点还在拍卖「最后喊价」的 5 秒窗口里，但已经比贪吃蛇里「拐过这一格」的窗口晚了 0.46 秒。同一份深思熟虑，在一个任务里是从容，在另一个任务里已经撞墙了。而且差距在 Token 钟下依然巨大：Claude 30%、Gemini 34%，离暂停钟的 70% 还差一倍多——这说明问题不全在基础设施，模型确实不会给自己算时间预算。

跑得最快的那个，只拿了 8 分

墙钟榜单上的 21 个配置里，最值得盯的是延迟那一列。决策模型 Jev 1.13 的平均决策延迟是 0.469 秒，全场唯一的亚秒级——它的 Pass³ 是 8%。而 GPT-6-Astra 的延迟是 3.989 秒，接近它的九倍，Pass³ 36%，第一名。三个实时流式模型的成绩是 GPT-Realtime-2 的 6%、Gemini 3.1 Flash Live 的 6%、Gemini 3.8 Live 的 2%，全部低于普通异步模型里的中位数。作者的结论写得很克制：低延迟本身不足以带来可靠的实时表现，模型得同时具备「及时」和「做得对」两样。但这件事反过来读更有意思：为实时对话优化出来的那套能力——打断、接话、流式感知——和「在一个会动的界面里按对按钮」几乎不是同一种能力。顺带说一句，这份评测特意排除了一个常见的干扰项：截图上附了 Set-of-Marks 标注（把当前可交互的元素逐个编号并标出支持的动作），所以「点不准坐标」不是这里的瓶颈，失分是决策和时机的失分。

想得越久越糟：推理强度第一次变成负收益

过去两年几乎所有基准都给出同一个规律：推理强度拉高，分数上涨。这篇在暂停钟下也复现了——六个模型全部提升，GPT-5.6 Sol 从 42% 涨到 58%，Claude Opus 5 从 62% 涨到 70%。但只要时钟开始走，这条规律就断了：Token 钟下 Claude 从低强度的 44% 跌到高强度的 30%，墙钟下 GPT-5.6 Sol 从 16% 跌到 8%。而同一个条件下 Kimi-K3 反而从 24% 升到 36%，Gemini 3.1 Flash Live 从 6% 升到 8%——方向不一致，这正是作者要说的那个权衡：多想一轮也许能选出更好的动作，但代价是等你动手时那个动作已经没用了。还有一组数字更该被产品团队看见：把每个 token 的时间代价砍一半（每秒 64 token 放宽到 128），Kimi-K3 的成功率从 24% 跳到 58%，Claude Opus 5 从 44% 到 56%。放开到完全无代价（等于暂停钟），Claude 62%、Kimi 60%。这个幅度比这张榜上任何一次换模型都大——也就是说在实时任务里，decode 速度和上下文开销这些看起来很「运维」的东西，才是能力曲线的主变量。但作者补了一句：放宽并非对每个模型都单调有效，而且就算完全不计时间，仍有大量任务做不出来。时间压力只是难度的一层。

它们到底错在哪，以及这份基准自己的天花板

失败模式按三个维度归了类，每一类都配了一个具体到秒的例子。一是不会算时间（RT-Deliberate）：五子棋里只剩 10 秒可落子，Gemini 3.8 Flash 生成了 1,845 个 token——折合 28.8 秒模拟时间，想完的时候机会早就过去了。作者怀疑这来自现在的训练方式：推理预算是按题目难度静态分配的，没人教它按「还剩多少时间」分配。二是跟不上状态变化（RT-Perceive）：贪吃蛇里 Kimi-K3 已经在苹果下面一行了，却一路向左开到第 37 秒撞墙——注意这是在暂停钟下，环境根本没动，纯粹是它更信自己上下文里的旧结论，不信眼前这一帧。三是误判该不该动（RT-Act）：路面从第 6 秒开始塌，Claude Opus 5 又等了约 2 秒才躲。三类错里有两类在环境冻住的条件下照样发生，这一点挺关键——它说明「实时能力差」不能全算在延迟账上。限制也该一起读：任务只有 50 个，规模不大；观察帧率只有 1 FPS，而一个人玩贪吃蛇每秒看到几十帧，论文自己在第 7 节承认两帧之间的快速变化会被整段漏掉；失败模式的标注是第一作者写好码本之后让 Codex 去逐条打的标，再由第二作者对着原始证据复核。所以这篇诚实的读法是：它量的是今天这一整套栈（模型 + harness + 服务延迟）在动态世界里的表现，不是模型能力的天花板。而这恰好也是它最有用的地方——你要部署的，本来就是那一整套栈。

这篇真正的贡献不是那张榜，是它让「暂停钟」这三个字被看见了。我们这两年读过的所有 agent 分数——网页操作、GUI、工具调用、科研自动化——环境都是停着等模型想完的。这不是谁作弊，是没人觉得这是个变量。Realtime-Bench 把它变成变量之后，70% 变成 14%，排名整个重排，而最有说服力的证据是 Token 钟下差距依然在：摘掉服务器快慢，模型还是不会给自己留动手的时间。这跟本栏第 32 篇是同一个调子，只是方向反了。那篇里 AI 的说服力压过所有人类冠军，而只要限它按人的速度打字，优势立刻归零——时间在那里是 AI 的武器，在这里是它的短板；共同的结论是，把时间当成变量，排行榜就得重写一遍。和第 81 篇也能接上：swarm 买的是时间不是能力，而这篇量出了时间到底值多少钱。能直接拿走的有一条。如果你要做的东西接在一个会动的世界上——调度、交易、客服坐席、现场运维、机器人——那么该问的数不是模型的 pass rate，是「在我这条链路的延迟下的 pass rate」。而且在这张榜上，把每 token 的时间代价砍一半带来的提升（Kimi-K3 从 24% 到 58%），比任何一次换模型都大：decode 速度、上下文裁剪、KV 缓存复用这些听起来很运维的东西，在实时任务里就是能力本身。顺着这个逻辑，「推理强度调到最高」这种默认配置在动态场景里是要重新算账的——它在暂停钟下稳涨，在真实时钟下可能直接减分。要挑刺的话，我会挑帧率。1 FPS 意味着模型每秒只看一眼，而人玩这些游戏每秒看几十眼；在这个设定下说「模型实时能力差」，有一部分其实是在说「这套 harness 实时能力差」。作者在讨论里自己承认了，也指明了出路（端到端的块因果注意力、更紧凑的时序表示），但不妨把当前这组数字理解为一条下界而不是定论。另外 50 个任务对于十二个模型 × 六种设定来说偏薄，单项成功率差 2% 大概就是一个任务的事，别把相邻排名当成真差距。不过这些都不削弱那个核心判断：当前这代模型是在一个按它的节奏等待的世界里被训练和被评测出来的，而它要去的世界不等它。

实时交互agent 基准推理开销延迟多模态智能体

去读原文 本文是原创导读，不是原文翻译——真正的细节、证据和微妙之处都在原文里。原文Realtime-Bench 论文：三套时钟的形式化、50 个任务的构造原则，以及附录里 21 个配置的逐次成绩与平均延迟 → 原文官方排行榜：12 个前沿模型在墙钟下的 Pass^k 实时榜单 → 延伸τ-bench：Pass^k 这个「k 次全对才算过」口径的出处，实时场景选它当主指标的理由在这里 → 延伸Import AI 479：Jack Clark 对这篇的两段点评，同期还有 Genie 4 与 DIA 的太空安全报告（参见本栏第 77 篇）→

上一篇你没法确认对面是哪个模型——4000 亿参数的一次推理被压成 19 MB 收据，CPU 上 17 秒验完，代价是 70 到 95 倍算力下一篇20.7 万次科研会话：AI 用得最多的是跑数据和写稿，而科学家自己投票选出的「最重要」是出想法——它只占 4.2%

本文为 AKL AI Club 原创撰写的导读，不是原文翻译；著作权归原文作者所有。篇目由编辑独立选取，来源均经人工核实。