增速从 10% 涨到 20% 再到 30%,这不是奇点的信号——真正的开关是「造下一代要多久」,而这个时间有地板
The Dynamics of Intelligence Explosions
8 月 14 日,Toby Ord 在 arXiv 挂了一篇 33 页的论文,题目很直白:《智能爆炸的动力学》。它没有加入「到底会不会有智能爆炸」这场吵了两年的架,而是往回退一步问:如果真有,数学上必须先成立哪些条件?结论是一个挺硬的指控——最近这批受经济学启发的 takeoff 模型,把「超指数增长」和「奇点」当成了同一件事,而这在数学上不成立。它们之所以看起来等价,是因为那些模型无一例外地假定改进是连续发生的;一旦把「造出下一代模型要花的真实时间」放回方程,通向垂直渐近线的那条路就窄得几乎走不通。
值得读的理由有两个。一是它罕见地同时得罪了两边:它把最惊悚的那个情景(某一刻能力垂直起飞)的数学门槛抬得很高,却在最后一段明确拒绝给安慰——即使增长曲线的形状一点没变,只要 RSI 把人类的进度条从 A(t) 快放成 A(10t),就等于一年过完人类十年的进展,危险一样到齐。二是它给这场没法证伪的争论交出了一个可观测量:世代时间——绕反馈回路一圈所需的物理时间。文末直接建议监管要求前沿实验室上报这个数,尤其是预训练和 RLVR 后训练各自转一圈要多久。
方程里藏了一个假设:改进是连续发生的
先把被掰的对象说清楚。RSI(recursive self-improvement,递归自我改进,指 AI 参与设计和训练下一代 AI,使能力一代比一代强)的主流建模方式是一个微分方程:Ȧ = kAʳ。A 是某种能力度量,Ȧ 是它随时间的变化速率。r = 1 给出指数增长;r > 1 时曲线变成双曲线,会在某个有限时刻 t* 撞上一条竖线——A 在 t* 之前就超过了任何有限值。这就是「奇点」在这篇论文里的唯一含义:数学模型有一条垂直渐近线,不是什么神秘的历史时刻。
问题是 r 凭什么大于 1。经济学家 Charles Jones 1995 年那套半内生增长理论本来是专门压制爆炸的:它写进了两个刹车——踩脚效应(stepping-on-toes,研究者数量翻倍,产出到不了翻倍)和捞尽效应(fishing-out,后面的想法越来越难找)。关键的腾挪出现在 Davidson 等人手里:把 A 定义成计算效率而不是智能,于是 AI 劳动力总量等于投入算力乘以效率(L = CA),代回原方程,A 的指数变成 1 + λ − β,可以大于 1,奇点又回到了桌面上。Ord 在这里插了一句很要紧的批注:这根本不是智能爆炸的模型,是效率爆炸——更准确说是劳动力爆炸。
超指数不等于奇点,中间有一条 A log A 的缝
把方程从 kAʳ 放宽成任意函数 f(A),两个门槛立刻分开了。超指数增长(最终超过任何指数函数)只要求 f 在 A 上超线性;而有没有奇点,取决于 1/f(A) 从起点积到无穷的那个积分收不收敛——他管这叫 blow-up 条件。最干净的反例是 Ȧ = A log A:它超线性,所以增长确实是超指数的,解出来是双指数,快得离谱;但积分发散,它永远到不了垂直渐近线,永远还留着提升空间。再往上还有一整族(A log A log log A……),给出三重、四重指数增长,也都没有奇点;而只要把最后那个因子随便抬到大于 1 的次方,奇点立刻出现。
这条缝有个很实际的后果。假设你观察到某个能力指标的月增速从 10% 涨到 20% 再涨到 30%,按经济学那套模型的直觉,增速在涨就是双曲增长,就是奇点在路上。Ord 把它算了一遍:这个模式如果一直延续,A「只不过」在按 e 的 0.05t² 次方生长——超指数,但没有奇点。增速一直在涨,不是奇点的签名。
真正的开关是「转一圈要多久」
接下来是全篇最有意思的一步。反馈回路在现实里并不连续:AI 改一版预训练流程、拿它训出下一代、下一代再回去改流程,这是一步一步跳的。把方程换成差分方程 ΔAₙ = f(Aₙ),结果异常干净——无论 f 长得多快,都不可能有奇点。理由几乎是显然的:任何时刻之前只有有限步,每步只加有限的量。f(A) = A² 在微分方程里给双曲增长,在差分方程里只给双指数;f(A) = eᴬ 给出 n 层指数塔,快到没法写下来,依然没有奇点。
所以 Ord 造了第三种模型:把差分方程嵌进连续时间。设 Tₙ 是第 n 次绕完回路花掉的时间,他借流行病学和核链式反应的术语管它叫世代时间(generation time)。奇点要求无穷多步发生在有限时间内,也就是 ΣTₙ 收敛——他管这叫 Zeno 条件;再加上 Aₙ 必须无界增长,就得到全文那个定理:存在奇点,当且仅当 ΣTₙ 收敛且 ΣΔAₙ 发散。两个条件互不补偿,谁也不能替谁超额完成。
他举的那一对例子最说明问题。第一个:世代时间按 1/n 缩短,而每绕一圈 A 就乘以 2 的 A 次方——涨得是叠幂级的,但因为 1/n 求和发散,没有奇点。第二个:世代时间按 1/n¹·⁰¹ 缩短,只快了一丁点,而每圈只给 A 加 1/n——两个条件都满足,炸了。世代时间上那一点点差别,压倒了每圈提升幅度上的天壤之别。要让斜率趋于无穷有两条路,抬高每步的「升」或压缩每步的「跑」;离散模型说,几乎全靠压缩「跑」。
而现实里,「跑」是有地板的。Ord 列了 RSI 各种回路的时间尺度:设计 EUV 光刻的继任者是十年量级,改进预训练是月量级,改脚手架是秒量级。最短的那些恰恰只覆盖流水线上极小的一块——把一个固定的模型放进一个让它反复重新设计自己脚手架的壳里,能捞到一些改进,但「极不可能起飞到无穷」。值得跟第 53 篇对着看:那篇里换一副脚手架确实多拿了 10 分,但那是一级台阶,不是能一直往上踩的梯子。
尺子、天花板,和两个不肯给安慰的结论
论文中段讲了一件被普遍忽视的事:A 用什么尺子量,会改变结论。他从物理学借了一个区分:坐标奇点 vs 本质奇点——史瓦西 1916 年算黑洞时,事件视界上冒出一个数学奇点,几十年后才被证明纯属坐标选得不好。放到这里:如果 A 是平均无故障时间(MTBF),它冲向无穷,等价于另一把尺(正确率)达到 100%,后者一点都不神秘。而 METR 时间跨度这个当下最常用的通用能力指标,本质上就是一种 MTBF。跨度趋于无穷,只意味着模型在那套基准的任务上完美可靠且不限时长,不意味着它在持续学习、样本效率、创造力上追上了人。
然后是天花板。他列了六层:智能本身的极限(哪怕最优推理者也不全知全能,仍要做实验才能获得知识)、单位资源上的智能极限(算法和硬件都最优,太阳系也只有一颗恒星)、硬件范式、算法范式、训练数据,最后一条最扫兴:可能在触到上面任何一层之前,就因为起点那个模型自身的局限先卡死。他专门点了一句:讨论 RSI 的人常默认爆炸会一路涨到「智能本身的极限」,然后拿全知全能去建模它之后的行为——这一步没有依据。把这些拼起来是一条四阶段轨迹:0 人类速度的指数增长 → 1 世代时间被压向机器速度,形状是超指数 → 2 全自动 RSI 在更快的指数上跑一阵,开始饱和 → 3 曲线露出真身,是一条逻辑斯蒂曲线。
最后两个结论是负面的,分量也最重。第一,你没法靠有限时间窗里的观测判断爆炸是否正在发生——blow-up 条件是 f 与 A 之间关系的全局性质,不是「当前弹性大于 1」这种局部性质,某一段的欠缺完全可以被别处的猛涨补回来。第二,这类反馈系统在临界线附近对微小差别极端敏感,而我们能做的智能测量又粗又噪。两条合起来指向同一句话:如果测出来的值落在边界附近,未来的形状在经验上就是不可判定的。他写明了这对谁不利——给模型设内部评测的人,和搞监管的人。
本文为 AKL AI Club 原创撰写的导读,不是原文翻译;著作权归原文作者所有。 篇目由编辑独立选取,来源均经人工核实。