FRONTIER · 路线之争
苦涩的教训
The Bitter Lesson
Richard Sutton
阿尔伯塔大学教授 · 强化学习奠基人 · 2024 年图灵奖得主
为什么选它过去几年 AI 圈被引用最多的观点文章,没有之一。今天所有关于「大模型是不是走错了路」的争论,底层都是在跟这篇对话——而且支持和反对 Scaling 的两派都拿它当依据。不到两千字,是入门这场辩论的最短路径。
一篇不到两千字的博客,却是过去几年 AI 圈被引用最多的观点文章之一。Sutton 回顾了七十年的 AI 研究史,得出一个让很多研究者难受的结论:凡是试图把人类知识手工塞进系统的方法,短期内都好看,长期都会输给单纯利用算力的通用方法。
他举的例子很硬。国际象棋,靠人类棋理编写的程序输给了暴力搜索;围棋,同样的故事又演了一遍;语音识别里精心设计的音素模型,输给了统计方法;计算机视觉里手工设计的边缘检测特征,输给了卷积网络。每一次,领域专家都觉得「我们的知识才是关键」,每一次都被更笨但更能吃算力的方法碾过去。
为什么苦涩?因为这等于说,研究者引以为傲的那部分——对问题的深刻理解、精巧的建模——恰恰是最不值钱的那部分。真正管用的只有两样东西:搜索和学习,因为只有这两样能随算力任意放大。
为什么现在还要读它。今天所有关于「大模型是不是走错了路」的争论,底层都是在跟这篇文章对话。支持 Scaling 的人拿它当圣经;反对的人——包括 Sutton 本人近年对纯 LLM 路线的批评——则会说,这篇文章讲的是「让系统自己学」,而不是「让系统背下整个互联网」。同一篇文章,两边都在引用,这本身就说明它值得你亲自读一遍,而不是听别人转述。
去读原文
本文是原创导读,不是原文翻译——真正的细节、证据和微妙之处都在原文里。
原文incompleteideas.net · The Bitter Lesson →
本文为 AKL AI Club 原创撰写的导读,不是原文翻译;著作权归原文作者所有。 篇目由编辑独立选取,来源均经人工核实。