FRONTIER · 模型内部
一个参数能记住多少东西
How Much Do Language Models Memorize?
Morris 等
Meta × Google DeepMind × NVIDIA × 康奈尔 联合研究
为什么选它第一次把「记忆」和「理解」从数值上分开，给出了每参数约 3.6 比特这个具体容量。同时回答了两个热门争论：模型有没有背下原文（版权），以及它是不是随机鹦鹉。
这篇论文干了一件之前没人做成的事：把「记忆」和「理解」这两件事从数值上分开，并给出了一个具体的容量数字——每个参数大约 3.6 比特。
方法很巧妙。研究者先用完全随机的字符串训练模型——随机数据里没有任何规律可言，模型能表现好就只可能是死记硬背。这样测出的就是纯粹的记忆容量。再拿真实文本训练做对比，超出记忆容量的那部分性能，就来自泛化。
由此得出一个很有解释力的图景：当训练数据量小于模型的记忆容量时，模型倾向于死记；当数据量超过容量，记不下了，模型被迫开始寻找规律——泛化就是在这个时候发生的。论文还用这个框架解释了「双下降」这个长期困扰研究者的怪现象。
为什么这篇重要。它同时回答了两个热门争论。一是版权与训练数据泄露：模型到底有没有「背下」原文？这篇给了可测量的答案和边界。二是「随机鹦鹉」之争：它用实验说明，当数据规模足够大时，模型不可能靠背，泛化是被容量限制逼出来的必然结果。下次再有人争「大模型只是在检索」，这篇是最硬的实证参考。
去读原文
本文是原创导读，不是原文翻译——真正的细节、证据和微妙之处都在原文里。
原文arXiv:2505.24832 · How Much Do Language Models Memorize? →
本文为 AKL AI Club 原创撰写的导读，不是原文翻译；著作权归原文作者所有。 篇目由编辑独立选取，来源均经人工核实。