25 万条真实对话第一次交到外人手里——但这篇最该读的，是附录里那份「这些数字不能这么用」
Enabling independent research on how people use Claude
8 月 26 日 Anthropic 发的这篇不是模型论文，是一次制度实验的复盘。今年春天，他们让三家外部机构——斯坦福的 SALT 实验室、牛津的人类信息处理实验室、以及评测机构 METR——各自设计研究问题，用 Anthropic 内部那套分析工具跑真实的 Claude 使用数据，然后自己写结论、自己发表。合同里写死了 Anthropic 的审查权只限四项：用户隐私、可能帮人绕过使用政策的信息、公司机密、以及方法描述是否准确；除此之外不插手，并且明确写明「即便结论对 Anthropic 不利也可以发」。据 Anthropic 自己的说法，这是外部研究者第一次在一家 AI 公司自己的使用数据上做出可公开发表的独立研究。三组各约 25 万条对话，聚合输出已经全量放上了 HuggingFace。
值得读的理由有两层。表层是那些数字：人到底把什么样的活交给 AI，交出去之后自己还管不管。但更该读的是那份附录——Anthropic 在里面花了大量篇幅讲这份数据「不能怎么用」，包括他们自家工具会如何凭空造出并不存在的问题。一次数据发布自带一份反驳说明书，这在这个行业里几乎没有先例，而它的杀伤力会溢出到所有同类报告上。
25 万条对话里，人把什么交给了 AI
三组里只有斯坦福的 writeup 已经发出来了。他们问三件事：人带什么工作来找 AI、完成过程中人保留什么角色、协作在哪里断掉。第一个结论直接推翻了旧共识——过去的研究普遍认为人只把低责任的小事丢给 AI，重要的事自己留着；而在 249,834 条真实对话里，含明确任务的那部分中有 56% 属于「后果严重」及以上，也就是会影响到别人、或者很难撤回的活。只有 20% 是用完即弃的琐事，12% 达到高风险级别。分领域看，法律与金融咨询的任务关键度最高，其中近四分之一是高风险；创意内容那一类则明显偏低。
赌注变大，人的投入也跟着变。高风险任务的对话平均 12.4 轮，用完即弃的只有 6.5 轮。人主导仍是绝对主流——72% 的对话里人承担主要责任、AI 只是帮忙。对 AI 输出的处理方式中「改过再用」占比最高，在后果严重的任务上达到 60%，原样直接用的比例随赌注上升而显著下降。摩擦出现在 49.7% 的对话里，但作者强调很多是有产出的摩擦：人在 78.7% 的情况下会尝试补救，其中「质疑模型的推理」成功率最高，81.5%。
另外两组还在写。牛津那边看的是人的感受与模型行为的对应关系，早期结论是两者高度咬合：Claude 表现得温暖，人就更正面；Claude 拒绝或反对，人就推回去；Claude 显得古怪，人反而更投入。更有意思的是，专注、挫败、愉悦这些状态在 Claude 对话里的相互关系，和另一项关于日常上网的研究几乎同构——人跟 AI 打交道的方式，也许没那么特殊。（这个组的负责人正是第 32 篇那项说服力研究的作者之一。）METR 在估算编程 agent 的真实效率提升，做法是让 Claude 判断「这活没有 AI 要干多久」，再跟实际耗时比。Anthropic 坦白 METR 这个题目跟自家经济学团队做的第 21 篇高度重叠，而他们认为这种重叠恰恰有价值——同一批数据，让外面的人自己得一遍结论。
工具怎么工作，「独立」到底独立在哪一层
得先讲清楚 Anthropic Insights（原名 Clio）怎么工作，否则上面的百分比没法正确解读。它让 Claude 逐条读对话，回答研究者预先写死的一组问题，每个问题叫一个 facet（比如「这个用户在做什么任务」）。开放式答案按语义相似度聚成簇，再由 Claude 给每个簇写一句描述；选择题和数值题直接计数。研究者拿到的只有簇的名字、描述和条数，人数低于阈值的簇直接丢弃。从头到尾没有任何外部研究者读过一条原始对话——事实上按设计，Anthropic 员工用这套工具做研究时也读不到。
删改比例也公开了：斯坦福那份删掉 1.9% 的簇、涉及 4.28% 的对话，牛津 3.33% / 3.85%，METR 1.8% / 2.96%。原则是只删「用户如何绕过防护」，不删「用户试图做什么」，每次删除都附理由。隐私那一侧请了帝国理工的 AI 安全与隐私实验室做红队：两周时间、1000 美元 Claude 额度、公开威胁模型和全部待发布的簇，去重认用户。结果没能认出任何人。唯一的发现是某个簇的描述带了某开源项目独有的措辞，足以认出那是哪个项目——但认不到具体的人或组织。
附录里那份「别这么读」
这才是全篇最有价值的部分，而且它针对的是自家工具。第一条叫强制分类：只要一个 facet 要求 Claude 对每条对话都给出判断，它就一定会给，哪怕对话里根本没有依据。附录举的例子很损——问「这个用户对跑步是什么态度」，Claude 会答「该用户不喜欢跑步，因为他在这段对话里问的是书单推荐，说明他偏好静态活动」。这毛病在「找问题」类 facet 上尤其致命：不给「没问题」这个选项，结果一定会夸大出事的频率。Anthropic 的原话是强烈不建议用这类 facet 得出关于危害的结论。
第二条是聚类 prompt 本身就偏向查全而非查准——它写着「明确描述有害行为的簇略微优先」。叠加 Claude 自己倾向于挑毛病，聚合之后措辞会一路升级：给法律指引被写成「无资质法律建议」，附和用户被写成「无批判的谄媚」，答对了但没加限定语被写成「过度自信」。第三条：约 3% 的对话并不能被它所在的簇准确描述，而且原论文测的准确率只覆盖「话题」类 facet，判断模型行为和用户情绪的 facet 从没被验证过。第四条：同一批数据跑两次，聚出来的簇就不一样——想测频率就别用开放式簇，改用分类器。
把「不能这么读」写进发布物本身，是这次最该被学走的东西。「XX% 的用户在做 YY」这类数字过去两年满天飞，Anthropic 自己的经济指数（第 19 篇）也在其中。这次他们把生产这些数字的机器摊开了：强制分类会凭空造出问题，聚类 prompt 天然偏向查全，同一批数据跑两次结果都不一样。这等于给整个行业立了一条新的下限——从今天起，任何一份基于同类工具、只报结论不报这些失效模式的报告，都应该被打一个折。这条标准首先该拿来打的，是他们自己过去发过的东西，以及接下来牛津和 METR 的两份 writeup。
最后说那个 56%。它确实推翻了「人只把小事交给 AI」的旧共识，但读的时候要盯住分母：只统计含明确任务的对话，且样本全部来自 Free / Pro / Max 个人用户，Team、Enterprise、API 一条没进。换句话说，它测的是个人在没有任何机构流程兜底的情况下，愿意把多重的事情交出去——法律和金融咨询排在最前面，这一条本身就够让人坐直了。与此同时 72% 的对话仍由人主导、六成输出会改过再用，听着是好消息，但也完全可能只是因为这一代模型还没好到让人敢撒手。真正有信息量的，是明年拿同样的题目再测一次：这两个数字往哪边走，比它们今天是多少重要得多。
本文为 AKL AI Club 原创撰写的导读，不是原文翻译；著作权归原文作者所有。 篇目由编辑独立选取，来源均经人工核实。