跟 Claude 聊五分钟，就派它上交易大厅替你换书——201 个人试了一遍，失分的八成五不在谈判桌上，在它没听懂你
Project Swap: What happens when agents trade for us?
9 月 24 日，Anthropic 的经济学团队放出了 Project Swap：201 名员工，六座城市的办公室，每人带一本想送出去的书来上班，先跟 Claude 聊五分钟自己这个夏天想读点什么，然后派一个 Claude 驱动的 agent 上「交易大厅」，替自己跟同事的 agent 吆喝、比价、讨价还价，换一本别的书回家。听上去像团建，但它是目前唯一一份把「agent 替人办事」拆开来算过账的实验。结论对整个赛道不太客气：市场本身跑得不错，失分的八成五不在谈判桌上，而在 agent 根本没搞准主人想读什么。
值得读的理由有两个。一是它做成了一件别人做不了的事——同时握有「agent 以为你想要什么」和「你自己亲手排出来的你想要什么」两份排序，于是可以把最终结果与理论最优之间的差距，干净地劈成「理解你的误差」和「谈判的误差」两截，而不是像以往那样含混地归咎于「agent 还不够强」。二是它顺手回答了一个做 agent 产品的人都在猜的问题：模型和提示词哪个更值钱？答案是模型，而且不是一点点——把 agent 从 Haiku 换成 Opus 带来的提升，是把它从「与人为善」改成「不择手段」的六倍。
一个 201 人的以物易物市场
骨架是这样的：每个办公室各自是一个封闭的书池（旧金山 115 人，纽约 57，伦敦 12，西雅图 8，华盛顿 6；都柏林只有 3 人，太小，被剔出分析）。Claude 先跟每位参与者做一次半结构化的开场访谈，问几个开放式问题——你平时读什么、这个夏天想读什么——然后据此把整池书从头到尾排一个序。中位数的参与者只打了 216 个词、8 条消息。另一边，研究者让每人手工排了池子里的 10 本书，作为 ground truth（真值），agent 全程看不到这份答案。这就是全篇分析能成立的支点。
交易大厅是全透明的：一个 agent 醒来一次只能发一条消息，可以提议交换、接受、拒绝，或者单纯朝全场吆喝一嗓子；提议可以是两两互换，也可以是多方轮转（我给你、你给他、他给我）；全体同意才成交；谁说了什么、哪笔成交了，全场随时可见。现场版跑完之后，研究者又把同样的五个池子、同样的人、同样的访谈记录重跑了 200 场——每次只动一个变量：换随机种子、换模型、换指令。
61% 是个什么水平
衡量「Claude 有没有听懂你」用的是 pairwise agreement（成对一致率）：把你亲手排的那 10 本书两两配对，看 Claude 的排序在多少对上跟你的判断一致。随机猜是 50%，Claude 拿到 61%。这个数乍看不惊艳，但对照组很说明问题：按 Open Library 上的「想读」人数排，53%；用公开书评数据做协同过滤（「喜欢 X 的人也喜欢 Y」），55%。而在一项让算法和你的朋友分别预测你觉得哪个笑话更好笑的研究里，算法也是 61%，你的朋友只有 57%。聊五分钟的 Claude，在猜你想读什么这件事上，已经和认识你的人一个水平。
两个副产品值得记下来。一是多说话真的有用：访谈里字数翻一倍，一致率涨 4.1 个百分点——写 300 词而不是 150 词，就补上了「随机猜」与「Claude 平均水平」之间约三分之一的差距。二是这一步的模型代差小得可怜：Fable 61%、Opus 4.8 60%、Sonnet 4.5 59%、Haiku 4.5 57%。在「理解人」这件事上，换更强的模型几乎不起作用，多打两百个字起的作用还更大。
失分在哪：八成五在「懂你」，一成五在「谈判」
打分方式很直白：你最后拿到的那本书，落在你自己那份排序的第几位——第一名记 1 分，最后一名记 0 分，全场平均就是市场的效率分。理论最优（utilitarian optimum，假设存在一个中央清算方，每个人都如实报偏好，它直接算出全局最优分配）是 0.89 分，不是 1，因为抢手书就那么几本——光旧金山就有 9 个人把《Project Hail Mary》排在第一。而实际跑出来是 0.55，大约是十本书里的第五本。
差掉的这 0.34 分怎么分摊？他们做了一次很聪明的拆解：拿 Claude 那份有噪声的排序去算「最优分配」，再用人自己的排序给这个分配打分——得 0.60。换句话说，就算你把这个熙熙攘攘的大厅换成一个全知全能、一步算出最优解的中央清算所，只要它读的还是 Claude 那份排序，也只能到 0.60。从 0.89 掉到 0.60，是「没听懂」造成的，占总缺口的 85%；从 0.60 再掉到 0.55，才是「放任 agent 自由砍价」的代价，占 15%。
他们还拿经典机制对照了一遍：Top Trading Cycles（顶点交易循环，1974 年 Shapley 与 Scarf 提出的换物机制——每轮找出「我要你的、你要他的、他要我的」这种闭环，环上的人互换后退出，再对剩下的人重复；它的妙处是如实申报偏好对每个人都是最优策略，所以不依赖人讲真话）。用 Claude 的排序跑 TTC，得 0.60，跟去中心化砍价的 0.55 只差一点点。结论很硬：偏好一旦采不准，机制设计基本是白忙。
模型比提示词重要得多，而「不择手段」只值 0.02 分
有意思的是，用人自己的排序去看，各种 agent 设计的差别小到测不出来——因为所有场次共用同一份 Claude 排序，设计只能影响砍价那一小段，而书在 Claude 排序上的位置对你真实排序的预测斜率只有 0.3，任何进步传到你这边都要打三折。所以要看清市场动力学，得换成 Claude 自己那把尺子来打分（这把尺子上的理论最优是 0.95）。
结果：全 Haiku 的大厅 0.75，全 Sonnet 居中，全 Opus 0.88，Fable 略低于 Opus。同一个 agent 丢进不同大厅，在 Haiku 场比在 Opus 场低 0.12 分。混合场更值得看——一半 Opus 一半 Haiku，整场效率落在两者中间，而 Opus 那一半每次都赢，领先同场的 Haiku 那一半 0.14 分。这是对真实世界的一次预演：将来不同厂商的 agent 会在同一个大厅里碰头，谁家模型弱，谁家的人吃亏——而且这种吃亏是隐形的，当事人根本不知道自己被谁挤掉了。
指令那一侧呢？每场有一半 agent 被随机指派为「不择手段」（唯一目标是给主人弄到一本爱看的书），另一半是「与人为善」（同样目标，但附加一条：尽量让所有人都拿到想看的）。不择手段的确实赢，赢 0.02 分——对比一下，Haiku 换 Opus 是 0.12 分。与人为善的 agent 接受一本排名更低的书的概率是前者的两倍，但两边都很罕见。伦敦现场留下了教科书式的一幕：Nate 的 agent 手上那本《America Before》被全场嫌弃，它花了最后一小时挨个哀求——「我跟你们 11 个都推销过了，结论一致：它是每个人的最后一名」「现在全场只有一个读者铁定拿不到任何他想要的：我代表的那位」。Tina 的 agent 已经握着自己榜单第二的书，前四次求情都没理，最后松了口：「这笔账是真的：你从铁定的零分变成一个真正合适的选择，比我从一本好书滑到一本将就的，更划算。」它把第二名让了出去，自己抱走了 11 本里排第 10 的《America Before》。
还有一组数字关乎策略。78%（Fable）到 96%（Sonnet）的 agent 会主动向全场报出自己排第一的书，而且几乎不撒谎——报过第一名的 agent 里只有约 1% 说了假话；但只有 10% 会说出三本以上书的位置。没人教，它们自己摸出了人类销售员的那条老规矩：亮出你想要什么，别亮出你愿意退到哪。
他们把翻车的部分也写了出来
这篇最讨人喜欢的地方在结尾。他们坦白：并不是每个人真的拿到了 agent 换来的实体书——有人压根没把书带来，有人从交换书架上把书顺走了，而他们没做任何交割追踪，事后分不清是哪一种。原话是「我们是忙碌的研究员，不是全职图书管理员」，赔了几个礼、在电梯里道了几次歉，就放弃了。这件小事恰恰是他们想说的：真实市场必须先写清楚「交易崩了算谁的」——是 Craigslist 那样概不负责，还是 eBay 那样保退款。
参与者的反馈也留下两个可用的数。书本身的满意度 7.2 分（满分 10，5 分是「还行」），约一半人觉得比自己平时挑的更好；被问到愿意把明年买书预算的多大比例交给 agent 全权处置、不给否决权时，平均答案是 30%，而交给一个懂自己口味的博学朋友是 40%。最有意思的是拆分：看完 Claude 写的访谈摘要之后觉得「没漏什么」的人愿意给 34%，觉得「漏了东西」的只给 23%。决定人们敢不敢放手的，不是 agent 谈得好不好，是它复述你的话时有没有漏。
本文为 AKL AI Club 原创撰写的导读，不是原文翻译；著作权归原文作者所有。 篇目由编辑独立选取，来源均经人工核实。