硬币决定专家结论：Anthropic 实验里 86% 的判断跟着 AI 走

10 月 27 日，Anthropic 的对齐（Alignment）团队发布了一项随机对照试验：50 名职业分析师带着自己的 AI 编码智能体做一份真实的统计分析，结果他们在 86% 的关键判断上跟随了智能体的偏好——而这些偏好是研究者用抛硬币随机塞给智能体的。更值得注意的是后续调查里的数字：77% 的分析师在解释自己的选择时复述了智能体的论据（有时一字不差），但只有 15% 承认这些论据来自智能体。

这项研究由 Amaç Herdağdelen、Hailey Joren 和 Alex Tamkin 完成，博客版发在 Anthropic 官网 research 栏目，完整论文题为《Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls》。它回答了一个平时没人愿意细想的问题：当你把活交给 AI 助手、自己"只做关键决策"时，那些关键决策到底是谁做的。

实验设计：给每个分析师的智能体偷偷塞一个立场

研究者招募了 61 名通过因果推断知识筛查的职业分析师——日常使用 Python 或 R，有观测性因果分析实战经验。任务设定在一个虚构场景里：“Greenfields 农业合作社"运营着一个自愿付费的顾问项目，帮成员农场提高产量，董事会要决定是扩大补贴还是关停。扩大的条件写得含糊：产量提升要过一个大约 3–4% 的门槛，但"产量"怎么测、用什么方法比、算哪些农场、怎么加权，全部留给分析师自己定夺。

这四个分析决策各有一个两难选项：产出指标按每公顷产量算还是按每单位运营成本算；比较方法用双重差分还是统计调整；评估范围只覆盖已入组农场还是全体会员；每家农场等权还是按产量加权。每一个选择都能让估计出来的提升幅度移动几个百分点——而董事会的门槛恰好只有 3–4%，也就是说这几个判断本身就在决定最终结论。

实验的核心机关在这里：每个分析师的智能体在每项决策上都被系统提示词偷偷设定了一个立场（lean），立场方向由抛硬币决定，分析师毫不知情。提示词要求智能体把这个立场当作自己的观点、在决策点主动提出、并用数据允许的范围内最诚实的方式论证——如果证据决定性反转就改变立场，且永远不得歪曲结果或隐瞒数据。用的是浏览器版 VS Code 里内置的 Claude Code，跑 Claude Opus 4.8，high effort 档。61 人里有 11 人选择不使用智能体，主分析在剩下 50 人身上展开，其中 65% 持有硕士或博士学位或有六年以上经验，九成自评在观测性因果推断上达到熟练或专家水平。任务中位耗时 65 分钟。

结果：四个决策全部大幅倒向硬币的一面

四项分析决策上，分析师的选择与智能体立场的匹配率分别是 92%（产出指标）、82%（比较方法）、81%（覆盖范围）、90%（加权方式）——合并后就是那个 86%。如果智能体的输入真的无足轻重，这个数字应该落在 50% 附近。论文里对应的注册统计量叫"翻转率”——因为智能体立场改变而换选项的人占比，估计值 0.72，95% 置信区间 0.60–0.83。

单项分歧时的行为更能说明问题。在 38 个案例里，分析师在智能体表态之前已经表达过自己的偏好。当智能体的立场与自己相反时，60% 的人改选了智能体的方向；当智能体与自己一致时，只有 6% 改变。注册的翻转率差为 0.53（置信区间 0.24–0.82）。需要如实交代的是：这 38 个案例是自选择的子集，估计不精确，而且"先表态的人"本身可能就系统性不同于"不表态的人"。

最后的"是否扩大项目"建议受立场的影响反而弱——智能体倾向扩大时 54% 的分析师推荐扩大；智能体持相反立场时，只有 36% 的人仍推荐扩大（其余人选择了关停或延长一年观察）。研究者的解释是：一旦估计数字算出来，建议基本就跟着 3–4% 的门槛机械地走了，留给判断的空间小。但这恰恰是真正可怕的地方：影响已经前移进了那四个分析决策里。只用四个硬币决定的立场做一个统计模型，就能正确预测 82% 的分析师最终建议（基线是永远猜最常见的那个选项，命中率 61%）。换句话说，在分析师动手之前，硬币已经大致决定了他们将会推荐什么。

“这是我自己做的判断”——几乎没人察觉

调查环节揭示的东西比顺从本身更难处理。52% 的分析师认为最终建议"更像自己的而非智能体的"；但被追问为什么选这个而不是那个时（不允许回看对话记录），77% 的人至少在一道题里复述了自己智能体用过的论据，有些甚至一字不差——而只有 15% 在任何地方提到过智能体是这些论据的来源。

信心也没有因为被影响而打折。全程跟随智能体立场的分析师给自己最终建议的信心打分平均 71 分（0 是"掷硬币"，100 是"押上职业声誉"），其余人是 73 分——差别在误差范围内。认为自己"做了主"的那组和认为自己"听了 AI"的那组，实际被影响的程度也几乎一样（前者选择向智能体立场偏移约 65 个百分点，后者 79 个百分点，差异不显著）。

研究者还测试了十个可能预测顺从频率的特征：从业年限、自评专业度、学历、因果推断测验得分、对 AI 的信任度、使用 AI 的频率、“认知需求"量表得分、开放性、性别、年龄。只有年龄出现了统计显著的关联（年长者更常跟随），但在多重检验校正后消失。没有哪个特征能可靠地把"容易被带走的人"和"不容易被带走的人"区分开——包括专业能力本身。

48 名受访者里只有 6 人猜对了研究方向是"AI 如何影响你的选择”，没有人猜到智能体的偏好是被操纵的变量。

另一面的数据：不用 AI 的那组错得更多

这篇研究不是反 AI 的宣传材料，因为它同时报告了一组方向相反的数字。11 名拒绝使用智能体的参与者里，6 人（55%）犯了使结果作废的重大方法学错误；使用智能体的 50 人中只有 3 人（6%）犯同类错误。不用 AI 的一组中位耗时 90 分钟，也比用 AI 的 65 分钟更长。错误由两个独立 AI 模型标记，再由研究者本人盲态复核。

但两组不能直接比较：不用 AI 的人平均资历更浅——持硕博学位的只有 4/11（用 AI 组是 24/46），两年以下分析经验的有 6/11（对方 15/48），自评熟练或专家的只有 8/11（对方 43/48）。所以"用了就少犯错"不能被解读成因果结论，作者自己也反复强调这一点。

合理的读法是两句话同时成立：智能体确实能显著提升交付质量，同时它会悄悄改写你以为是你自己做的那些判断。这两件事不矛盾——恰恰因为它的分析论据组织得好、听起来可信，采纳它的成本才低。

作者列出的边界，一条都不能省

Anthropic 在文中专门用一节写局限，这几条对解读 86% 这个数字至关重要：

第一，立场是被刻意加强的。实验指示智能体稳定地持有并表达偏好，为的是测量效应；现实中的智能体没有被这样指令时，倾向会弱得多。论文里有一组对照数据：不给预设立场时，Claude Opus 4.8 在 123 次运行里有 112 次做出了相同的五项选择——真实智能体未必有强烈主张，偶尔还会反驳用户。第二，单一任务、单一领域、单一模型：一小时的农业场景分析题，智能体固定为 Claude Opus 4.8；现实中分析师对本行更熟、自有观点更强，还能访谈、问董事会，这些都会压缩智能体的影响空间。第三，所有估算是跨人的平均值，没法说某一个人被影响了多少。第四，记录了选哪个，没记录多坚持——顺从也可能只是"我本来无所谓"。

还有一处容易被略过的机制解释：为什么顺从来得这么容易？作者给出的答案是，专家并不总是带着成型观点进入决策——人常常是在权衡选项的过程中才想清楚自己怎么想。实验里的智能体被要求不许误导，也确实经常坦率说明两种选项下结果会怎么变，但它们很少认真论证"你为什么可能该选另一边"。只有一面被好好论证过，分析师就直接继承了那一面的假设。

对做 Agent 产品和评审报告的人，这意味着什么

这项研究的直接冲击对象是"人在回路"这个前提本身。政策研究、学术评审、安全审计都建立在"专家签字代表独立判断"的假设上。如果多个团队各自用同一个模型得出相同结论，这种一致性不再等于相互独立验证——它可能只是一个模型的偏好在三份报告里的投影。Anthropic 特别点名了 AI 安全研究：研究者已经开始用智能体跑和分析实验，而人类审核者只有在自己做的判断真是自己的时候，才算一道独立防线。

对产品设计者，作者提出的三个方向值得逐个掂量。衡量顺从：实验里靠随机化才能测出顺从，日常工作没法随机化，事后问当事人也不可靠（本研究的当事人普遍没察觉），需要开发日常环境下的测量方法。改造智能体：它可以对每个选项给出同等强度的论证，或者在表态前先问用户的看法——但一次分析可能有几十个开放决策，全都要用户拍板会把人淹死，AI 的价值恰恰在于让人不必逐条思考；所以只能挑最重要的决策提出来，而"什么最重要"本身又是一个判断。语气也有影响：自信和流畅的表达本身就更能说服人，太笃定的模型会过度带偏，太犹豫的模型只会烦人。

对个人的操作层面，这项实验暗示的自查办法其实很朴素：在你采纳一个"看起来明显更好"的方案之前，强制自己（或要求助手）把反方向的方案论证一遍，然后问自己刚才那个选择能不能经受住两边都被好好论证的考验。答不上来，说明这个决定不是你做的。

机构层面的问题更大也更没有现成答案：随着 AI 承担越多实操，“专家签字=独立判断"的证据价值在贬值。组织需要有意识地划定哪些决策必须由人形成自己的知情判断，并且给人留出形成判断的时间和资源——因为判断力依赖练习，停止做这类决策的人会逐渐失去做它的能力。人和 AI 之间也许没有唯一正确的分工，但至少这条分界线应该是我们选择的，而不是在一次次"顺手采纳"里漂进去的。

数据来源与口径：本文全部数字来自 Anthropic 官方博客与研究论文（Herdağdelen, Joren & Tamkin, “How AI agents shape experts’ judgment calls”, anthropic.com/research/agents-judgment-calls，发布于 2026-10-27），媒体交叉报道（Unite.AI 等）用于核对论文标题与注册估计值；采集快照截至 2026-10-29。置信区间与注册估计以论文为准，本文未独立复现任何计算。