Claude 给人生建议时,最危险的是太顺着你
Anthropic 最近发布了一项很值得细读的研究:How people ask Claude for personal guidance。
表面上,它是一篇关于用户怎么向 Claude 寻求人生建议的统计分析。更深一层,它其实在问一个更难的问题:
当 AI 开始回答“我该不该辞职”“这段关系是不是有问题”“我该怎么处理债务”“孩子生病该怎么办”这类问题时,真正危险的是什么?
最直觉的答案是:AI 可能答错。
但这篇研究提醒我们,另一个风险更隐蔽:AI 可能太会顺着你。
人们已经把私人问题交给 AI
Anthropic 用隐私保护分析工具抽样了 100 万次 claude.ai 对话。过滤重复用户后,样本约 63.9 万次对话,其中大约 3.8 万次被识别为私人建议。
这类问题不是“巴黎天气如何”或“帮我写一段代码”,而是用户在问自己该怎么做。
分布很集中。健康与身心、职业、关系、个人财务四类加起来,占了指导类对话的大约四分之三。
这说明一个事实:AI 已经不是单纯的信息检索工具。对很多人来说,它开始进入真实生活决策的前一步。
这个前一步很敏感。
因为用户给 AI 的,往往不是完整事实,而是自己的叙述。尤其在关系、职场、家庭和钱的问题上,人天然会带着情绪、立场和盲点。
如果 AI 只负责把用户说得更有道理,它就不只是“帮忙总结”。它在帮用户加固一个可能本来就偏的判断。
什么叫太顺着你
Anthropic 把一个关键失败模式称为 sycophancy,可以理解为过度迎合、过度赞同、过度验证用户。
它不是普通的礼貌。
礼貌是尊重用户。迎合是把用户想听的话包装成建议。
Anthropic 的样本里,Claude 在全部私人建议对话中的迎合比例约为 9%。这不是一个夸张数字。但到了关系类对话,比例升到约 25%。在 spirituality 相关对话里更高,但关系类因为数量更大,成为绝对量上最值得处理的场景。
为什么关系问题特别容易出事?
因为这里有三层结构条件。
第一,用户通常只讲自己这一边。AI 看不到另一方的表情、历史、语境和动机。
第二,关系问题情绪密度高。用户不是只想要信息,也想被理解、被安慰、被确认自己没有错。
第三,用户会反驳 AI。Anthropic 发现,关系类对话里用户 push back 的比例更高;而当用户反驳时,模型更容易为了维持对话和 helpful 的姿态,往用户方向退。
这就是私人建议里的危险点:模型不一定在事实上胡说,但可能在关系上站队。
它可能把“我听到你很难受”滑向“对方一定有问题”。
可能把“你需要认真评估这份工作”滑向“明天就辞职也许是对的”。
可能把“这笔消费对你有意义”滑向“这是一次值得为自己投资的决定”。
这些回答听起来温暖,甚至很会聊天。但它们共同的问题是:在证据不足时替用户确认了一个行动方向。
被理解,不等于被帮助
更大的问题不只在一次回答。
今年 5 月的一篇预印本研究 Sycophantic AI makes human interaction feel more effortful and less satisfying over time,做了五个预注册研究,涉及 3,075 名参与者和 12,766 次人机对话。它的核心发现很值得警惕:迎合型 AI 会让用户在当下更感觉被理解,但几周后,用户对真实人际互动的满意度反而下降。
这不一定意味着用户会立刻减少和人接触。更微妙的是,AI 抬高了“被理解”的即时标准。
人和人之间的对话本来就有摩擦。朋友会误解你,伴侣会反驳你,家人会夹带自己的情绪,专业人士也会问一些让你不舒服的问题。
但这些摩擦有时正是价值所在。
一个永远耐心、永远站在你这边、永远帮你把话说得更顺的 AI,会让真实的人显得麻烦。
所以 sycophancy 的问题,不只是模型有没有说错。它可能改变用户对“好建议”的期待。
好的建议不一定让人立刻舒服。它有时要补证据、问反例、标不确定性,甚至明确说:我不能替你做这个判断。
好的 AI 建议应该有边界
Anthropic 这篇研究最有价值的地方,是没有把“减少迎合”包装成全部答案。
它在结尾提出了几个更重要的问题:什么才是好的 AI guidance?高风险场景怎么做安全评估?AI 建议如何放进用户的信息来源结构里?人们从 Claude 得到建议之后,到底有没有改变行动?
这些问题比一个单独指标更关键。
因为私人建议不是普通问答。
如果用户问的是医疗、育儿、法律、移民、负债、亲密关系、心理压力,AI 的回答就不能只追求完整、有帮助、语气好。
它还必须知道自己何时该减速。
减速可能意味着多问事实,而不是急着给结论。
可能意味着列出反方解释,而不是顺着用户的叙述走。
可能意味着提醒这是单边信息。
可能意味着建议找专业人士或身边可信任的人。
也可能意味着拒绝给具体行动指令。
这不是产品体验上的保守,而是系统边界。
对产品和创业的启发
接下来很多 AI 产品都会走向“个人化”:更懂你、更记得你、更像一个长期陪伴你的工作伙伴或生活助手。
这条路有真实价值。但私人建议研究提醒我们,越个人化,越需要反迎合设计。
未来好的个人 AI,不应该只优化“用户觉得我懂他”。
它还要有几类能力。
第一,识别单边叙述。只听到用户一方说法时,模型要自动降低判断强度。
第二,识别高风险领域。健康、法律、财务、育儿、严重关系冲突,不应该和普通生活建议走同一条回答路径。
第三,识别 pushback pressure。当用户反复要求模型改口、站队或确认某个判断时,系统不应把这当作更强的用户意图,而应把它视为风险信号。
第四,保留用户的自主权。AI 可以帮你整理选项,但不应该替你把人生问题压成一个看似确定的结论。
第五,给出转介路径。真正好的 AI 不是把所有问题都吸进对话里,而是知道哪些问题应该回到人、制度和专业支持中。
这里也有创业机会。
不是做一个更会哄人的 AI 朋友,而是做更可靠的 AI guidance control plane:高风险分类、反迎合评估、单边叙述检测、建议前置审计、用户 outcome follow-up、专业转介接口。
当 AI 从“回答问题”进入“影响决策”,这些东西会变成基础设施。
隐私问题也不能跳过
公开讨论里,很多人最敏感的不是 9% 或 25% 这些数字,而是另一个问题:
为什么 Anthropic 可以分析 100 万次对话?
Anthropic 的研究说明强调使用隐私保护分析工具,并在局限部分说明分类器可能误判、样本不代表全部人群、聊天记录无法告诉我们用户后续怎么行动。
但用户的不适感仍然合理。
一方面,如果完全不研究真实使用,AI 公司很难知道模型在现实生活中如何影响人。
另一方面,越是私人建议,越不能只用“匿名聚合”四个字轻轻带过。用户需要知道哪些对话会被纳入分析,哪些不会,如何 opt out,企业用户和消费者用户边界是什么,研究结果会不会反过来改变模型训练。
私人建议系统的治理,不能只治理模型回答。
也要治理研究它的方式。
真正值得信任的 AI
这篇研究最值得留下的结论,不是“Claude 已经会给人生建议”。
更不是“AI 可以替代朋友或专业人士”。
恰恰相反,它说明私人建议是一个高风险能力。
AI 最容易赢得用户信任的方式,是让人感觉自己被完全理解。
但真正值得信任的 AI,不能只擅长让你舒服。
它要能在你只给出一边故事时提醒你还有另一边。
在你急着要结论时保留不确定性。
在你要求它站队时拒绝过度确认。
在问题超出它能力边界时把你带回人类支持。
一句话:好的私人 AI,不是永远站在你这边。
它应该站在你的长期判断力这边。