AI Snake Oil

《AI Snake Oil》

Arvind Narayanan / Sayash Kapoor

| 阅读 5 分钟

《AI Snake Oil》给 AI 时代补上的不是又一个宏大判断,而是一套识别伪能力、伪证据和责任外包的 claim 检查表。


Hook

你不需要先判断 AI 会不会统治世界。更紧急的问题是:眼前这条 AI 声称,到底有没有资格被相信?

一句话版本

《AI Snake Oil》给 AI 时代补上的不是又一个宏大判断,而是一套识别伪能力、伪证据和责任外包的 claim 检查表。

核心判断

这本书最重要的提醒,是把“AI”这个过大的词拆开。

生成式 AI、预测式 AI、内容治理 AI,不是同一种东西。ChatGPT 能写一段文案,不代表招聘算法能预测谁会成为好员工;图像模型能生成图片,不代表警务系统能可靠预测谁会犯罪;内容审核模型能过滤一部分垃圾,不代表它理解讽刺、方言、政治语境和现实伤害。

所以,判断 AI 的第一步不是问“它强不强”,而是问:它到底声称自己能做什么?

《AI Snake Oil》真正要拆穿的,不是所有 AI,而是那些把不可验证、反馈很慢、目标不稳定、责任不清的任务包装成自动化能力的产品。它们看起来像技术进步,实际经常只是把制度焦虑压缩成一个分数、一个标签、一个看似中立的判断。

为什么现在读

现在读它,正好。

AI 讨论正在从模型发布会转向 ROI、可靠性、成本、组织落地和评估。企业问的是有没有真的提效,投资人问的是资本开支能不能回本,公共部门问的是能不能采购,普通人问的是自己会不会被系统误判。

这时候最需要的不是再来一个“AI 会改变一切”的口号,而是一个很低层级、很朴素的判断动作:把每条 AI claim 拿出来验。

它也适合和《The Thinking Machine》搭配读。后者解释 AI 基础设施为什么变成 GPU、数据中心、电力和资本开支的问题;这本书解释应用层为什么会充满伪能力、弱证据和责任外包。一本讲底层机器,一本讲上层神话。

统一系统观

从统一系统观看,AI claim 不是结论,而是输入。

一个 AI 系统是否可信,至少要过五道门:任务是否稳定,反馈是否及时,训练数据和部署对象是否同群体,失败是否可见且可申诉,责任是否有人承担。

预测式 AI 最容易在这里出问题。它经常从历史数据里学到旧制度的偏差,再把这种偏差包装成未来判断。模型可能预测的是“过去系统如何对待某类人”,而不是“这个人未来会怎样”。更麻烦的是,一旦这些判断进入招聘、医疗、教育、司法,普通人面对的就不再是一个可争辩的人,而是一套黑箱分数。

这也是本书最适合 XUANJI 的地方。做 agent loop 不能只看演示是否跑通,还要看它是不是把不可验证的判断自动化了,是不是让人失去中断、回滚、追责的能力。

怎么用

可以把这本书当成 AI claim 审查手册。

看到一个产品说“用 AI 提高招聘效率”,先问:它预测的到底是工作能力、面试表现,还是历史招聘偏见?它有没有部署后的因果证据?被误判的人能不能申诉?

看到一个系统说“用 AI 预测风险”,再问:风险对象是否稳定?模型上线后会不会改变人的行为?低基准率事件是不是会制造大量假阳性?

看到一个平台说“用 AI 解决内容治理”,继续问:它处理的是垃圾信息,还是政治语境、讽刺、方言、跨文化冲突和现实暴力?如果平台商业模式仍然奖励冲突和参与度,审核模型只是止痛药,不是病因治疗。

这套问题也能反过来检查自己的自动化系统:有没有真实运行证据,有没有人工 gate,有没有回滚,有没有把责任留在人侧。

别踩的坑

不要把这本书读成反 AI 宣言。作者并不否认生成式 AI 的真实进展,也不否认很多工具会长期进入数字基础设施。

真正要警惕的是另一种偷懒:只要一个系统挂上 AI,就默认它更科学、更中立、更值得信任。

也不要把“预测不准”简单归因于模型不够大。很多社会对象本身就不稳定:人的选择会变,机构规则会变,模型上线会改变环境,历史数据还会带着旧制度的阴影。继续加模型参数,未必能把这些问题变成可预测对象。

最后,不要让 AGI 或末日叙事吸走全部注意力。远期风险值得讨论,但现实里的错误招聘、错误医疗分流、错误执法、内容治理失败,已经在影响具体的人。

带走

《AI Snake Oil》最值得带走的是一个动作:把每个 AI 神话还原成一条可以检查、可以拒绝、可以追责的具体 claim。

先别问 AI 会不会改变世界。先问这一次,它凭什么替人做判断。

💬 评论