思考,快与慢
第 7 章 · 20 分钟

反向审计:前六章的证据检查

审计对象是第 1–6 章,包括结论对但理由错的地方。

概念地图
理由审计
结论对但理由错也算缺陷,单独记账。
深色为本章概念,浅色为其他章
陪练模式
不想只是读?让它带你走一遍。
导师把这一章拆成小步,每一步先问你,再讲;你用自己的话答,它先认下对的部分再纠偏。用你自己的 AI,对话只存在这台设备上。
对话只存在本机
定位01

延伸阅读

梅尔 · 上世纪五十年代 · 统计预测与临床判断
系统比较简单统计规则与专家判断,发现前者在多数任务上不劣于后者。他反对的是把临床经验当作不可替代的判断来源;代价是比较只覆盖有明确结果变量的任务,无结果变量的判断至今无法这样比。
奠基
西蒙斯等 · 2011 年 · 研究者自由度
演示了在完全合规的分析选择下,可以让一个不存在的效应显著。这一步把「可疑做法」从道德问题变成了流程问题,并直接催生了预注册。
转向
卡尼曼 · 2017 年 · 关于书中启动研究一节的公开表态
作者本人表示,书中依赖启动研究的那部分,证据强度不如他写作时所信。这在通俗读物里罕见,也让本章的分级审计有了作者自己的背书。
修正
本课第 1–6 章
本章的审计对象。每一章的第 3 块(推导)与第 5 块(裂缝)是审计的主要入口。
审计对象
机制02

证据等级不随文本传递

书中并列陈述的两句话,背后的证据结构可以相差一个数量级:锚定经过多实验室大样本复现,某些启动效应只有单一实验室的小样本。读者从文本本身读不出这个差别,因为语气与句式是一样的。本课把这条记为证据等级不随文本传递。它不是作者的过错,而是文体的性质:通俗写作要求语气统一。

机制统一的行文语气通过抹平证据强度差异让读者对所有结论给出同一可信度。
可迁移性测试
换到财报:管理层讨论部分把已签合同与意向性协议用同一种措辞写出,读者不查附注就分不清哪笔钱是确定的。不同构的地方在于财报有强制附注制度,而书没有。
机制03

机制被降格成标签

「他这是锚定」「这是可得性」——一条机制一旦成为流行词,就常被用来事后给现象贴名字,而不是事前作预测。这一步会把可证伪的机制变成不可证伪的标签,正是第 1 章说系统一/系统二属于表述层的同一个问题。判据很简单:这次使用有没有在结果出来之前排除掉某种可能。

机制一条机制通过被用于事后命名而失去事前预测的能力从而退化为标签。
可迁移性测试
换到代码评审:「这是技术债」用来事前拦下某个改动是有内容的,用来事后解释系统为什么慢则什么也没说。不同构的地方在于技术债可以被逐条列出并估算,而认知偏差的清单没有边界。
推导04

前六章的类别与证据清点

这一段把前六章每条推导的类别汇总,并按证据结构分级,推出一个结论:这本书的经验风险集中在少数几步,且这几步的证据强度并不齐平。

第 1 至第 6 章各有 4 步推导,共 24 步
计数口径:只算各章第 3 块 steps 里的步骤,不算裂缝与争议段。
标为 [恒等式] 的有 13 步
这些步骤在任何数据下都成立,不承担经验风险。
标为 [假设] 的有 5 步,标为 [经验命题] 的有 6 步
假设是选的;经验命题可被推翻,但各自的证据强度不同。
推导 · 0 / 4
裂缝05

本章框架的裂缝

争议地形06
本书主张
本课的立场:通俗读物里的结论必须逐条按证据结构分级,不能整本接受或整本拒绝。
另一种看法
另一线主张:对普通读者来说,逐条查证的成本远高于收益;一本整体方向正确的书,即使个别结论被高估,仍然改善了读者的判断。要求分级是把学术标准强加给大众阅读。
分歧扎在
分歧扎在「读者会拿这些结论去做什么」这一条上。若只用于改变一般态度,成本论成立;若用于设计流程、评估他人或做投资,个别结论的强度就直接决定后果。
什么证据能裁决
能裁决它的是使用场景的调查:追踪读者在读后半年内实际引用这些结论的场合,统计其中用于具体决策的比例。若比例很低,成本论成立;若相当一部分进入了流程设计与人事评价,分级就是必要的。
目前的证据把天平压向「相当一部分进入了实际决策」:损失厌恶框架效应被大量写进产品设计与激励方案。还差的是对使用后果的直接测量——引用得多不等于用错了。
可证伪化07

把「机制被降格成标签」写成可预注册的检验

要检验的是「机制被降格成标签」:一条机制通过被用于事后命名而失去事前预测的能力。

数据源:公开的评论与内部复盘文本,其中出现本书机制名称的段落
两类文本都要,因为公开与内部的使用方式可能不同。
样本范围:一个固定时间段内的全部命中段落,不按作者身份筛选
按身份筛选会把结论变成对某一人群的描述。
时间窗口:一年,覆盖至少一个完整的业务周期
事前使用多出现在计划期,事后使用多出现在复盘期,窗口必须都包含。
判据阈值:段落中机制名称用于事后解释而非事前预测的比例,高于事前登记的七成
七成是事前定的分界,检验后不得调整。
失败条件:比例低于七成,或两名编码者的一致性低于可接受水平
第二种按检验无效处理。
推导 · 0 / 3
接口08
挂在哪个槽位
挂在哪个槽位你已有的那条结论多半是「读过这本书,我更了解自己的偏差了」——一条关于阅读收益的判断。本章要动的是它的兑现方式。
本章对你已有的结构做的是 (a) 替换「读过就更了解」这条结论,还是 (b) 约束它:只有当你用这些机制作出过事前预测时,收益才兑现?
慢变量登记两个慢变量:你用本书机制作出的事前预测条数,以及其中已核对结果的条数。三天后先看第一个——如果它是零,本书对你目前只是词汇。
小结09
本章小结
01前六章 24 步推导里,13 步是恒等式,5 步是假设,只有 6 步承担经验风险。
02同一本书里的结论证据强度可差一个数量级,而文本不携带这个信息。
03机制一旦只用于事后命名,就退化成不可证伪的标签。
04「未被复现覆盖」不等于「复现失败」,两者必须分开记账。
05证据强度的合成需要权重,因此本课只分项列出,不给单一分数。
提取练习 · 合上书,先自己答一遍。
?「承担风险的步数等于总步数减恒等式减假设」是 (a) 恒等式 还是 (b) 经验命题?
?用「这是可得性」解释一件已经发生的事,属于 (a) 事前预测 还是 (b) 事后贴标签?
受迫二选一10

B 标签辨识

「承担经验风险的步骤数等于总步数减恒等式步数减假设步数」是什么?
二选一
受迫二选一11

A 机制辨识

下面哪一条是机制?
二选一
读到这里,把它记为已读。