可见名单已经经过一道筛选

假设最初有100家小店,若干年后剩20家。只访问这20家,很容易把它们共同采用的方法当作成功秘诀;但另外80家可能也采用过同样方法,只是没有进入今天的样本。

问题不在于成功者的经历毫无价值,而在于缺少比较对象。没有知道失败者做过什么,就无法判断某种特征究竟促进成功,还是在所有店里本来就很常见。

一眼看懂 / 示意图

只看留下的20家,会漏掉谁

只看留下的20家,会漏掉谁最初分组留下离场留下比例采用安排:60家12家48家20%未采用:40家8家32家20%合计:100家20家80家20%
  1. 01幸存者构成

    留下者中60%采用过

  2. 02比较结果

    两组留下比例都是20%

原创教学示意;按正文假设说明,不是实际调查数据。

筛选会改变我们看到的比例

假设100家中60家采用某种营业安排,其中12家留下;另40家有8家留下。两组留下比例都是20%,但幸存的20家中有12家采用该安排,占60%。

若只看到“多数幸存店都采用它”,容易误以为效果很好。实际上在这个教学例子里,两组存续比例相同;描述幸存者的构成,并不等于比较采用与不采用的成功率。

把离场者重新放回问题里

更合适的做法是从同一时期的起始名单追踪全部对象,记录退出、失联与结果,再按问题比较。即使补齐离场的小店,也要比较规模、位置等其他差异,不能立刻认定某种做法就是成败原因。

当原始名单找不到时,应承认结论只覆盖可见对象。经验访谈可以产生值得研究的假设,却不应包装成普遍成功规律;问一句“哪些人已经从画面里消失了”,往往就能发现遗漏。