5200小说网

手机浏览器扫描二维码访问

第7章 从预试验到持续监测（第2页）

预试验让我们没有太多的负担，也能避免确认偏见。在公司的正常运行中，应当在测试前增加一步预试验，通过多项预试验可以排除好看但不好用的方法。因为一开始没有投入很多，所以我们还可以尝试很多其他的预试验。

这就是为什么在预试验阶段我们不在意P=0.2，因为再加上定性检测结果，形成有力的三角交叉验证，我们就可以推进到测试阶段，承受因停止某些干预措施而招致的批评，并进行大规模干预。这才是测试的真正亮点。因为预试验的唯一目的是弄清干预能否导致行为改变，所以它不具有长期性。在测试中，我们就可以开始考虑让某些做法成为最终的标准操作程序的一部分了。

这一考虑会给测试带来一些变化。首先，要考虑真实运用，所以可能需要改进干预措施。一方面，预试验的结果反映了这一要求；另一方面，扩大测试规模时也需要调整一些措施。我们要对这些措施进行验证，确保措施的变化不会导致最终结果的变化。

第二，更多人会参与其中，有客户，也有员工。这点很重要，主要是因为令人讨厌的确认偏见。我们在预试验中已经实施了一次干预，所以我们很兴奋，想把它向前推进。但是请记住，P=0.2意味着实际上有20%的干预措施不能改变行为，所以这20%的干预措施无法通过测试验证（如果通过了，那就是确认偏见）。当这种情况发生时，你的选择与预试验阶段类似：重新测试一次，看看它是否只是一个异常值。如果其他干预措施奏效，那就完全放弃这项干预措施，或者对它做调整，重新进行预试验。观察P值、效应量及可能的干扰，挑出因范围扩大而不起作用的措施。恭喜你成了一个领导者！

P=0.2意味着80%的干预措施是有效的，这将在测试验证中再次被证明。测试的目的不仅仅是确认干预措施改变了行为，也要确定干预措施是否值得实施。这件事值得做吗？测试的主要目的不是进行干预，而是判断是否要进行下一步的大规模试验。

在干预设计过程中，我们进行了多轮验证，从最早的可能性分析和压力影响因素分析，到对实际干预的两次验证，我们清楚地知道干预需要花费多少精力。基于此，在测试之后，我们可以得到一个比较确定的“付出和收获的关系”的陈述。

我们有（信心），（干预）将（方向）（行为）[由（数据）衡量]。

大规模试验需要（努力），会带来（变化）。

“疯狂填词”（MadLibs）游戏是不是很有趣？让我们一起来填词。

信心=基于P值，但在措辞上通俗化而非学术化

干预=具体的干预措施

方向=增加还是减少行为

行为=行为陈述中可衡量的活动

数据=对群体目标行为的量化

努力=大规模试验所需的资源

变化=基于P值，但在措辞上通俗化而非学术化

对于流感疫苗信件的例子，具体陈述如下。

基于改善会员健康的目的，我们对于通过给居民寄送关于注射流感疫苗的私人信件来提高流感疫苗接种率（由流感疫苗接种数量衡量）非常有信心。进行大规模试验需要大约10个小时和5500美元，试验将增加大约500次流感疫苗注射。

上面的很多术语都无须解释，这是干预设计过程步骤的自然结果。但是非常聪明的人可能会细心地指出：如果只对有信心的措施进行大规模试验，为什么需要表示有信心这样的语句？

简单的回答是：要有信心，要有信心（这听起来像伟哥的口号），85%的肯定和99%的肯定是有区别的，决策者应该知道自己有多大信心。还有一个更重要的原因：需要记录失败。

在科学领域，研究结果主要通过同行评阅的期刊传播，所以存在一个“发表偏差”的概念：你从来没有听说得到了“临界结果”的研究，因为它们不会被发表。事实上，有很多研究确实取得了显著的成果，但没能被发表，仅仅是因为它们被认为缺乏新意，期刊只有有所选择，才能有所回报。

发表偏差在商业领域更严重，我们不仅不谈论“临界结果”或“无资金支持的干预”，也不谈论“方向相反的结果”。在科学领域，如果你偶然发现一些公认的现象无法被复制，或者你的实验得出相反的结果，你是可以将此发现或结果发表的。但是在商业领域，缺乏有力的证据、结果相反的干预和无资金支持都被视为失败，商业领域的基本规则是：不谈论失败。

当谈到干预设计过程时，请忘记上述规则。如果一个大规模试验非常清楚地显示，流感疫苗信件确实不奏效，或者我们不确定它是否奏效，那么这个试验是有价值的，应该把它和干预设计过程里的所有其他细节一起存档。不管每次的结果是好的，是坏的，还是不好不坏的，都要对其进行记录。

想象一下，如果必应学校版不成功，那么我会灰溜溜地离开微软。就像“至尊魔戒”（我无法抗拒霍比特人的笑话）一样，时间会流逝，我的努力会被遗忘。也就是说，以后其他人会重做我们所做的研究。通过记录“我们不确定”或者“我们相信我们做错了”，我们创造了一个可追溯的历史，它对未来的干预研究是一笔财富。这就是要表达信心的原因。

剩下的内容很简单：描述干预和干预产生的行为，以及是否值得干预，权衡付出和收获的关系。语言表述清晰并不意味着大规模试验会很容易，权衡“资源”和“需求”是成败的关键。当我们通过干预设计过程推动这些需求，在付出和收获关系明晰的领域实施干预措施，决定优先资助哪些措施时，不仅仅要考虑措施由谁实施和如何被实施。

尽管决定进行大规模试验很艰难，但是不能放弃，因为还有一个基本事实：即使是规模干预有一天也会不起作用的。要知道这些干预措施何时奏效，何时该修改或终止干预措施，唯一的方法是持续监控。这又是一次验证，需要持续验证一项干预措施乃至整个干预措施组合的运行效果。

这很重要，原因有二，且均与一个事实相关：行为科学家认为人们的认知注意力有限。作为一个三岁孩子的父亲，我的精力正在减退，而不是在增长。大脑在任何时候都只能处理有限的事情，即使把很多事从积极思维中转移，交给大脑的无意识思维来处理，认知注意力最终还是会被用尽的。每一次干预不管有多小，都会消耗研究者们有限的认知注意力。

这样就会产生“食人鱼效应”。随着时间的推移，研究者会逐步建立针对同一目标行为的各种干预措施，例如一组戒烟的干预措施。因为适合所有人的干预措施几乎不存在，研究者必须不断创造新的干预措施。如果把所有关于戒烟的学术论文加起来，你就会发现总的效应量巨大无比，这似乎意味着如果把所有干预层层叠加，每个吸烟者都会戒烟。

但是这不可能发生。虽然每次新干预肯定会改变一些人的行为，但是不能把单项干预措施影响的人数相加，获得总人数。对一种行为的干预是如此（把烟放到上锁的抽屉里会让你的注意力稍稍从印有“吸烟有害健康”的烟盒上转移），对多种行为的干预也是如此（同时节食和戒烟？祝你好运）。通过持续监控所有的干预措施，可以知道每增加一项干预措施的效果：该干预措施会蚕食其他干预措施的效果吗？总的效果是增强还是减弱了？持续监控能保证对各种干预措施的效果进行准确的评估。这就是为什么分层式行为陈述如此有用：如果优步营销部门的干预措施增加了其应用软件的注册率，但最终却降低了整体乘车率，那么这就是一种糟糕的干预，可以直接将其剔除。

现在，有些事情已经超出了你的控制范围。干预竞争会加剧大规模的广告支出，我在本书开头就表示我非常反对这么做。如果没有很好的协调，设计不良的干预措施会像参加核军备竞赛一样展开竞争，以博取公众的注意力，导致公众的认知严重超载。无论你能多好地控制自己内部的干预措施组合，你都不可能真正退出全球对认知资源的竞争。

这也是持续监控起作用的地方。如果你想禁烟，并为此采取了一套有效的干预措施，那么当相关的影响因素发生变化时，你就需要调整这套措施。20世纪70年代效果好的广告在50年后不可能有同样的效果。影响因素变化了，就需要修改或终止某些干预措施，这是一个自然的过程。尽管人们为创建规模干预付出了很多，但是这些干预措施并不能永远被保留，它们需要为新的、更好的干预措施腾出空间。

幸运的是，因为已经记录了整个干预设计过程的流程，所以我们可以追本溯源，寻找发生的变化。如果我们正在实施的干预措施突然失效，这是个好信号，表明影响因素已经发生改变，需要从这里重新开始。只有采取措施检测变化，才能让干预设计过程保持弹性和灵活性。

持续监控是一种验证方法，没有太多的新过程需要记录，但要记住一点：确保持续监控在情况有变时发出警告信息。有一个控制面板不代表在实施连续监控，只有当有人去检查结果，监控变化时，才是真正的监控。同样，你也不想因为缺乏连续监测而在干预设计过程中浪费时间吧？想一想，如果有正确的方法测量目标行为，但却没人关注测量结果，你会有什么感觉？

总而言之，在公司的发展过程中，要经常检查干预设计过程在不同时间的具体情况。你现在已经进行了一个或多个规模干预，并改变了很多行为，因此需要暂停休息一会儿。记住，人需要保持心理距离来改善事物，所以你可以让干预措施规模试验继续，暂时去研究点儿其他的事情。

在《广告狂人》的世界里，决定要改变什么与干预效果无关，与干预的目标行为也不相关。那些白人拥有雄厚的内部政治资本，擅长华而不实的演讲，向那些随时准备相信他们的领导兜售自己的想法——确认偏见在领导们的老男孩俱乐部里非常流行。这种纸上谈兵看上去很美好，对公司肯定也有益，但前提是公司没有衡量好坏的标尺，且总是行好运。这样的电视剧明明空无一物，却伪装成对精英智慧的体现，而我们都在为此付出代价。

让我们回到本书提出的反事实世界。干预设计过程是通向这个世界的路径，我们进行研究和开展预试验与测验，不是为了竞争，而是因为我们的立场相同。我们遵循基本的原则，将所有的数据收集过程和对目标行为的测量过程都记录在案；开会时我们关注的是基于投入和期望的产出，以及不同的干预措施的效果如何。这是一个共同权衡利弊的过程，而不是为了向同伴兜售自己的观点。

现在你可以选择你想生活在哪个世界。这是一种全新的商业模式，你需要自己决定是否采取这种模式。在这种模式中，你可以把行为作为整个过程的核心，优先考虑改变行为的干预措施，从期待的结果出发采取措施。

神级保安  毒宠小狂后  绝色锋芒：牛X王妃  冤家路窄  矿物与岩石图鉴  长生歌  谈婚论价  不装了，我是黑煞战神  天才圣手  造物主之我培植了怪兽文明  冰山总裁的至尊高手  御史大人你马甲掉了  野花图鉴  总裁老公，适渴而止  驭兽魔后  上古强身术  重生之凰临天下  女总裁的超级保镖  薄情前夫太凶猛  佣兵天下(二十年纪念版)