冠军/挑战者试验，一个数字游戏

自动化决策与冠军/挑战者试验

      自动化决策最有价值之处在于可以迅速的根据业务变化改变底层的决策逻辑。这些业务变化可能来自于监管的调整、竞争压力或单纯的商业机会。决策的修改需要有测试同步跟进——毕竟在不能确保决策能被正确执行的情况下贸然改变部分业务模式是不明智的。然而，测试有时候并不那么充分有效。测试显然是必要的，但也有其局限性。当出现很多无法掌控的未知项时，如何对决策逻辑进行测试？

      我们需要的测试有时更类似于不同策略之间的比较。我将要讨论的这种技术开创于几十年前，但目前还未被广泛应用。这种技术被称为冠军/挑战者试验。

为什么使用冠军/挑战者试验

      你是否曾经尝试使用过冠军/挑战者试验?或者听说过A/B测试——其主要目标是比较一个既定的策略（冠军策略）与一个或多个备选方案（挑战策略）。这种试验已经在网站设计中被反复使用。试验目标可以是行为召唤（Call-to-Action）的不同强调方式，或者甚至是在几个网页上改变措辞，来测量哪个版本效果最好。 虽然它是网页设计的常规方法，但并未被广泛应用于决策。你也许会问为什么?我的猜测是，许多公司都不清楚如何设置它。我见过有的公司在使用这项技术的时候，因为错误的设置，导致试验的失败。

      简要解释一下这种试验应用于决策管理的基本理念。就如网页设计上的应用，决策管理试验旨在比较现实场景中的不同选择。基本原理是：在沙盒中进行的测试和模拟可以衡量一个决策的实际业务表现（例如批准信贷额度），但不能预测将来的人们会如何反应；模拟只会告诉你在你的历史样本中有多少人会被通过或拒绝；你可以采用某种划分人群的方法，但随着时间的推移，会发现这部分人会因为高违约率表现很差；而现实场景的试验允许制定实际的决策,然后随时间推移，评估这个样本的商业行为。

冠军/挑战者试验是如何运作的

     从技术上来说,生产场景需要可以部署两套或更多的决策服务。由于你的系统不能对同一项目既通过又拒绝，因此需要在结构上将交易随机分派到某一策略上，并对这些交易进行标记监控。这里的关键词是“随机”，你的设置在对分类交易时要做到没有任何偏见。但是需要说明的是，通常情况下我们也会先行排除一些由于战略价值（例如VIP客户），或者因为一些业务规则（例如禁止未成年人等）所分出来的类。你的设置将决定多少比例的交易将进入冠军策略，比如说50%，多少比例会作为挑战策略进行测试，比如说2个挑战策略各25%。

      当你需要测试决策的多个部分时，设置会变得较为复杂。在这里不做细节描述。可能会在后续的文章中做跟进。我只是想强调在复杂情况下，实验完整性是很重要的。

      一旦部署好试验，你需要等待一段时间，才能得出结论：哪一个策略是“冠军”——这意味着此策略优于其他策略。此时，由于确认了冠军策略，你可以推广使用这一策略，并可以开始一个新的测试。

这是一个数字游戏

      你每天例行为每个策略分配一个百分比。在之前的例子中,我们设置过分配给冠军策略50%，另外两个挑战策略各25%。 为了使绩效指标统计相关度更高，需要有足够多的数据。如果您的系统程序一天只有十几个交易进行测试，那将需要很长时间才能有足够的交易量分配给每个挑战策略。如果你想一次性测试更多的挑战策略，不确定性会变得更高。另一方面，如果系统每天处理数百万的交易试验将更快的得到结果。

      所以，基本上，你最终有三个方面需要考虑：

•   每天的交易数量

•   需要考虑的策略数量

•   试验运行的时间量

      只要这三方面的量能达到比较充足的水平，就可以从试验中得到比较好的结果。

仅仅是数字，或许还不够

      试验得出结果就足够了吗？不完全是。虽然可以从这些试验测试中得出一些结果，但做为专家，还需要能够让这些数据更加符合逻辑。如果你进行了一个12月份整月的零售试验，那么最优策略是否也适用于其他没有节假日的月份，这是不能明确的。如果你的违约通常发生在账户开放后的2个月或3个月，那么仅仅是短期的试验将无法得出正确结论。尽管并行测试多个策略的概念非常简单，不过还是推荐在参数设置上听取专家的建议，并利用常识来判断需要哪些来证明一个策略实际上的确是优于其他选择的。

      一旦使用这种技术，你的业务绩效将能得到极大提升。冠军/挑战者试验的确是一种非常强大的工具。

原文作者：Carole-Ann Berlioz

原文地址：https://www.sparklinglogic.com/champion-challenger-its-a-numbers-game/