船舶越快,风险越来越少。获得优化的推出,为开发人员提供免费功能标志。 建立免费账户



基于客户研究,在两个月内的统计数据的可用性上,我们发现顾客尚不清楚如何最好地使用该产品。作为一种进修,此时有两种统计数据加速器,加速影响和加速了解。如果您不熟悉它们,请参阅以前的博客文章: 概要 两个,和 我们如何解决辛普森的悖论 加速了解。

这是我们通过我们的研究以及我们如何提高产品的研究。

诊断

我们发现的少数客户挑战可以蒸馏到两件事:未对准期望和不明确的结果。

客户努力决定何时选择一种模式或其他模式,通常采摘加速影响,因为它具有最少量的摩擦。与加速影响相比,加速了解除基线之外至少需要两个变化。即使在选择加速影响后,客户感到惊讶地看到他们的结果页面缺乏他们已经习惯的统计价值。

结果页面有加速影响的斗地主在线玩

结果页面有加速影响的斗地主在线玩

为了搜索这些值,他们会切换到手动发行版,因为它产生了他们可以向其利益相关者报告的东西。这项活动表明,即使加速冲击以优化为中心,它们的精神框架也被绑定到A / B斗地主在线玩。

这揭示了在何时进行实验和何时优化时的理解–何时使用加速学习和加速影响之间的根本差异。不可否认,我们如何设计界面并命名为两种模式(它们都以“加速”开头)可能导致这两个概念的混合。

实验和优化

运行一个或另一个的决定归结为理解您的斗地主在线玩的目的。您想优化主要指标吗?或者您有兴趣发现哪种变化提高了您的产品 - 在统计确定性的意义上,这种变化确实更好,而不仅仅是一个异常?

让我们考虑何时运行A / B斗地主在线玩。您有一个假设,创建实验,并运行它。如果变异达到统计学意义,可以分析结果,使用这些学习创建一个新的假设,并使用更新的基线运行新实验。

这与优化不同。优化,您不关心学习见解;您希望以指标最大限度地提高(或最小化)。例如,客户在其网站上运行促销,意图驾驶更多注册。假设该斗地主在线玩具有两个变型,其中变化1具有10%的转换率和变化2,转换率为20%。通过统一分配和100位访客,我们有以下方案1:

场景结果1

场景结果1

如果他们已知变化2平均产生更多的转换,他们本可以将所有访客分配给变更2,如场景2:

场景结果2

场景结果2

在此促销期间,客户希望该算法将访问者驱动到产生最多注册的变化。与情景1相比,场景2产生了5个额外转换,改善了33%。缺少这5个转换(在机器学习中)被称为后悔,这就是他们想要最小化的。这是一个优化问题。 (对于更长的论文 机器学习的好处 您可以阅读以前的博客)。

运行该网站的客户并不担心在考试期间是否存在一些可操作的洞察力。由于这是一项促销,没有意图将变化永久地实现为其产品(查看我们的 知识库文章 在何时进行实验和何时优化)。

这是我们在实验和优化之间的基本差异是我们在去年的努力改善统计数据的努力之间。

改进

首先,我们更改了名称以准确反映该功能的意图,我们还在创建流和结果页面中放置了额外的护栏。

命名

我们重新命名为多武装强盗(MAB)的影响加速影响,并加速学习统计加速器(SA)。虽然都在使用 多武装匪徒 要动态分配访客,我们使用了常用的行业术语 m 重命名加速影响,因为多武装匪徒通常与最小化遗憾相关。

m创作流程

我们在创建斗地主在线玩时使MAB成为一流的选项:

新的网络上的新下拉列表

新的网络上的新下拉列表

 

在此改变之前,使用A / B斗地主在线玩下的加速影响使得似乎统计显着性和置信区间是结果的一部分。用户必须在其A / B斗地主在线玩的流量分布中选择“加速影响”。

选择加速影响或加速了解的旧方法

选择加速影响或加速了解的旧方法

这样做,他们正在考虑实验范式的这种优化。

将其作为单独的斗地主在线玩选项移动到A / B检验中的原因是两倍。首先,我们强调MAB之间的区别作为优化和A / B斗地主在线玩。 A / B斗地主在线玩的目标是通过统计严格更好地了解变化,而MAB应用于最大化奖励(或最小化遗憾)。其次,由于自己的创建流MAB可以与实验范式解除,鼓励客户在选择这些选项时决定哪些适合其业务用途的情况。 (并且有更多的是,MAB可以在假日购物季节使用它的帖子是帖子。)

我们已包括护栏要突出显示MAB不使用典型的值典型的A / B斗地主在线玩。

多武装匪徒的创建流量(MAB)

多武装匪徒的创建流量(MAB)

m结果页面

在改进之前,启用加速冲击的A / B斗地主在线玩的结果页面看起来类似于A / B斗地主在线玩:

A / B斗地主在线玩的旧结果页面加速影响

A / B斗地主在线玩的旧结果页面加速影响

看到这一点的客户很困惑,仍然希望看到置信区间和统计显着性值,类似于实验框架的属性。现在,强调优化忽略了 统计学意义,我们拍摄了这些专栏,专注于MAB如何整体执行。

A / B斗地主在线玩的旧结果页面加速影响

A / B斗地主在线玩的旧结果页面加速影响

用户可以摘要这种性能,并观察一个名为“改进平等分配”的新估计。这是运行MAB的累积增益,通过运行A / B斗地主在线玩,统一分配。

为了计算出来,我们将斗地主在线玩的历史分开到一系列相等长度的时期,其中纪元是交通分配和转换率是恒定的一段时间。在每个人内,我们计算在所有武器/变体上同样分配访客运行MAB的增益。这可以在数学上示出。

    \begin{align*} k &= \text{number of variations in the experiment}\\ N &= \text{total number of visitors in the experiment}\\ n_{N,i} &= \text{total number of visitors in variation $i$ for $i=1,\ldots,k$}\\ \overline X_{N,i} &= \text{average of the primary metric at time $N$ in variation $i$ for $i=1,\ldots,k$}\\ \end{align*}

    \begin{align*} T_N &= \sum_{i=1}^k n_{N,i} \overline X_{N,i}\\ \widehat T_N &= \sum_{i=1}^k \frac{N}{k}\overline X_{N,i} \end{align*}

对同等分配的改善 = T_N - \widehat T_n

看看我们的 知识库 对于这个伟大的解释。

此外,我们还包括巡视突出MAB结果页面的新方面:

我们多武装强盗优化的新结果页面

我们多武装强盗优化的新结果页面

统计信息加速器创建流程

除了重命名加速了解统计加速器,否则没有任何改变。此模式专门用于A / B斗地主在线玩,并使您需要您更改分发模式。

交通分布的修改下拉

交通分布的修改下拉

统计加速器结果页面

启用S​​TATS Accelerator的A / B斗地主在线玩的结果页面有许多改进。有一个徽章,指示启用SA时。更重要的是,我们已经包括一个专注于的巡演 加权改进,通过滤除每个时代内的偏差偏差的估计,并且少于将不用作算法的输入的转换速率。

结果页面游览A / B斗地主在线玩,统计加速器已启用

结果页面游览A / B斗地主在线玩,统计加速器已启用

概括

客户反馈帮助我们识别并解决了了解加速学习和加速影响之间的区别的核心混乱。我们希望我们的改进鼓励用户决定是否进行实验或最佳,并采用正确的框架来了解其结果。

随着我们继续合并反馈,我们的目标是改进我们的产品,因此客户可以了解他们的功能。我们与我们的最新改进做过。

优化X.