下载我们的免费电子书,其中包括来自全球领先公司的43个A / B测试案例研究,以获取测试思想和灵感。 现在下载

优化博客

建立实验程序的提示和技巧

X

下载我们的免费测试工具包,获取A / B测试思路,计划工作表,演示模板等!

立即获取



优化全栈 通过提供工具进行实验,优化和优化,产品团队可以比典型的产品开发流程更快,更轻松,更安全地改善访问者的体验。 推出 新功能,以确保将价值传递给您的客户。无论您使用Full Stack的哪个部分,您都需要制定衡量计划,以确定您所做的改进是否对访客真正有用和令人愉快。 

在过去几年中,作为Optimizely的首席战略顾问,我看到最好的产品团队遵循 决策政策 在使用“全栈”时进行分析,下面将对此进行概述。由于进行全栈测试通常会涉及更广泛的指标,因此,预先了解这些指标中的成功程度将增加决策时间,进而增加速度(运行实验的数量)。它还可以确保您始终如一地衡量和调整实验成功与最终目标。

首先,请务必了解您可以通过以下方式使用的产品开发工具包中的工具 全栈。预先了解这些差异有助于团队确定独特的测量计划。

  • A / B测试 –A / B测试是一种将页面或应用程序屏幕的两个版本(或多个版本)相互比较以确定哪个版本效果更好的方法。您可以像在Optimizely的网络产品中一样分配指标,并充分利用 统计引擎
  • 功能测试 –功能测试的交付方式与A / B测试非常相似,但它是基于“优化”功能构建的,并利用了 特征变量。与A / B测试相同,您可以分配指标,例如点击率,购买和收入,同时利用Stats Engine做出决策。 
  • 功能标记/展开功能标志允许您将条件功能分支构建到代码中,以使逻辑一次仅对某些用户组可用。推出后,您可以为一组用户设置功能标记:用户的百分比,特定受众或两者。 您无法分配指标。部署用于启动功能,因此不会发送任何展示,也不会生成额外的网络流量。
  • 多武装强盗 –多臂匪徒是A / B测试的优化游戏,它使用机器学习算法将流量动态分配给效果良好的变体,而将较少流量分配给效果不佳的变体。您可以分配任何类型的指标,例如A / B测试或功能测试。但是,多武装匪徒结果页面没有统计意义,而是着重于平均分配方面的改进,这是其优化的主要摘要’的表现。这些只能用于两种测试类型之一,而不能用于 功能推出

 

作为产品负责人,您将顺序且经常快速地背靠背使用这些功能。您可能正在构建一个新的交互式表单功能,该功能使用功能标志来控制,仅将其公开给您的Beta用户组。一旦早期的信号很强烈,您就可以将其推广给超过Beta组的更多用户,以验证其性能影响。如果未发现对性能的影响,您现在可以在功能测试中使用不同的字段类型,演示文稿等进行真实的实验。随着时间的流逝,您可以利用多臂土匪来优化营销活动中的潜在客户。考虑一下您的决策策略如何根据这种情况而变化!

在衡量其产品和体验的度量时,大多数组织都有“唯一的真理来源”。最优化也没有什么不同。我们鼓励团队与诸如Amplitude或内部数据仓库之类的平台结合使用Optimizely。关键是在启动测试或混合平台之间的功能之前,为测量制定成功计划。 

以下是一个示例(可下载模板在这里)如何在您所做的所有事情中做到这一点 优化全栈 与您的内部数据仓库保持平衡(“真理之源”)。请注意,只有在统计意义上的北极星指标获胜且主要指标(和反指标)呈正增长时,才有电话测试获胜者。 

决策策略模板

对于某些组织(如上文所述),对于他们在Optimizely中所做的一切,都有一套必须受到积极影响的特定标准,例如特定的关键绩效指标(KPI)。 

但是,通常会根据测试或功能启动来设置KPI。对于测试,它可能看起来像这样:

假设:如果我们返回按搜索结果最多(而不是“最新”)排序的现场搜索结果(而不是“最新”),那么我们将提高产品浏览率,进而提高购买完成率。 

决策策略模板

我们还建议利用数字体验分析平台,例如 全故事 帮助您在制定指标时进行决策’re tracking haven’尚未达到统计标准或不确定。这种类型的工具将使您更深入地了解用户如何与变体进行互动,以帮助您进一步验证结果。如您在上图中所看到的,我们依赖于特定预定义情况下的FullStory分析。

当使用 优化部署,您可能会引入与您进行的测试不同的度量标准,而在您进行测试时,该测试考虑的是纯粹的优化对产品的影响(例如性能)。其中一些用于性能测试的指标可能是诸如更改故障率和恢复服务的时间之类的东西。这些类型的指标可能不会影响您关于功能成功与否的决策策略,但它们应该!例如,如果您愿意以显着增加的形式填写表单,这意味着失败率没有显着增加。在开始实验之前,您应该先从这些角度出发。

您为什么决定在程序级别而不是在Optimizely中为每次启动设置KPI?如果您只利用程序的一部分,则可以在程序级别执行此操作 优化全栈 开始(例如 推出)。也许您只是在使用Optimizely的A / B测试功能,以便组织可以全面创建一致同意的视图。或者该组织可能已经确定了与技术合作伙伴进行分析的固定方式,并且已经建立了明确的分界线。 

组织(无论是程序级别的还是个案的)通常都倾向于根据Optimizely中最重要的北极星指标停止分析。这些指标可以是收入,生命周期价值,预订量,潜在客户得分等指标。 优化服务 团队在创建这些数据管道和测量实践的任何地方都具有丰富的经验。并根据具体情况评估Optimizely中还测量了哪些其他指标。有哪些决定点?

  • 相较于进行更多的探索性分析,哪些指标最重要的是要有信心阅读?
  • 当我们进行社交以针对此类更改做出决策时,我们的团队成员/领导层会熟悉哪些数据定义?
  • 我们是否有能力在我们的其他分析平台中及时建立这些指标,以便在Full Stack中推出? 

不过,很多这些都会变得越来越好!优化地致力于一项能力(数据实验室), 正如我们的联合创始人Pete Koomen所说,这将“将Optimizelyly的结果管道分解为可互换的组件,以收集数据,衡量指标,应用统计信息以及建立和共享报告”。归根结底,我们希望使团队更容易以更快捷,更相关的方式对业务进行实验和功能分析。数据实验室将对此进行解锁。 

如果您想了解有关Data Lab的更多信息,请 与我们联系!或者,如果您当前是Optimizely的客户,则可以直接与您的客户成功经理联系。 

优化X