下载我们的免费电子书,其中包括来自全球领先公司的43个A / B测试案例研究,以获取测试思想和灵感。 现在下载

优化博客

建立实验程序的提示和技巧

X

下载我们的免费测试工具包,获取A / B测试思路,计划工作表,演示模板等!

立即获取



我是Optimizely实验计划经理Becca Bruggman。我的工作是确保我们“喝自己的香槟”并运行一流的实验程序。 

这是一个由六部分组成的系列的第四部分,旨在帮助您运行 一流的实验程序。在本系列中,我们涵盖了构建程序,开发程序并使其高效运行以及创建运转良好的机器并使之可见的所有内容。

在一个 以前的博客文章,我分享了构想策略,应让您从组织的各个部门中汲取实验构想!现在,我们需要弄清楚如何确定所有这些实验的优先级,并确保整个组织都在创建具有重大影响的实验。 

当您进行高速实验时,优先级排序框架可能会有所帮助。当您要在站点的同一区域中进行大量实验时,如果要确保整个组织之间的权衡取舍,这也很有用。 

考虑到我们启动的实验的总数和类型,已经拥有的专用资源的数量以及程序的可见性,Optimizely并没有一个确定优先级的硬框架(更多内容将在以后的文章中!)。 

为了支持我们轻量级的优先级需求,Optimizely每周召开一次名为“实验审查”的会议,以确保可以从假设,指标和设置的角度启动实验。

对我来说,何时需要优先级排序框架并没有硬性规定。但是,如果您以迭代的方式运行程序,并且开始看到更高的实验速度,尤其是在关键位置,则可能会遇到潜在的冲突。发生这种情况时,您将需要一种与团队分享如何确定优先考虑哪些想法的方法。 

到达这一点是一件好事!这意味着您的团队具有大量的想法和实验热情。如果您在建立,质量检查和发布的时间方面花了很长时间来启动实验,那么这一点通常会更快地发生。为了让您快速进入更严格的优先级排序框架,我建议您让团队养成早期对实验评分的习惯,这样,当需要进行某些实验相对于其他实验进行优先级排序时,您已经具有了机构的肌肉记忆力。  

当需要进行实验优先级划分时,拥有计分和投票结构可以使流程民主化。这使每个人都可以对自己认为会产生最大影响的观点发表意见。如果您使用的是Optimizely的计划管理,则计分直接内置于系统中:

这也可以包含在电子表格的实验路线图中。您可以通过在每个实验提示旁边添加评分栏来做到这一点。如果您刚刚设置好并包含在实验中,那么这是一个不错的选择 上一篇博客文章中的路线图模板.

在实验路线图模板中评分

 

当您拥有一个优先级和评分框架时, 个人团队模型 (即,您可以从很多地方获得想法,并且只有一个小组确定实验的优先级并进行构建)。由于您会从整个组织中获得大量想法,因此有一种方法可以与您交流,即进行构建和质量检查的核心团队如何优先进行某些实验以及接下来的工作,这将有助于提高知名度,信任度和透明度。如果人们觉得自己的想法陷入困境,那么将来提交更多想法的可能性就较小。我建议您决定采用哪种优先排序框架,并且将创建的实验路线图在整个组织中进行社交化,并持续地对所有人可见。 

对于卓越中心和其他更分布式的程序模型来说,拥有一个可供团队用来平衡实验与其他飞行中工作的框架也可能会有所帮助。分布式模型中的各个团队通常会拥有自己的框架,他们可以根据优先级对其他任务进行优先级排序,但是作为指导,提供指导是有帮助的。

正如我上面提到的,我们在Optimizely上使用的一种方法,用于确定整个组织中总体实验最佳实践的优先级和升级水平,每周召开一次会议,称为“实验审查”。该会议随着时间的推移而不断发展,最初只是从产品团队的实验开始,然后才是可选的,然后演变为所有产品实验都需要,现在又是所有产品和营销实验都需要。

在本次会议上,希望进行实验的任何人都可以分享他们的假设,指标和实验设置,以确保他们 以最好的方式进行实验。我有提交想法或正在寻求优先考虑并发起该想法的人向小组提出。这通常看起来像是使用类似于此框架的方法来确保假设的编写正确:

假设是您在进行实验之前创建的预测。常见格式为: 

如果[原因],那么[效果],因为[合理]。
在经验优化的世界中,强有力的假设由三个不同的部分组成:问题的定义,拟议的解决方案和结果。 (来源

同样重要的是要确保要跟踪的指标与假设相符,并且广告系列的类型是证明/证明假设的最佳方法。根据实验,有时我们会审查设计并提供反馈。但是,对于产品实验,我们基本上已经放弃了这一点,以便有时间专注于实验设置本身,而设计师则专注于确保外观与我们的设计模式保持一致。

一旦有人进入“实验评论”以查看他们的实验,他们就可以收到启动该实验的绿灯,或者获得在启动过程中需要纳入的特定反馈。

实验审核具有多种功能:

  • 轻量级选通和实验优先级 
  • 通过启动实验来确保高品质的酒吧
  • 在整个组织中提升假设思维和实验设置
  • 即将发布的内容的可见性

只要有机会,我就会鼓励组织中的所有人参加实验评论。我将其用作交流和演示中的“行动号召”。在Optimizely,实验审查尤其具有影响力,因为它使我们的进入市场(销售,成功,营销)团队可以洞悉实验方案在实践中的样子。除此之外,它还使每个人都有机会了解有关该计划的更多信息,并发表他们对如何通过实验为客户改进产品的意见。

我还拥有一个运行中的议程和注释文档,Optimizely中的每个人都可以看到该文档,并且该文档已包含在其中 实验计划工具包。除了在有机会时插入“实验评论”之外,我还在会议开始前以特定格式的特定闲暇频道共享议程,因此每个人都知道本周将要发生的事情:

如您在上方看到的,该频道也可以用作分享和庆祝胜利的另一个地方!

您可以找到上面提到的所有模板[这里]。  

您的团队如何决定接下来要进行的实验?在下面发表评论或发给我 @bexcitement.

在下一篇文章中与您见面,让您看到所有出色的实验工作!

优化X