下载我们的免费电子书43 A / B检测案例研究,从世界领先的公司寻找考试创意和灵感。 现在下载

优化博客

构建您的实验计划的提示和技巧



我是Becca Bruggman,Optimizely的实验计划经理。我的工作是确保我们“喝自己的香槟”并运行一流的实验计划。 

这是六部分系列的第二部分,旨在帮助您运行A. 最佳的实验计划。在本系列中,我们正在涵盖构建程序所需的一切,开发它并使其有效运行,并使其可见。 你可以找到以前的帖子 这里 这里

如果你读过我最近的 邮政 ,您应该让您的主要利益相关者映射,有计划结构的计划,您的团队将利用并拥有初始目标树。现在,让我们挖掘你到达的团队如何将在规模上推出高质量的实验。大秘密:文件和对齐!

由于我们正在努力在优化的过程中将我们的流程和计划正式化,我们迅速意识到拥有全面文件的重要信息,所有关键利益相关者已审查并对齐启动实验。虽然不是每个人都喜欢流程,但良好的过程可以用几个关键方式帮助释放团队:

  • 通过他们的实验和创造力产生影响,而不是每次都要弄清楚需要哪些步骤来安全,并成功发射实验。 
  • 有助于船上的实验过程基本上缩放自己并尽量减少与团队的需要最小化。 (作为一个我不规模的人)。 
  • 最后,如果有人想对这个过程进行修改,那么可以讨论和制作这些改变的地方的单一的真理来源。

下面,我走过核心文件,我们必须简化实验。我将显示这些看起来更优化的截图,并且您可以在我的所有这些中找到模板 实验计划工具包.

第一的–结束于运行Web /客户端实验的结束文档!模板 [ 这里 ]

优化的Web实验的文档的一部分

 

这包括以下内容:

  • 在哪里记录实验的想法
  • 在哪里建立实验本身
  • 哪些组件最好使用
  • 如何获得代码审查和SLA
  • QA的步骤
  • 预启动清单  
  • 谁伸出援手,如果卡住了

在开始,这可能会感到有点压倒性,但一旦团队经历一次或两次,它就会成为第二种自然。此外,如果变得清晰,需要更新或删除进程,则在您有一个单一的真实源时更容易做到。

利用你建造在我的目标树 最后一篇 ,并获得所有核心事件设置和QA'D也可以帮助简化实验创建以及未来的QA。一旦创建了这些事件,相应的文档将映射出所有核心事件(对我们而言,它是引线表格提交的事件)有助于具有单一的真理来源。这提供了用户行为这些事件跟踪以及在您的网站上发生的位置背后的完整背景。 

我建议这些核心事件有一个标准的命名约定,使它们很容易发现,并且易于理解到每个对准程序中的均方面。我们使用“[Master]”的命名惯例来指定核心团队为每个人自信地利用的核心团队建造和QA的事件。

优化使用“master”来指定核心事件

接下来,在运行完整堆栈实验的端到端文档! Web和全堆栈文件中可能会有一些重叠,尤其是在推出前发布的清单以及谁伸出困境。但是,鉴于代码基础,QA流程和批准的差异–有这个破裂的通常是有帮助的。模板 [ 这里 ]

这包括以下内容:

  • 在哪里记录实验的想法
  • 在哪里建立实验本身(即哪种代码基础对待哪个产品,这对代码基数的不同部分达到了优化的项目)
  • 链接到SDK配置和事件上的文档
  • 如何获得代码审查和SLA
  • QA的步骤
  • 预启动清单  
  • 谁伸出援手,如果卡住了

对于这些中的每一个,从您的关键计划利益相关者签署,流程的最终用户以及任何受代号审阅者等进程影响的人都有助于。这些将是在不断发展的文献中,我建议审查一次季度,以确保它们与流程和利益相关者的角度来说仍然相关。为了优化,因为我们的程序已经成熟或者我们有人离开,确保我们开始的系统仍然有意义,随着更多人参与,实验计划增长。

最后,感谢软件工程师 Derek Hammond. ,我们还有关于如何在我们的优化Web实例中创建新的组件/实体(页面,受众,度量标准等)的文档。模板 [ 这里 ]

优化 在新Web实体上的文档

本文档是我们建立了大约一年内的程序,我希望我们能够迟早建造它,因为我在我们的计划中实现了我们的Web项目已经过度运行或单一使用页面,受众和指标已经过度运行。因此,我必须花几天时间来清理我们的实例,只能将其减少到积极使用和有用的东西,这可以看到我在2019年1月的1月份进行返回:

我去年清理了Me Web项目

宣布向团队宣布我所做的所有清理!

 

从我的错误那里学习! 我鼓励您在一开始时设置本文档,并为您的Web项目中的旧组件设置频繁的Cadence。这使得别人寻求建立实验的过程更加直接,因为它们不必挖掘项目组件来找到他们需要建立实验的东西。

从治理角度来看, Slack integration从Slack优化集成的,可以非常有助于查看整个帐户中正在创建和启动的实验。如果在商定的过程之外建造或推出任何内容,并且根据需要,这可以在实时看到或推出这一点,这有助于。优化,我们有一个名为#实验饲料的频道,其中所有这些通知直接管道:

在优化的实验 - 饲料松弛通道

一个重要的呼叫密切关注:您应该期待所有这些都与您的程序增长和发展,尤其是您的端到端过程。此外,很高兴考虑一致记住以与您的组织对齐的方式“爬行/漫步/运行”。虽然拥有所有这些过程最初是重要的,但团队可能需要一些时间习惯于符合其利用它,并且还需要根据团队反馈的更新以及程序更改的需求。所以,只知道这是即将到来的,准备好了!

您可以找到上面注意的所有模板[ 这里 ]。  

您的团队现在使用哪些流程进行实验?我错过了什么?评论下面或推文我 @bexcitement. .

在实验模拟的下一篇文章中见到你,建立你的路线图!

 

 Becca Bruggman.

关于Becca Bruggman:

Becca在优化的优化领先大型交叉功能计划,包括管理优化的卓越实验中心,跨越产品和营销。她喜欢探索,时尚,可爱的狗,大声笑。推特:@bexcitement.

 优化X.