下载我们的免费电子书43 A / B检测案例研究,从世界领先的公司寻找考试创意和灵感。 现在下载

优化博客

构建您的实验计划的提示和技巧

X

下载我们的免费测试工具包for a / b测试想法,规划工作表,演示模板等!

现在得到它



我是Becca Bruggman,Optimizely的实验计划经理。我的工作是确保我们“喝自己的香槟”并运行一流的实验计划。 

这是六部分系列的第四部分,旨在帮助您运行a 最佳的实验计划。在该系列中,我们正在涵盖建立程序所需的一切,开发它并使其有效运行,并创建一个良好的机器并使其可见。

在一个 以前的博客文章,我分享了一个应该让你在组织的所有部分中游泳的思想策略!现在,我们需要弄清楚如何优先考虑所有这些实验,并确保整个组织正在创造高影响力实验。 

当您具有高速的实验时,优先级排序框架可能会有所帮助。当您在网站的同一区域时,在您希望确保组织的透明度以确保正在进行的权衡时,您也有用。 

在优化的情况下,考虑到我们发布的整体数量和类型的实验,我们到位的专用资源数量和节目可见性的数量(在后来的帖子中更多!)。 

为了支持我们的轻量级优先级需求,优化的是每周一次的会议,称为实验审查,以确保实验已开始从假设,指标和设置视角开始推出。

对我而言,当您需要优先级框架时,没有一个艰难而快速的规则。但是,如果您以迭代方式运行您的程序,并且您开始看到更高的实验速度,特别是在关键位置,您将开始遇到潜在的冲突。当发生这种情况时,您需要一种方法与您的团队分享您如何确定哪些想法优先考虑。 

到达这一点是一件好事!这意味着您的团队对实验有很多想法和热情。如果您在构建,QA和发布的时间方面发布实验,则这一点往往更快地发生。允许您迅速进入更严格的优先级框架,我建议将您的团队提前进入评分实验的习惯,以至于当时对某些实验的优先级进行需要发生,您将拥有该机构肌肉记忆。  

当需要进行实验优先级,获得得分和投票结构可以帮助民主化过程。这使每个人都可以对他们认为的最大影响产生的意见。如果您使用的是优化的程序管理,则将评分直接建立在系统中:

这也可以包含在电子表格中的实验路线图中。您可以通过在每个实验概念旁边包括评分列。如果您刚刚设置并包含在实验中,这是一个很好的选择 来自最后一个博客帖子的路线图模板.

在实验路线图模板中得分

 

当你有一个优先级排序和得分框架时特别有用 个人团队模式 (即,您可以从许多地方获得想法,单个组优先考虑并建立实验)。正如您从整个组织的那样获得大量想法,有一种方法可以沟通构建和QA的核心团队如何优先考虑对他人的某些实验以及接下来的内容,将有助于了解知名度,信任和透明度。如果人们觉得他们的想法正在进入一个黑洞,他们将来会不太可能在未来提交更多。我建议您决定的任何优先级框架以及您创建的实验路线图在您的组织中社交,并在持续的基础上可见。 

对于卓越中心,以及其他分布式的程序模型,具有框架,该框架可以用来平衡对其他工作中的实验,这也有所帮助。分布式模型中的各个团队通常都有自己的框架,他们用来优先考虑对实验的其他任务,但具有指导提供有助于作为起点。

正如我上面提到的那样,我们在整个组织中优化优化的方法,我们在整个组织上进行了优先考虑和上升的整体实验最佳实践,我们每周都会召开实验审查。此次会议随着时间的推移而发展,最初仅启动产品团队的实验和可选的,而不断发展,以适应所有产品实验,现在都需要所有产品和营销实验。

在这次会议中,寻求运行实验的人可以来分享他们的假设,指标和实验设置,以确保它们是 以最佳方式接近实验。我有提交这个想法或者正在寻求优先考虑并推出对本集团的想法的人。这通常看起来是确保假设写得很好,使用类似于此框架的东西:

假设是您在运行实验之前创建的预测。常见格式是: 

如果[原因],那么[效果],因为[理由]。
在经验优化的世界中,强假设由三个不同的部分组成:问题的定义,提出的解决方案,以及结果。 (来源

确保跟踪与假设对齐的指标也很重要,并且广告系列类型是证明/消除假设的最佳方法。根据实验,我们有时会审查设计并提供反馈。然而,对于产品实验,我们主要从而远离这一点,以便有时间专注于实验设置本身和设计师,专注于确保与我们的设计模式保持一致。

一旦有人来试验审查以查看他们的实验,他们就可以接收绿灯以向前迈进,并在推出他们的实验或有特定的反馈,他们需要在下面加入下面。

实验评论服务多种功能:

  • 实验的轻量级门控和优先级 
  • 确保高质量的酒吧通过推出的实验满足
  • 整个组织的上升假设思维和实验
  • 即将推出的最新性

我有机会,我会鼓励整个组织的人参加实验审查。我用它作为通信和演示文稿中的“呼吁采取行动”。在优化的情况下,实验审查特别有影响,因为它给出了我们的上市(销售,成功,营销)团队洞察实验程序在实践中的样子。除此之外,它让每个人有机会了解有关该计划的更多信息,并对客户如何通过实验来改善客户的意见。

我还有一个正在优化的每个人都可以看到的常规和注释文件,我已经包含在我的 实验计划工具包。除了堵塞实验审查外,我还有机会,我还在特定的Slack频道的会议上分享了议程,具体格式,所以每个人都知道本周即将到来的情况:

正如您所看到的,此频道也可以用作分享和庆祝获胜的另一个地方!

您可以找到上面注意的所有模板[这里]。  

您的团队如何决定下一步运行的实验?评论下面或推文我 @bexcitement..

在下一帖子中看到你的所有令人敬畏的实验工作可见!

优化X.