下载我们的免费电子书43 A / B检测案例研究,从世界领先的公司寻找考试创意和灵感。 现在下载

优化博客

构建您的实验计划的提示和技巧



缩放 实验 通常对组织开始最艰难的挑战,因为他们开始看到实验的切实结果。公司开始专注于如何在业务的各个方面进行实践。扩展实验程序的角色,职责和工作流程可能看起来像是一个艰巨的任务,但是要使缩放现实是必要的。 

希望您的组织已准备好扩展其计划和成功!由于优化的主导战略顾问我看到了多种方式组织创造了这种结构。有典型的结构实验计划用于确保他们可以有效地运作实践,下面我将概述哪一个最适合您的组织,我将通过以下每个结构以及下面的每个结构以及每个结构以及下面的益处和缺点

  • 卓越中心
  • 测试委员会(执行)
  • 测试委员会(混合)
  • 个人团队
  • 杂交种

我试图牢记和与客户分享的一件事是这些结构只是起点。每个公司都拥有组织结构和工作流,以建立他们的经验和产品,在该经验和产品中需要适应。这些新的结构应该引出一个“哦,那个结构看起来熟悉我们想要做的事情,”评论与“我们需要遵循这个结构到一个发球台。”该初始识别的结构应作为指导光,但不是全部最终所有的。

我经常寻求开车的第二件物品是最好的实验计划有一个中央团队领导该计划。对真正的实验文化没有完成零碎的。至少有一个人每天完全专注。从那里的理想情况下,更多的中央团队成员具有特定主题的专业知识。这个队列可能没有完全致力于开始,但它’肯定是有点努力。

以下是我在课堂上看到的三个主要结构,我有机会与之合作。每个人都可以对组织产生巨大影响。同样,正如没有两个家庭一样,也是没有两个组织。这里唯一的指导规则:你必须让你的组织独一无二的是你想要成功。 

卓越中心

当公司正在寻求扩展并创造实验文化时但是我用来用于卓越中心的定义,当谈到实验程序时比大多数利用它更紧张。

雇用卓越中心的组织在其产品和经验发展中分散。这些测试路线图有个人所有者与相关产品和经验一致。很少有这些重叠在所有权中。这减少了每周协调的需要,即将到来,优先顺序和执行步骤。 

卓越中心是您需要专用实验团队的型号–没有关于它的疑问。如果没有中央团队驾驶登机和采用测试,该计划可能会失败。由于实验团队没有产品/经验的所有权,他们自己需要专注于作为分享最佳实践,学习,并衡量整个计划的产出和影响等实验促进者。

卓越中心可能是对你的,如果:

  • 您的组织已经在商业的其他部分(如分析)中以分散的方式运行
  • 您不需要个别团队保持不变;他们拥有自己的路线图所以它’最好不要覆盖他们不断的评论
  • 你对测试更成熟–您对贵公司和每个团队了解方法的实验意味着什么 
  • 具有更严格的集中化可能会抑制速度目标

 

我的起点是为了识别与组织的结构是写出所有权,因为中央团队/领导者而不是各个团队。这可以清除谁拥有实验生命周期的每个步骤的执行。  

这就是卓越中心的这看起来像是如上所决的每个结构中的这些所示):

 

卓越中心图形

 

卓越中心的一个很好的例子是优化自己的产品,设计和工程组织。我们的计划经理 Becca Bruggman.主要重点是促进我们个人经理的最佳实践,学习和教育。她负责设定计划的整体KPI和OKR。每季度她报告回到我们的进步上的领导力,并确定我们可以在随后的宿舍花费更多时间来发展我们的计划成熟。 

测试委员会(执行模型)

我看到今天的大多数公司都是测试委员会的一些味道。我看到这两种不同的方法:执行和分散。这两个之间的线路是在构建和启动实验时拥有的所有权。 

每周或两周会议进行两种类型的测试委员会是必须协调您的测试的优先级和路线图。如果您在不同功能的组织(即营销和产品)甚至个别产品经理已分享受到测试经验的共享所有权,您将需要在持续的基础上进行协作。 

有一些测试委员会,我看到一个完全专用的团队管理,就像一个卓越中心的专用实验团队很多。什么是独特的是,测试委员会的专用团队是实验生命周期的各个方面的积极参与者:帮助想象,测试设计和分析都是卓越的团队历史中心很少参与。 

由于名称表示,执行模型具有一个中央团队,其拥有实验的执行(构建和部署)。这是一个场景:说这是您正在进行的会议结束,作为一组,您已经确定了即将到来的测试,您将与您刚刚分析的结果进行操作。它是中央团队有责任使其发生。您将需要专门的开发或工程资源。这是有影响力的,因为你只是任职的组织,以专注于最高价值的物品:提出假设并采取行动对该计划的学习。 

 

实验工作流量所有权

 

如果:

  • 您没有从开发或工程方面完全买入,还没有执行实验
  • 您在中央团队中有资源进行实验开发;如果您使用客户端解决方案,这可能更有可能
  • 您希望您组织中的每个人都专注于主要促进思想和理解学习

 

测试委员会(分散模型)

在逆转,检测委员会的分散味道将执行步骤纳入相关的开发和工程手中。当您在中央团队中没有这些资源时,此模型适合。或者如果您更容易避免沿着“这是什么”时刻的碰撞,如果您允许资源已经构建产品和经验,以便进行测试。 

仍然需要每周或两周的会议。尽管产品或工程可能需要构建测试,但它可能的营销,设计和其他功能将具有良好的想法。和越多的从业者,你的发展能力就越越大。他们可能已经将这些产品和工程带到了不测试的变化。我认为这是教导他们为什么假设对他们所要求的更改有用的机会。随着时间的推移,一致的会议可能会减少战术和更多关于即将到来的事情以及从测试中看到的结果。 

当多个产品团队正在尝试在同一个顶级域时,我经常看到这个模型。在零售方面,这可能是拥有购买的个人管理员(搜索,PDP,购物车等)。可以提出交通共享,相互排除率或多页测试的机会。 

分散的委员会

 

考试委员会(分散模式)如果:

  • 你做!从开发或工程中完全购买,无法在没有签名的情况下执行实验
  • 厨房里有很多厨师:很多人正在研究同一产品,需要更仔细地谈论每周将要做的事情
  • 优先级是一项集体努力;当有人提交一个想法时,你可能会设定标准,但每周优先级都有一点“艺术”
  • 您仍然希望每个人都在一起来审查结果,即使执行和初始分析是以分散的方式完成的

个人团队

当我在美国医疗协会中运行该计划时,我在个人团队中。这只是我和我的团队成员,来自分析团队参与和优化。我不得不羞辱。我正在争取机会测试。我没有在我们的数字分析团队之外的专用资源。我花了很多时间教育人们,并希望能够参加领导者会说的尖端点,“让我们缩放这一点。”我看到很多公司仍然在这种模式下,所以如果这是你的位置,请不要惊慌。你必须在某处开始。

由于您可能会对资源感到限制,并且您可以在哪里测试您应该更具创造力,并具有您的优先级。这可能意味着当您可以在可用时倾向于其他资源时,可以跳过可能跳过您的一些标准评分标准的想法。并使用这些调查结果作为证明点(当您收集结果和学习时)以获得更多专用资源。 

个别团队将成为一系列人员,这些人只分配到实验。但你的观点应该至少50%或以上。很多有效地进入了实验,你需要有人在其上花费一个好的时间。 

如果:

  • 你刚刚开始,并与产品,开发或工程中的不一致参与
  • 你还在教你的组织,实验是什么,它可以驾驶的价值
  • 您希望组织中的其他人专注于提供想法
  • 您可以在此时测试的地方在此处相当有限

在优化的事业的另一边是我们的营销团队,拥有Optimizely.com及其实验。今天,他们作为一个单独的团队,管理自己的路线图和执行实验,因为他们可以在我们对经验的更广泛的举措中。我们仍在致力于如何最佳确定程序输出的措施,并更好地涉及我们的进入市场功能。为了他们的信誉,他们已经运行了一些高学习的实验,以便在今年早些时候通知我们的重新设计,并且由于这些成功而有专门的开发资源。 

杂交种

对于具有多种产品的多层组织,最有可能是卓越和检测委员会(甚至是个别队伍)的某种组合。我称之为混合动力。混合动力车将始终拥有卓越的监督中心,并支持所有测试团队并衡量程序的成功。混合动力车可以支持任何数量的测试委员会或个人团队。这些的数量并不重要。 

您上面阅读的所有内容都需要应用于下面的层次结构。你只是把每个人拿走并贴合它们进入你的谜题。在层次结构中,如果您不想与团队运行那些卓越的卓越中心,您可能需要独特的所有者运营个人委员会。但它可能是最好的卓越中心。由于他们专注于分享最佳实践和学习,因此每周与子模型都没有更好的方法。 

如果是,杂交可能适合您:

  • 你有很多独特的产品和体验团队测试
  • 但是有一个(或许更多!)需要合作测试委员会的产品或经验
  • 您的中央团队可以支持成为最佳实践和学习的内部促进员,同时确保测试委员会顺利运行
  • 你的成熟度更高,并在少数产品或经验上成功进行了测试

一些集中化的重要性

如开始所提到的,您将需要制定程序的核心所有者,以使这些模型成为现实。在建立中央团队时,您应该专注于该团队的角色和职责将是该计划的日常日期。这支中心团队将成为实验的领导者,应该赋予与您的跨职能举措相匹配的责任。

在您的中央团队中应在您的中央团队中表示的理想角色如下。很难拥有一个完全专用的中央实验团队,其中包含下面列出的所有角色。这些可以通过已经建立的主题专家贷款时间来支持这些计划的增长来填补这些。还可以根据程序结构所需的其他需要引入其他角色。 

核心优化团队

所需的第一步是弄清楚所有权在于你的中央团队角色的位置。其他人需要提供输入。你可以使用一个 Rasci. (或类似的模型)以确定这些要点。需要考虑一件事是,下面只是如何优化需要所需要的存在权。您应该为您的公司制作这些独特以及实验如何运作。   

 

实验Rasci

 

随着中央团队开始创建治理计划,它应该专注于下面以绿色突出的这些项目,以确保其他参与者专注于实验中最高价值的项目:观点,测试设计和分析。 

 

样本Rasci图形

 

我希望它很明显,大多数组织在开始时没有这种细节。甚至罕见,资源是在那里匹配的。但概述了一个rasci为你拥有的东西仍然是一个有用的练习,可以帮助确定你需要填补的资源空白。 

随着你的发展,你的计划

请记住,您的结构可能会随着时间的推移而发展。也许在近期,您需要建立理事会的变体,以确保每个人都适当地理解实验方法以及如何正确构建实验。但随着时间的推移,您希望将更多的所有权放入个人团队的手中,并开发更传统的卓越中心。  

我们经常与我们最大的客户看到这一点。我们需要大家了解实验的基础,因此我们在开始时保持较高的触感。并行,我们可以做更多的培训,以达到更新的实验。我们所看到的是最好的训练 

——————–

准备开始使用实验​​? 今天到达我们。

您认为哪些团队结构在您已成为一部分的实验程序中最有效?到达更分散的结构有哪些挑战?留下评论!

优化X.