下载我们的免费电子书,其中包括来自全球领先公司的43个A / B测试案例研究,以获取测试思想和灵感。 现在下载

优化博客

建立实验程序的提示和技巧

X

下载我们的免费测试工具包,获取A / B测试思路,计划工作表,演示模板等!

立即获取



缩放比例 实验 对于组织来说,这通常是最艰巨的挑战,因为他们开始看到实验的切实结果。公司开始专注于如何在其业务的各个方面使这种实践成为现实。确定正在扩展的实验程序的角色,职责和工作流程似乎是一项艰巨的任务,但对于使扩展成为现实至关重要。  

希望您的组织也准备扩展其程序并取得成功!作为Optimizely的首席战略顾问,我已经看到了组织创建此结构的多种方法。实验程序会使用一些典型的结构来确保它们可以有效地实施该实践,下面我将概述最适合您的组织的结构,下面我将逐一介绍这些结构以及每个结构的利弊:

  • 卓越中心
  • 测试委员会(执行)
  • 测试委员会(混合动力)
  • 个人团队
  • 杂交种

我想牢记并与客户分享的一件事是这些结构只是起点。每家公司已经拥有组织结构和工作流程来构建需要适应实验的经验和产品。这些新的结构应引起“哦,该结构看起来很像我们要尝试做的事情,”评论vs“我们需要遵循此结构进行三通。”最初确定的结构应作为指导之光,而不是万事俱备。

我经常想带回家的第二个问题是,最好的实验计划由一个中央团队领导该计划。走向真正的实验文化并不是零星的。每天至少必须有一个专职人员。从那里理想地,拥有特定主题专业知识的中央团队的更多成员。这个队列可能不完全致力于开始,但是它’绝对是要争取的东西。

我在有机会与之合作的一流客户中看到了以下三个主要结构。每个因素都会对组织产生巨大影响。同样,就像没有两个家庭一样,没有两个组织也是如此。这里唯一的指导原则:如果您想成功,则必须使它成为组织所特有的。 

卓越中心

当公司希望扩展和创建这种实验文化时,我会听到最多的这个词(这也是组织的分析团队经常使用的一种做法,它使得对所有数字工作的分析更易于访问)。但是,对于实验程序,我对卓越中心的定义比大多数人使用的定义更为严格。

雇用卓越中心的组织在产品和体验开发方面的权力下放。这些测试路线图的个别所有者与相关产品和体验保持一致。这些所有权很少重叠。这减少了每周就即将进行的测试,优先级和执行步骤进行协调的需求。 

卓越中心是您需要专门的实验团队的模型–毫无疑问。如果没有中央团队来推动入门和测试的通过,该程序可能会失败。由于实验小组没有产品/经验的所有权可以自我测试,因此他们需要专注于成为实验的促进者,例如共享最佳实践,学习经验以及衡量整个计划的结果和影响。

如果出现以下情况,卓越中心将很适合您:

  • 您的组织已经在其他业务(例如分析)中以分散方式运营
  • 您不需要个别团队保持持续联系;他们拥有自己的路线图’最好不要让他们不停地不断检讨
  • 您对测试更加成熟–您对实验对公司的意义有深刻的理解,并且每个团队都了解方法 
  • 集中度更高可能会抑制速度目标

 

我确定组织结构的起点是写出所有权归​​属于中央团队/领导者而不是单个团队。这样可以清楚地说明在实验生命周期的每个步骤中,谁拥有执行权。  

这是卓越中心的外观(我在以下每个结构中也都具有这些结构):

 

卓越中心图形

 

卓越中心的一个很好的例子是Optimizely自己的产品,设计和工程组织。我们的项目经理 贝卡·布鲁格曼主要重点是为我们的个人产品经理提供最佳做法,学习和教育。她负责设置程序的总体KPI和OKR。她每个季度都会向领导层汇报我们的进展情况,并确定在接下来的几个季度中我们可以在哪里花更多的时间来提高计划的成熟度。 

测试委员会(执行模型)

我看到当今大多数公司雇用的是某种形式的测试委员会。我看到了两种不同的方法:执行和分散。两者之间的界线是建立和启动实验时的所有权所在。 

对于这两种类型的测试委员会,必须每周或每两周召开一次会议,以协调您的测试优先级和路线图。如果您所在的组织具有不同的职能(即市场营销和产品),甚至各个产品经理都拥有对所测试经验的所有权,那么您需要持续进行协作。 

通过一些测试委员会,我看到一支完全敬业的团队对其进行管理,就像在卓越中心中有一支专门的实验团队一样。唯一的独特之处在于,测试委员会的专职团队是实验生命周期各个方面的积极参与者:卓越中心团队很少参与到帮助构思,测试设计和分析的所有步骤。 

顾名思义,执行模型拥有一个中央团队,该团队拥有实验的执行(构建和部署)。这是一种情况:假设这是您正在进行的会议的结束,并且作为一个小组,您确定了将要运行的即将进行的测试以及将要对刚刚分析的结果进行的处理。做到这一点是中央团队的责任。您将需要专用的开发或工程资源。它之所以具有影响力,是因为您只需要让组织的其余部分专注于最高价值的项目:提出假设并根据计划的学习采取行动。 

 

实验工作流程所有权

 

如果满足以下条件,则测试委员会(执行模型)可能很适合您:

  • 您还没有开发或工程方面的全力以赴来执行实验
  • 您的中央团队中确实有资源可以进行实验开发;如果您使用的是客户端解决方案,则这种可能性更大
  • 您希望组织中的每个人都主要专注于贡献想法和理解学习

 

测试委员会(分散模型)

相反,测试委员会的分散风格将执行步骤放到了相关的开发和工程手中。当您在中央团队中没有这些资源时,此模型非常适合。或者,如果您允许已经构建产品和体验的资源对测试也是如此,那么避免“这是什么”时刻的冲突就更容易了。 

每周或每两周一次的会议仍然是必要的。即使产品或工程可能需要进行测试,但行销,设计和其他功能也可能会有好的想法。而且您拥有的从业人员越多,开发该程序的能力就越大。他们可能已经将这些带入了产品和工程领域,而这些变化并不是测试。我认为这是一个向他们传授为什么假设对于他们所要求的更改有用的机会。随着时间的流逝,一致的会议可能会减少战术性,而会更多地影响您即将进行的测试以及从测试中看到的结果。 

当多个产品团队在同一个顶级域上进行实验时,我经常会看到这种模型。在零售业中,这可能是产品经理,他们拥有购买的各个步骤(搜索,PDP,购物车等)。流量共享,相互排他性或进行多页测试的机会会出现。 

分散议会

 

在以下情况下,测试委员会(分散模型)可能很适合您:

  • 你做!有开发人员或工程人员的全力投入,无需签署即可执行实验
  • 厨房里有很多厨师:很多人都在做同一种产品,因此需要更仔细地讨论每周要做的事情
  • 优先排序是一项集体努力;当有人提出想法时,您可能已经设定了标准,但是每周的优先排序还有更多“技巧”
  • 您仍然希望每个人都聚在一起检查结果,即使执行和初始分析都是分散进行的

个人团队

当我在美国医学协会(American Medical Association)运行程序时,我是一个个人团队。只有我和我的分析团队的成员参与并在Optimizely中工作。我一定要脾气暴躁。我在争取测试机会。我的Digital Analytics团队之外没有专门的资源。我花了很多时间对人们进行教育,并希望达到一个临界点,领导层会说:``让我们按比例扩大规模。''我看到许多公司仍处于这种模式,因此,如果您在这,请不要惊慌。你必须从某个地方开始。

由于您可能会感觉到资源配置上的局限性以及可以在哪里进行测试,因此优先级排序应该更具创造性。这可能意味着要采用一些想法,这些想法可能会在您可以依靠其他可用资源时跳过一些标准评分标准。并将这些发现作为证明点(当您收集结果和学习内容时),以获得更多的专用资源。 

一个个人小组将是一群只被分配给实验的人的集合。但您的重点人物应至少达到50%或以上。有效地进行实验有很多事情,您需要有人在其中花费大量时间。 

在以下情况下,单个团队可能适合您:

  • 您才刚刚起步,并且产品,开发或工程方面的参与不一致
  • 您仍在教您的组织什么是试验及其可以带来的价值
  • 您希望组织中的其他人专注于提供想法
  • 此时您可以进行测试的地方相当有限

在Optimizely业务的另一端是我们的营销团队,该团队拥有optimize.com及其试验。今天,他们作为一个独立的团队运作,管理自己的路线图并在我们更广泛的体验计划中尽可能地执行实验。我们仍在研究如何为程序输出制定最佳措施,并更好地让人们参与我们的上市功能。值得赞扬的是,他们进行了一些高学历的实验,这些实验使我们在今年早些时候进行了重新设计,并因为获得了这些成功而拥有了专门的开发资源。 

杂交种

对于具有多种产品的多层组织,极有可能是卓越中心和测试委员会(甚至可能是个人团队)的某种组合。我将此模型称为混合模型。混合动力汽车将始终拥有一个卓越中心,该中心负责监督和支持所有测试团队并衡量计划的成功与否。混合可以支持任何数量的测试委员会或个人团队。这些数目并不重要。 

您上面在其他模型上阅读的所有内容都需要应用于以下层次结构。您只需将每个部分都放入拼图中即可。在层次结构中,如果您不想让卓越中心负担团队管理这些委员会,则可能需要唯一的所有者来管理各个委员会。但是最好由卓越中心来做到这一点。由于他们专注于分享最佳做法和经验,所以没有比每周使用子模型更好的方法了。 

如果满足以下条件,则混合动力车可能适合您:

  • 您有很多独特的产品和经验团队进行测试
  • 但是有些(或可能更多!)产品或体验需要测试委员会的合作
  • 您的中央团队既可以作为最佳实践和学习的内部促进者,也可以支持测试委员会顺利运行
  • 您的成熟度较高,并且具有在一些产品或经验上成功进行测试的历史

一些集中化的重要性

如开头所述,您将需要制定程序的中央所有者,以使这些模型成为现实。在建立您的中央团队时,您应该关注该团队在计划的日常工作中的角色和职责。这个中心团队将是实验的领导者,并且应被赋予与您的跨职能计划中其他任何职责相匹配的职责。

下面是您的中央团队应代表的理想角色。很少有一个专门的中央实验小组来完成下面列出的所有角色。可以通过已经建立的主题专家来为计划的发展提供时间来填补这些空白。根据程序结构的其他需求,还可以引入其他角色。 

核心优化团队

需要采取的第一步是弄清楚所有权对于每个中央团队角色而言都在哪里。以及需要其他人提供输入的地方。您可以使用 RASCI (或类似模型)来确定这些点。要考虑的一件事是,以下内容只是如何优化地查看需要所有权的存储桶。您应该使这些对于您的公司以及实验将如何进行。   

 

实验RASCI

 

当中央团队开始制定治理计划时,它应该关注以下以绿色突出显示的项目,以确保其他参与者关注实验中价值最高的项目:构思,测试设计和分析。 

 

RASCI图形样本

 

我希望很清楚,大多数组织一开始都没有这么详细的介绍。甚至很少有资源可以匹配。但是,概述一下您所拥有的RASCI仍然是一个有用的练习,可以帮助您确定需要填补的资源缺口。 

程序成长时的思考

请记住,您的结构可能会随着时间而变化。也许在短期内您需要建立理事会的变体,以确保每个人都正确地了解实验方法论以及如何正确地建立实验。但是随着时间的流逝,您希望将更多的所有权交到各个团队的手中,并开发更传统的卓越中心。 

我们最大的客户经常看到这种情况。我们需要每个人都了解实验的基础,因此我们一开始就要保持更高的接触度。同时,我们可以进行更多培训,以提高对实验较新的团队的了解。我们认为最好的培训是 

——————–

准备开始实验了吗? 今天就向我们伸出援手。

在您参与的实验计划中,您认为哪种团队结构最有效?走向更分散的结构有哪些挑战?在下面发表评论!

优化X