下载我们的免费电子书43 A / B检测案例研究,从世界领先的公司寻找考试创意和灵感。 现在下载

优化博客

构建您的实验计划的提示和技巧



作为优化的主导战略顾问,我很幸运能够与刚刚开始他们的计划的客户,并从刚刚开始他们的计划和将团队到位的客户到来,以便在没有尝试的情况下向客户队到位的客户一起工作。我的工作侧重于建立与公司团队的实验方法,同时设定结构和测量实践以发展计划。

我也一直在另一边!直到加入优化,我在美国医学协会(AMA)上运行了实验计划。在非营利性的日益增长的实验带来了自己的挑战,但与一名高管制定者合作,帮助我驾驶该计划的前进是建立真正的实验文化的第一步。

在AMA我从同一点开始,我看到了很多实验程序开始。我们不得不陷入困扰,并找到任何运行A / B测试的机会。这些经常受到我们可以测试(通常更低的交通页面)以及我们可以测试的(通常是消息传递和图像)的限制。

但正如我们发现一些受影响的网站指标和对我们重要细分市场的理解的胜利,所以领导就注意到了。有意识地努力将更多的资源放在实验后面,并从我们的数字分析团队的一方练习中发展。我们有买入创建完全专用的实验计划。

我们对实验计划的定义是什么?

实验程序超出运行一些简单的A / B测试以优化转换。它比这更大。实验计划是将实验整合到公司工作流程及其文化中的实验过程。整个公司拥有实验方法,以及多个部门进行实验,从他们那里学习,并对整个组织的其他见解进行表面。

真正的实验计划设定了工作流,治理,资源,并直接连接到您公司的KPI。有些目标是关于您将运行的测试数量有多少测试,并且在公司的kpis上的积极影响。大多数程序从1级开始,就像我们在AMA一样,但是有足够的成长空间 优化的成熟模型。随着实验计划达到成熟,通常有专门的技术致力于进行所有实验,并将指标与公司成功联系在一起。

为什么实验计划需要执行赞助商?

创造实验文化很难。它需要一个组织思维 可能是公司将在一年内承担的最大数字倡议之一。当我在AMA被克切时,我意识到我在每张桌子上没有座位,而在规划组织的数字举措时。我不得不通过让我的执行赞助商保证为我们的成功和影响而推动这些表。

执行赞助商有助于确保成功:

  • 参加明显和公开的
  • 沟通支持实验
  • 组织内的建筑联盟

计划所有者推动了更改,但行政赞助商可以在行政级别提倡这种变化,有助于将实验联系到核心业务,并为最终是一种高度跨官能/跨部门努力分配的。您需要在该字段(程序所有者)上的四分卫,但您还需要Sidelite上的Coach,以便在需要更改时进行调用。

您的执行保荐人还需要将实验连接到这些重要公司KPIS(关键绩效指标),并代表本公司中的其他教练(高管)拨打电话。例如,如果您在电子商务中工作,则从实验中提高增量收入和购买的目标是什么?在翻盖方面,实验如何帮助降低与回报或呼叫中心相关的成本?在您的整体数字计划中设置这些目标是只有行政赞助商可以有效的事情。

如何选择合适的执行赞助商?

没有普遍的“正确的”人,尽管你将通过挥舞影响力的人达到最佳成果,并且可以在贵公司中镀锌。探索对您的情况最有意义的原因。您的赞助商可能会导致最接近您的数字测量的集团–在许多组织中,这是分析或消费者洞察的负责人。或者他们可能会在船舶上的集团内工作 产品开发头。 (它可能完全从你的手中脱离,只是为优化而获得的团体 that’s okay!)

无论如何,在您确定赞助商时,请记住两个主要事项:

  1. 谁在捆绑他们的个人和团队结果(例如 okrs. 或目标和关键结果)进行实验吗?
  2. 谁可以在启动程序时快速解除一些主要挑战(在下一节中的更多信息)?

#1是最重要的。要真正转移到实验 - 第一家公司,您必须积极为参与的个人设定目标和绩效措施。哪个高管愿意把笔放在上面?在优化的情况下,我们的执行赞助商是产品的SVP, 克莱尔vo.,谁确保每个产品经理都有目标 在我们的案件中,OKRS 对于运行的实验数量,实验的特征数量等。找一个将从顶部设定这个方向的人。

程序的执行赞助商的主要职责是什么?

一旦您选择了您的赞助商,现在轮到你了。以下是要要求的主要事项:

  1. 资源,资源,资源。您的实验计划需要支持许多跨职能团队来茁壮成长。因此,当存在差距时,您需要赞助商找到解决方案来填补它。
  2. 工程支持是关键。当需要一体化或工程工作时,您的赞助商应该有助于获得解锁该跨部门工作所需的支持。
  3. 传达实验的价值。询问,“实验在这里适合这里?”当计划倡议/广告系列计划以及执行级别会议时,他们参加。您的赞助商应始终提醒其他人如何通过解决所有客户问题做出贡献。
  4. 保持头脑。共享结果和学习润滑了实验计划的轮子。让您的赞助商在您尽可能频繁地分享您在公司面前遍布的内容。
  5. 定期实验实验结果。设立对该计划的季度审查,您的赞助商可以提供关于对KPI和OKR的进展的反馈。作为一名积极参与者在我们的每周和季度评论中,Claire提醒每个人对公司的重要性。

我如何与我的执行赞助商保持兴奋?

请记住对您的赞助商最重要的是:什么工作使他们对他们的老板看起来很好?寻找对执行利益相关者的这些关键焦点区域附加实验。

  • 如果在给定季度的首要任务是在网站上成功启动新功能,如何优化围绕客户行为提供更多数据?
  • 如果它是一个新的营销活动,可以针对我们最重要的渠道的实验继续迎来活动的消息传递和价值道具吗?对称消息传递将针移动到转换甚至更换吗?

当您的赞助商出现时,不要走出会议(实验 - 专注于或不侧重于),而无需讨论实验如何支持正在讨论的举措。您的团队正在做的一切都有助于解决同样的客户问题,实验可以解锁很多。在赞助商被“训练”之后,我已经用我的一位客户看到了这款翻转,以问实验如何有助于解决客户问题。现在他不会让任何人离开房间没有实验的想法。  

最后,经营一个你知道的实验会引起他们的眼睛:一个是赞助商的想法。即使它跳过优先级探索的实践,它就值得让他们保持活力。谁不喜欢谈论自己的想法?

当我在AMA工作时,这是我的倾向于。当我们共享结果时,我也拿到了我的赞助商将他的名字提交给他的想法。这种透明度说明是错误的,并且我们应该通过实验真正解决了我们的客户问题。  

—————

那么你的下一个步骤是什么?

  1. 确定您的执行赞助商(如果您还没有)。
  2. 与他们合作,定义与自上而下的实验相关的单独性能措施(OKRS,V2MOM等)。
  3. 让您的执行保荐人承诺参加您的每周会议。

这些小步骤可以走很长的路,但会将您设置为成功的实验计划的路径。

此外,阅读更多关于如何与您的执行保荐人建立您的计划 下载构建实验程序电子书.

您对课程的执行保荐人有哪些其他问题?把它们作为下面的评论,让我们聊天!

优化X.