下载我们的免费电子书43 A / B检测案例研究,从世界领先的公司寻找考试创意和灵感。 现在下载

优化博客

构建您的实验计划的提示和技巧



在优化的情况下,我们的产品团队每周都会举行讨论我们计划在我们产品中运行的实验。这是一个名为“实验回顾”的开放会议,我们使用它来分享最佳实践,并确保我们正在运行高质量的实验。本周在实验中审查了在实验提案周围举起的辩论。这场辩论揭示了以下内容的文化紧张局势:

  1. 鼓励 个人 用实验验证他们的想法
  2. 鼓励这一点 组织 专注于一系列产品优先事项。

我们的两位设计师,罗恩和谢恩后,辩论提出了对该集团的实验。他们有一个关于一种新的方式来增加一个具体的用户参与 新产品 we recently launched1.

在辩论的一侧是几个人指出,我们没有有数据表明将特定度量转移对我们的业务产生重大影响。他们认为,这个实验正在修复我们尚不确定存在的问题,从而分散了我们从修复其他问题的问题。

另一方面是人们认为球队已经做出了善意的努力,以实验驱动,而通过推回这个实验,我们正在劝阻这种行为。作为我们的产品VP,Claire,请将其称为将实验能量放入低屈服区域的成本,以防止设定实验棒的成本如此高,没有人这样做。

我们花了一些时间讨论这一点,这里有一些我们带走了这次辩论的课程:

1.在实验文化中,领导人侧重于优先考虑度量

这场辩论明确了我们没有足够的工作来沟通我们最重要的产品问题,以及我们的队友如何考虑解决它们。在优化的情况下,我们使用高级产品度量标准目标(写为部门 okrs. )完成这一点。

高级度量目标的挑战是它们并不总是容易地绑在一起的日常工作。他们沟通了我们最重要的产品问题,但他们并不总是为我们的队友提供一个明显的方式来解决解决它们。解决此方法的一种方法是将您的高级指标打入子度量的“目标树”。这是A. 简单的例子 :

我们的顶级产品OKR的分别分解为子问题将为我们的队友提供框架,以便在不限制他们想法的创造力的情况下思考它们。

2.合格假设所涉及的严谨程度应与运行实验所需的努力水平相匹配

在优化的情况下,我们使用实验的一种方式是验证建立一个特征之前验证假设的低努力方式。虽然这些实验通常需要比他们旨在验证的功能更少的努力,但他们仍然需要时间和精力从多个队友。有趣的想法在这里永远不会在短途供应,因此我们冒险为我们的客户牺牲运输有价值的产品和功能的费用来花费花费所有时间运行实验。

解决这一挑战的一种方法是设定预期,更难运行实验,我们应该花费前面验证客户数据的假设。假设应备份分析,客户面试,并引人注目的叙述与团队的优先事项联系起来。数据,叙述和拟议的实验设计应受同行评审(例如 想法得分 优化计划管理 !)。

这是一个良好的PM或PMM的工作类型,即使他们没有计划运行实验,也可以使用该项目优先考虑新项目。实际上,验证实验只是失败产品开发过程中的一步!

3.设置棒高鼓励实验

技术产业中有一个普遍的神话,运行实验类似于“在墙上扔一堆东西并看到什么棍子”。我花了很多时间与帮助在世界上最先进的技术公司建立实验文化的团队,我相信这种概念不能从真相中进一步。在这些组织中,假设和实验设计在“在野外”测试之前受到彻底的审查过程。

在运行之前对实验进行关键同行评审可能似乎令人沮丧。毕竟,另一个组织箍我们要求我们的队友跳过。这在短期内可能是真的,但在长远来看,我怀疑我们会看到完全相反的效果。例如,Netflix和Airbnb每年每年都有数千个实验 尽管 许多实验想法在发货前面临着组织审查的手套的事实。

同行审查强制实验者磨练他们的假设和实验,并有助于确保我们运行的实验有最佳机会对业务产生影响。最终,这将导致组织中更有意义的成功案例。这些成功鼓励进一步的实验。

因此,将酒吧放松,然后推动队友思考他们的实验。鼓励您的队友延伸创造力并构建引人注目的数据支持的叙述,了解他们的想法如何将业务转发,并确保他们有必要的背景。

在我们的讨论之后,Ron和Shane已经开始工作验证他们的假设。他们已经设法挖掘了一些支持他们论文的客户报价。我期待着在下周看到他们在实验审查中提出的内容!


1. 对于熟悉的读者 优化计划管理:他们的假设是让我们的客户在线目录“产品问题”会鼓励他们的 团队 成员创造更多 思想 .

 优化X.