船舶越快,风险越来越少。获得优化的推出,为开发人员提供免费功能标志。 建立免费账户



这是我们产品实验陷阱博客系列中的第一篇文章’产品管理总监Jon Noronha。看 这里 有关此5部分系列的更多信息。 

强调:

  • 测量实验结果在您朝着转换等简单目标时相对简单。
  • 当产品团队优化长期或更少明确的目标时,例如长期保留或提供伟大的体验,可能很难找到映射到模糊目标的具体度量。
  • 解决方案?选择与商业成功相关的指标,迭代您的指标,并不要害怕改变课程。

实验是一个强大的制作数字的技术。只要你选择正确的数字,你就会看到变革成功。但是,如果您选择错误的,您将引导您的产品在错误的方向上。用错误的指标进行试验就像使用一个非常强大的枪,在脚下射击自己。

当您具有单个死亡简单的转换时,A / B测试很容易,例如从登陆页面获取更多信息。当您优化副列机的目标时,它会变得更加困难 驾驶长期保留 或者 提供最好的用户体验。根据您选择的目标,您可以将产品置于不同的方向。例如,Airbnb和Booking.com都有强大的实验文化,但对不同指标的测试导致了非常不同的用户体验:

其中团队往往斗争是将模糊目标与混凝土,可衡量的公制联系起来。我在微软看到了这一手的第一手练习,我们的团队的高级目标是建立一个可以用谷歌可靠地竞争的伟大搜索引擎。这是一个很好的公司目标,但它本身并不是可量化的公制。然而,我们绝望地建立了与谷歌的测试文化,所以我们抓住了 可衡量的东西 我们可以使用在A / B测试的背景下捕获“搜索引擎的良性”和市场份额。

我们的第一次尝试理论上取得了很大的意义。要捕捉我们的质量作为搜索引擎,我们决定测量在Bing上完成的搜索查询总数。当然,如果这个数字走了,我们就会做正确的事情,因为我们更频繁地使用我们的产品使用更多用户。因此,我们有一个 北星公制:我们将跨越测试变体随机铲除用户,然后通过测量每个唯一用户的总查询来选择获胜者。

从目标后向后工作,每一条链中的每一步都声音逻辑和无害。但在实践中,它导致了一场慢动作的灾难。

这是发生的事情:因为在每个用户的驾驶查询上测量了团队,我们开始更喜欢使您做的功能 更多搜索 要查找相同的结果,并在较少跳跃中惩罚让您到同一答案的更改。多年来,我的团队努力地测试了我们的途中,以拥挤的UI放置“相关搜索”,并“尝试这一目标”前沿和中心,以牺牲实际结果为代价。每次我们将实际的搜索结果推过,我们看到我们的实验赢得并庆祝了。效果是真实的:数字真的确实上升了。

只有一个障碍:这一切,我们实际上并不解决核心问题。当人们使用搜索引擎时,它是因为他们想快速找到答案。我记得有一天听到谷歌吹嘘的人那个“我们是地球上唯一的网站,试图尽快摆脱你!”同时,在Bing我们正在优化 搜索 而不是这一点 发现。这是通过定性研究诞生的。尽管我们的指标上升,但我们的用户并没有告诉我们他们不再喜欢搜索引擎。如果有的话,他们感到更沮丧,仍然切换到谷歌。

最终,经过多次灵魂搜索,这反馈导致我们重新调整我们的整个实验计划。进一步分析,我们意识到我们精确选择了错误的公制,所以我们改变了齿轮。前进,我们设定了一个目标 减少 每个会话查询,而不是每用户的会话优化。

作为微软的实验平台,Ronny Kohavi的领导者, 解释 在哈佛商业评论的文章中:

正如Bing的经历表明,到达OEC [整体评估标准]并不简单。其关键的长期目标正在增加其搜索引擎查询的份额及其广告收入。有趣的是,减少搜索结果的相关性将导致用户发出更多查询(从而增加查询共享),并在广告上单击更多(从而增加收入)。显然,这种收益只会是短暂的,因为人们最终会切换到其他搜索引擎。那么哪个短期指标确实预测查询分享和收入的长期改进?在他们对OEC的讨论中,Bing的高管和数据分析师决定他们想要 最小化 每个任务或会话的用户查询数 最大化 用户进行的任务或会话数。

当用户喜欢搜索引擎时,他们会访问很多,尽快离开,因为它们一直找到他们正在寻找的东西。虽然第一个度量响起,但只有这个第二版本捕获了重要的影响。而不是巧合,Bing现在有一个繁荣的实验文化,并报告了它 2015年底第一季度利润.

解决方案

当您设计产品实验时,请仔细考虑您使用的指标。有疑问,问问自己一个问题:如果这个指标上升,其他一切持平,你会开心吗?这可以帮助您选择与商业成功相关的度量,而不仅仅是一个容易移动的指标。另一种框架的方式是:这种度量可以激励哪些不良行为?或者:如果我的用户发现这是我试图推动他们的行为,他们将如何反应?

不要害怕定期重新评估这些指标,因为你永远不会在第一次完全完美。虽然它听起来像一个数据驱动的职业中的异端,但相信你的肠道!如果它感觉像指标是错误的方式,重新思考指标并花时间选择正确的目标。否则,实验将导致您脱离悬崖。

关键的外卖

为避免尝试错误的指标:

  • 选择与业务成功相关的度量,而不仅仅是易于移动的指标。
  • 不要害怕经常重新评估指标并迭代为您的团队工作的度量标准。
  • 当你感觉等度量来看你误入歧途时,相信你的肠道并重新思考你的指标战略。花更多时间选择正确的目标,将在长期节省时间。

有关Bing的实验之旅,我推荐球队的论文 七个陷阱避免 在线实验运行时。它充满了这一点,因为这是建立成功的实验文化的坦率节课。您还可以从最佳地找到更多的提示 改善重要的指标.

查看本系列中的第二个帖子: 实验没有足够的交通

优化X.