下载我们的免费电子书43 A / B检测案例研究,从世界领先的公司寻找考试创意和灵感。 现在下载

优化博客

构建您的实验计划的提示和技巧



好的想法是我们工作的基础作为优化器。 The source doesn’TIMS - 无论是来自我们的头部,用户测试会话还是我们的网站分析 - 以及质量。我们需要使用实体假设的头脑风暴和运行有效的A / B测试,而不是一次性想法,而不是一次性想法。 Hiten Shah, 创始人Crazyegg,吻素描探器的联合创始人,策展人 SaaS每周和作者 hitenism.com. 加入#optichat讨论运行有效A / B测试的策略。

Optichat Hiten Shah.

这里’S回顾下的问题,从Hiten和#optichat社区答案。

一个良好的A / B测试理念的属性是什么?

来自Hiten:

  • 当A / B测试确保您’在之前和之后记录实验。实现更快的实验和增长。
  • A / B测试假设是由用户行为,研究和过去的实验的数据通知的受过教育猜测。
  • 当A / B测试进行研究时,有助于确保您的重点是正确的东西

来自社区:

  • 如果你问“我们应该在接下来测试什么”,你不知道你是什么’在做。转换研究!–@peeplaja.
  • 基于研究的假设。每个测试都应该回答一个问题。–@mikestlaurentwf.
  • 为一些深入研究的A / B测试奠定了基础。测试Begets测试,因此策略经常成为Domino效果–@kmrivard.

有用的文章:

在这里查看问题1的所有答案。

为什么花时间研究A / B测试很重要?

来自Hiten:

  • 你’当US / B考试创意提出时,LL严重限制了您的长期增长
  • 研究有助于您专注于创造更好的实验,这些实验更有可能改善漏斗&减少用户摩擦

来自社区:

  • It’对于研究您的A / B测试很重要,因为它会增加成功机会。太多失败杀死了组织支持。–@seanellis.
  • 我保留了所有测试的日志–我们测试了什么,我们学到了什么,测试跑了多长时间,为什么我们觉得它有效/没有’t work, etc. –@beymour.
  • 研究有助于我重新发明轮子并专注于将移动针的实验。–@ BL_Bennent12.
  • 研究有助于您找到全局最大值并覆盖本地最大值。–@jenpwns.
  • 研究将您的优化计划远离意见和移情。–@avramescu.

在这里查看问题2的所有答案。

您在A / B测试研究中使用的数据主要来源是什么?

来自Hiten:

  • 量化数据主要来自营销渠道,漏斗,保留队列和产品使用数据
  • 定性数据可以来自调查,访谈,用户研究以及任何其他方式来理解为什么用户做他们所做的事
  • 如果您想通过A / B测试获得增长,您必须让知识脱离人’S头并开始记录它

来自社区:

  • 我们从办公室中与非网络/技术人员提供了很多测试的想法。他们的UX疼痛点是什么?–@lmaaa.
  • 客户的声音,分析,启发式。眼睛跟踪,点击跟踪,网站上的时间等 - @Formosachris.
  • 行业标准–博客思想,行业标准转换率,竞争对手’ sites –可以绕过您的数据源–@Herartofseeds.
  • 也不要忘记A / B测试的结果可以,应该影响你接下来的测试–@bryantgarvin

有用的文章:

在这里查看问题3的所有答案。

除了很漂亮,炎热的东西是有益的?

来自Hiten:

  • HeatMaps通过通知您可以在A / B测试时通知您可以添加,删除和移动的页面元素来帮助改进您的网站
  • Heatmaps帮助A / B测试,因为它们显示了您点击的地方以及它们不是在哪里
  • Heatmaps可以是理解人们在网站上做什么的非常有用的工具

来自社区:

  • 在使用HeatMap进行研究时,请记住不仅查看您的桌面热插拔,还可以查看移动和平板电脑–@idowebid.
  • 热图突出了你之间的差距’设计设计以及用户在做什么。–@mrsallee.
  • 您的页面的哪些元素是用户关注的?你是在旅途中指导他们的吗?–@milwaukeeppc.
  • 将热量视为分析源。您可以将每个页面视为漏斗中的步骤,以ID摩擦点和瓶颈。–@avramescu.

在这里查看问题4的所有答案。

优先考虑和跟踪您的测试创意的一些很好的方法是什么?

来自Hiten:

  • 无论你做什么,如果你刚开始记录你的实验,那么优先级变得更加直截了当
  • 这种增长帆布工具专门设计用于有助于优先考虑& tracking A/B tests

来自社区:

  • 我们总是在我们办公室使用思想地图。首先,你头脑风暴,然后你优先考虑和群体相关的想法。–@egaal.
  • 那里’我生命中很多擅长… –@samanthasawyer.
  • 我们总是在我们办公室使用思想地图。首先,你头脑风暴,然后你优先考虑和群体相关的想法。–@avramescu.
  • 我很喜欢 作为优先考虑和跟踪测试思想和归档结果的工具。–@Granttilus.
  • 人们在 正在研究A / B测试的伟大项目管理工具–@takeshiyoung.

有用的文章:

在这里查看问题5的所有答案。

您如何考虑赢得率?这是一个公制A / B测试团队应该尝试改进吗?

来自Hiten:

  • 如果您的胜率非常低(10个胜利),您应该开始向您的实验提供更多的研究
  • 测试赢或丢失,确保您学习并保持测试。那’s how you’长期获得更高的胜率

来自社区:

  • 小心激励A / B测试赢利,我们倾向于忘记也应该忘记的指标’t go down –@davidjbland.
  • 诺托!它’关于见解。你拿走了你的学习,修改你的方法并再次进入。成长不会’t happen on day 1! –@aswinkumar.
  • 输家也可以节省你的昂贵路径。“Aren’你很高兴你先测试了这个吗?” –@avramescu.
  • It’很难保持高赢利率,但我的团队在测试中胜过50%的胜利。 Maybe we’太保守了!–@seanellis.

在这里查看问题6的所有答案。

你揭穿哪种A / B测试陈词滥调?

来自Hiten:

  • 测试ISN.’关于你读过的所有战术。你必须为自己实际测试它们!
  • 所有你读到的策略都可以’如果没有系统从您自己的用户实验和学习的系统,请让您增长

来自社区:

  • 测试测试的测试。只是因为你可以打开/关闭东西’意味着你会得到结果。–@Altos.
  • “I don’T有足够的时间来测试。”  –@lmaaa.
  • 大橙色按钮总是一个胜利者–@Ohdubz.
  • 揭“每个人都应该测试并始终进行测试”。只有你有卷–@cherrymanrao.

在这里查看问题7的所有答案。

您如何在2016年说明您的公司更实验?

来自Hiten:

  • 在一个充满竞争的世界中,您的最佳优势来自理解您的客户比其他任何人更好
  • 环顾贵公司,如果人们正在做出似乎猜测的决定’开始尝试的时间
  • 连续测试可帮助您了解如何解决客户问题而不是竞争对手创建解决方案

来自社区:

  • 继续告诉人们“it’只是一个实验,”不是决定与一件事一起去–@caraharshman.
  • 如果您没有测试,您基本上是胆量的赌博业绩–@bhas.
  • 记录一个严谨的过程,开始展示小胜,建立一种测试意识形来的文化–@joshrodriguez.
  • 回答每一个评论“You Should Test That”没有任何测试,没有人知道任何事情–@mikestlaurentwf.
  • 我喜欢从一份需要修复的东西列表– with supporting 证据。这开始势头–@seanellis.

在这里查看问题8的所有答案。

干杯

优化X.