马上跨入 2020 年了，大家都已经知道：只靠经验、直觉做优化，显然会被那群天天做 AB测的大兄弟们甩在后面。
AB测试，大家都知道需要做，但还是有很多人一到落地时就觉得啰嗦，“ 这都是不必要的成本，能省就省，万一我每次都能猜对用户的心呢？”
大兄弟，问题不在于你是否猜对了用户的心，而是你根本不会有机会知道，你放出来的是错的！
一些数字
每 8 个 A / B 测试中就能有 1 个对营销策略产生重大改变。
A/B 测试可以加速用户体验的优化，将总体效率提高 400％ 以上。
A/B 测试在增加有效线索的方式中，排名 No.1 ，因为它快、简单、便宜。
据统计，全球 Top 10% 的营销人，每天都在通过 A/B 测试做决策。
这些优秀的人，都在拿AB测试做什么呢？
场景非常多，说两个最经典的：
1.帮你测试出最好的信息传达方式：
比如，测试新品卖点，用户是否买账？ → 测试好卖点，用户是否能看到？→ 测试好卖点用户是否一眼就能看到？
2.让你稳中求胜，通过经验赋能自己：
验证产品改版会大获成功还是扑街 ？ → 验证哪里值得不断下功夫打磨 ？ → 验证哪里应该早早劝退，不要枉花时间 ？
用最少的资源测出最佳的效果，既能规避一定失败的风险，还能让你对市场和用户的判断越来越牛，从而作出更高效的假设。
方法对了，才能奏效
1.尽量一次只测试一个假设
比如，提高微信推送通知的点击率这件事，我知道很多朋友会搞10条、8条，同时测试，最后一看数据，觉得一下找到了最佳方案。掉坑了吧？且不说随机性会影响结果显著性和可信度，这样做，还有一个本末倒置的误区：做 A/B 测试不是只为了在当下做一个决定，无论是人工还是自动化的测试，每个测试的结果都能获得一些用户行为洞察，让你的团队或机器伙伴更聪明。
一定是你先对某个变量的表现有所怀疑，然后你“控制”这个变量，原始版本是A，再根据经验做一个假设，改进版本是B 。别搞 ABCDEFG 测试。
2.在运行A / B测试之前，确定 “统计显著性” 标准
什么样的统计结果会让你决定更改目标变量或广告系列？
先确定你将要对测试结果所执行的规则，不是先做做看，到时候再说。。。
比如，修改注册表单的选项可能是一个重大改变，会带来连锁反应，你可以将目标定的严格点儿，如 95-99％ 的统计显著性。
3.先抓重点，首先测试整个页面
如果是做一个新的落地页或网站、H5等，在你疯狂测试某个按钮、颜色、图片或标题之前，请先尝试测试整个页面的结构和风格，而不是上来就测试每个次要设计元素。
一个简单的方法是，你只需设计两个完全不同风格的目标网页，并持续测试。
几乎可以肯定的是，一个版本会胜过另一个版本，一旦你确定了获胜者，你就可以知道哪种风格更受到你的访客喜爱了。
4.尽可能全面地观察漏斗变化
进行各种A / B测试时，大部分人都认为最终目的就是提升转化率。但是，不要让转化率成为你所有测试的全部和最终结果。
一定同时关注监测的其他指标：点击率、退出率、潜在客户活性？因为 ROI 的提升，不单单是看转化率。检查整个漏斗的更多指标，尽量把问题考虑全面。（ Ptengine 有很好的工具可以帮助分析这些结果。）
5.“隐形” 元素 VS 明显元素
当查看A / B测试时，很容易想到的就是颜色、布局、字体大小、列位置、标题、按钮、页面长短等设计细节。
但是，别忘记还有很多特别重要的维度：不同推广时段（一天中的时段、星期几、月份、季节）、引导步骤背后的逻辑等。
6.测试细节不是一步到位的
有时最微小的变化可以产生很大不同，不必将 A / B 测试限制为不成功便成仁，因为即使调整有优化，也不定能达到你期望的指标，可以做很多次调整。比如，赫赫有名的谷歌工具栏，一个阴影的色调就测试了41次。
说到底，A/B测试对我有什么好处 ？
如果是营销人和产品人
“简短的标题引导比长标题点击多了 9 倍！” 或 “ 让流量提高了 157％ 的视频！” 等，可能会诱惑你立即写个短标题，或在页面加一个酷炫的视频。别忘了，任何方法都不是通用的，很棒的技巧可能并不适用于你的业务或用户。每个企业都能梳理出自己独一无二的用户特征。
这也是为什么需要 A/B 测试。A/B测试只是用了科学实验的思路，但它不是科学实验，它能得出一些结论，但不是定律。你只是多了一个手段，1. 帮助你把用户看得更清楚，2. 更快更低成本地做相对正确的决策。
如果你的用户喜欢在晚上，蜷缩在沙发上看你的网站，简短标题可能不如一个有点儿长，但很温馨的标题。
受益于A / B测试的人，是通过测试，获得思考和用户认知的人。
如果是内容传播者
用户/读者的需求推动你的内容创作。
例如，如果目标受众是高级管理层，那么带有丰富链接资料的简短文章可能比半小时的视频讲述更好。
如果你的受众是喜欢技术那一卦的，他们可能会对有大量数据统计、图表分析的资料反响更好。
通过A/B测，了解你的受众已经知道多少，他们需要接下来获得什么进阶知识，他们对什么形式最感冒。
当然，真正的AB测试，受益的最终是你的用户
即使是微小的改进也会影响用户的行为，虽然，用 AB测试做细节优化可能看起来是浪费时间精力，但真正的受益者是用户，他们的感受提升了，使用产品更加舒服了，这有滴水穿石的功效。
人的特性无法避免：大家都是视觉动物，在决定参与或购买时，感官感受最重要。（ JLB Media 曾报道，90% 的购物者认为视觉效果是他们购买决策中最重要的因素。）
AB测试对国内的很多团队来说，可能是一个具有挑战的事情：设置测试、管理细节、收集和分析数据。。。但是，来势不可挡。根据你的公司规模、预算、员工和目的，你可以设计一套简化的 AB 测试流程。
如果你从未进行过数据分析并希望开始 AB 测试，那么 Ptengine 或许能帮到你。
1.你可以安装基本功能，低成本入门
2.因为非常直观友好的用户界面，上手快
3.可以在预算增长时，添加各种功能。
4.你可以在页面上采取两个（或更多）页面变体，并将它们同时比较，看看哪个页面表现更好。
5.相对轻松地提高参与度和转化率，并对目标页面进行大量快速更改，而不用非得懂代码。
咋用Ptengine做 AB 测 ？来个实例
两个主标题之间的 Battle 大战
测试对象：Ptengine 产品官网首页的主标题。 https://www.ptengine.cn/
市场人 Allen，死活觉得原来的主标题不符合中国人说话习惯，于是坚持要做 A/B 测试。
他用 Engage 的一个叫《优化引导》的功能，开搞～
Allen 心心念念的是一个走 “简单直接粗暴”路线的标题。
于是，他快速创建 2 个 AB测试版本。如下图：
经过 3 周的测试曝光，新版的退出率较低，但注册率也略低。考虑到注册转化率不是最终指标，还要对注册用户的质量做评估，我们的市场人 Allen 决定继续观察一段时间，看一下转化率的表现和人群精准度是否有差异。
小结
有的时候，我们都觉得 A/B 测试最牛的地方是，我做一个测试，立马水落石出，但事实是每 7个 AB 测试就有一个会不显著，这种情况下，可以：1.调整测试方案，寻找更显著结果； 2.持续观察，深挖一下数据背后的意义。
当然，也别灰心， 靠 AB 测试大获成功的人更多。VIPKID通过首页的AB测试，大刀阔斧的改版，注册率提升了150%；启德教育通过AB测试敲定引导弹窗版本，留资转化率提高65% …
最后，希望优秀的团队都能有如上图的飞跃，不浪费资源，不撕逼，有问题多测一测。
