12月8日，由中国产品经理社群PMCamp和易观联合主办的第八届互联网运营千人峰会在上海杨浦区小南国花园酒店成功举办。此次峰会主题为“流量为王运营为道——存量时代运营王者精益归来”。旖美科技运营总监罗国兴老师，分享了自己AB测试的诸多案例，同时也分享了很多需要在AB测试中注意的关键点。以下为其演讲实录：
AB测试在公司内部发力，不止限于用户增长，是对整个公司的助力。
有三部分内容分享，第一是为什么要做AB测试?第二是AB测试的正确打开方式，第三是AB测试实例和结论。
为什么要做AB测试?
AB测试其实由来已久，首先是从坏血症的治疗和奥巴马的竞选开始。那么不做AB测试我们会怎么样?那你永远也不知道大的改版。最有名的例子就是Facebook的NewsFeed的改版，后来发现效果是负的，有很多指标，注册率、跳出率等等，提到5%还是负的，提到20%还是负的，最后坚持不下去就没做。这个坑很多公司踩过，有多少公司在改版的时候做过测试，实际上很有必要，历史的坑踩过的太多了。
第二个不做AB测试，运营的KPI会变成运营优势。以国内某家出行平台的运营周报为例：统计所有的流量来源是我在端内起一个新的租车的tap，我推送出去，点进来的方式一些是通过短信，还有一些是通过商务链接点进来的，信息流层对层，不同的同学负责不同的方向，你进来多少用户，再进行优化。
第三，不做AB测试做精细化运营，会找不到抓手。比如说SUV卖得不好，定价有点高，降价10元，少10块钱卖出去少20%的出租率，那也划算，不管怎么样都要测算，因为最后的是表单收日毛利。如果降到一块钱全卖出去，这样会赚不到钱，这个是长期的事，收益管理。说到精细化运营，作为大家都在说的数据化运营的东西，抓手就是AB测试。
AB测试的方式
大家都知道一个产品做的时候是种子期、爆发期、平台期。种子期就是产品上线的时候，在客户前100、1000个用户的时候，大家没有那么多强需求，这个时候我们做的是产品的验证和产品有效性。爆发期，以国内某家出行平台为例，疯狂在朋友圈发红包。平台期，平台知名度已经有了，拉新上不会有明显的增长，甚至会波动，有一些负面会降低，这些都是每个产品都会经历的阶段。
种子期能做AB测试吗?可以做。我举一个滴滴要巴的例子，之前做过很有效的地推，他们最开始尝试小巴，小巴就是几块钱，比如说北京的公交车到地铁这样的通勤是很高频的，小巴验证过程当中就是地推，先去地铁站发，效果不好，去商场发也不好，最后去公交站发。这个发券很复杂，介绍小巴的功能，说清楚我是谁很难，人家也不需要了解你具体是谁，知道你提供什么就可以了，后面券比较简单，很直白的是说从哪儿到哪儿。这个怎么做AB测试呢?因为需求不一样，但这个过程很有必要。因为那个券和线上的载体没有区别，是触达用户的媒介，所以AB测试很有必要做。
爆发期的AB测试很有必要。比如领英，他们有一个不长不短的文字，您的朋友推荐，感谢您使用。大家疯狂的时候不关注这件事，包括一号那个文案发了无数遍，你会发现积累豪礼，决胜清零。推荐人就不停地推荐空号，你就30块的券也可以，就把风控解决掉了。
最后一个是我看大家都会做AB测试，因为大家都会在这个过程中强调修炼内功，什么是修炼内功呢?就是提高运营效率，最终提升产品化阶段的效果。这个是在不同阶段做AB测试的方法论。
AB测试的关键点和误区
第一，AB测试的时候，第一个误区很容易对收益指标定位不清;第二是关注领券率，下一步就是看下单率，以及留存率，这个实际上在很多的场景都有相关的应用，但是短信这个是比较明显的;第三，更隐蔽的问题，就是分组。分组是很重要的问题，还有样本量，长期来看，小样本的测试有明显的差异是可以参考的。另外一个分组逻辑很重要，就是要做AA测试，AA测试是看分组有没有波段，AA测试是做在AB测试前的，也可以在一起，最好是分开做，这是非常关键的一点。
