九枝兰专访吆喝科技CEO王晔：为了确保AB测试结果的科学性，如何保证用户的相似度？
九枝兰：为了确保AB测试结果的科学性，试验组与对照组的用户必须具有相似特征，但每个用户作为独立的个体，又有很大差异。所以，如何才能保证用户的相似度？
王晔：方法很简单：将用户进行合理地分类，在分类的基础上进行用户采样，这样可以保证采样得出的对照组和试验组的用户特性具有代表性，也就是说，我们的后台算法会将其他的用户筛选出来，分到各个试验组和对照组里去，也会把普通的用户分到不同的组里去。这样每个组的实验结果、实验数据都会具有很强的代表性。
九枝兰：AB测试在数字营销当中可以为企业带来怎样的价值？是不是所有企业都要做AB测试？
王晔：并不是所有企业都需要做AB测试，但做AB测试一定可以为企业带来好处。好处主要有以下几个：
第一，AB测试可以不断地帮助企业提升营销的效果。
可以通过AB测试的方法，不断地去找到更好的执行方案，包括创意、文案、图片、动画、与用户沟通形式，甚至细化到表单的字段顺序、填写方法、展现形态等等一系列因素。你都可以通过AB测试的方法去不断提升效果。
其次，更重要的目的是AB测试可以让我们更好地理解我们的用户。
通过AB测试我们可以挖掘出来潜在用户更喜欢什么、更希望得到什么。通过AB测试，企业才会更了解自己的用户，这是我觉得对企业很有用的地方。
这里有一个案例：欧洲的一个教育网站，它们会在学生注册页面上，把课程介绍分类列举出来，比如办公室相关课程、外语相关的课程、设计相关的课程等等，我们通过AB测试发现，这种课程分类的展示形式有非常大的优化空间。优化完后，学生的注册率提高40%。
到底如何优化的？
优化前，课程是直接列举出来，比如依次是CAD、PPT、Photoshop等，优化后，我们按照课程的热门程度进行排序，比如我们发现Photoshop是学生点击量最多的课程就会排到第一位，其他的按照热度依次排序。
这里的AB测试扮演的角色是帮助企业更好地理解和服务自己的用户。
让企业明白原来学生到我这儿来并不是十分在意我的课是怎么组织或、有些什么课可以上，他们更关注的是其他的同学都在学些什么课程，而我不能让自己在找工作时吃亏，所以也要学。
九枝兰：什么样的企业才能享受到AB测试带来的福利？
王晔：有些企业确实不适合做AB测试，一方面是因为他们不具备在线甚至离线AB测试的能力，另一方面，是因为企业的用户群体非常狭窄，用户量非常小。
比如，卫星发射中心这样的企业并不能享受到AB测试的福利，我甚至觉得这样的企业不太适合使用传统的营销方案。
另外，一些中小企业，比如线下的小门面、水果摊，做AB测试的能力也很弱。但我们仍然鼓励这样的小微企业去尝试微测试，也许他们的测试没有那么科学和强大，但依然会有帮助。
但总体来说，大企业尤其是业务量特别大的企业，从AB测试中获得的价值会更高一些。
九枝兰：大型企业和中小企业所拥有的资源不一样，营销发展的水平也不一样。如果不同规模的企业想进行AB测试，在执行中会有什么样的差异？
王晔：大型企业进行AB测试的场景更多、解决方案更多样。另外，我觉得大型企业最大的测试点不一定只在外部营销，可能也包括内部营销。比如说自己网站、APP产品、商品的展示方式、定价策略等等方面，可以用到AB测试的场景更多。
另外，大型企业不仅可以自己动手实施AB测试，也可以依靠服务商，比如说吆喝科技这样的企业帮助它执行。
中小企业要实现AB测试，企业自己参与的部分可能要更多一些。需要自己去撰写AB测试的实施方案，然后找第三方平台落地，最后直接通过数据分析不断地去优化营销效果。
九枝兰：做一个标准的AB测试需要具备什么样的资源，需要什么样的岗位参与，流程是什么样的？
王晔：AB测试在很多知名企业，比如Google、优步、百度、知乎这样的企业，已经渗透到整个企业决策流程当中。
首先，它的决策者、CEO会关注各个部门最近在做哪些AB测试，获得了怎样惊人的成果。
然后，公司的产品负责人、市场负责人会关注目前每个项目组都在进行哪些AB测试实验，以及各个项目组的表现如何。
最后，是AB测试的实际执行。如果用专业的AB测试工具，企业内部只需要一个对技术略懂的程序员以及一个营销人员配合，其他工作都可以通过软件来完成。
如果没有AB测试工具配合，企业在执行AB测试会比较困难。
首先要策划两套不同的方案，工程师开发两套不同的页面、流程，这个需要占用昂贵的技术资源；
然后要实现测试组、对照组同时上线，并进行的流量分隔和实验，这个实现起来也很复杂；
接着要进行数据采集、数据分析，又是一个非常麻烦的事情；
最后，要把数据分析结果生成可视化的报表，帮助企业决策。
对于普通公司而言，要完成整套的AB测试需要非常强大的IT团队经过长期的开发测试,同时也需要一直维护。所以，我建议采用专业的AB测试工具结合客户成功服务来完成。
