近日，火山引擎AB测试与智能优化平台DataTester，对其MAB(Multi-armed Bandit)功能进行了升级，以更好地满足企业营销决策的需求。MAB是一种通过不断尝试不同的选择来找到最优决策的算法，广泛应用于营销领域。DataTester的MAB功能已经在内部和外部得到了成功的验证。此次升级后，该功能将更加符合业务使用场景，帮助企业更快地找到最佳的营销策略。
在营销活动中，落地页是用户点击广告后进入的页面，是营销活动的重要环节之一。MAB算法可以通过动态调整进入到各个落地页的流量，从而提高转化率和投资回报率。
DataTester的MAB功能在设计之初就考虑到了实际应用场景。如果活动的投放落地页很多，同时活动周期比较短，需要快速引来更多的流量完成支付转化，那么MAB是合适的。如果活动会持续较长时间，想先用流量测试落地页方案，则选用传统的AB实验合适。
通过MAB算法，动态调整进入到各个落地页的流量，转化率高的落地页将拿到更高的流量。因此，在最终整体收益上，会超越每个方案随机分流量。这部分就是MAB动态调优的超额收益。
在正式开启调优之前，业务团队需要完成流量方案的设计。明确目标需要明确营销活动的目标，例如提高转化率、提高用户留存率、提高下单率等;设计实验在确定策略后，就可以具体设计不同的落地页版本，测试不同策略的效果。
在火山引擎DataTester产品中，针对落地页可选择的调优场景为「可视化优化」和「多链接调优」两种场景，如果落地页变化内容较少、研发资源紧张，「可视化优化」可以快速生成不同的落地页版本测试;如果已经有设计好的落地页，那么可以使用「多链接调优」。
MAB智能调优实验创建页面
MAB智能调优实验的创建也非常简单，根据实验设计方案将基本的信息依次按照提示创建好后，就可以将不同的营销落地页的url输入在不同的实验版本中，调优开始后，DataTester将会按照不同落地页的转化，动态调整流量。
MAB智能调优实验创建页面
当调优开始后之后会看到哪些数据呢?
常规实验更关注的是优胜组的选择，而MAB实验相更关注的是，整个实验期间整体核心指标达到最优，所以实验报告首先会关注整体收益的情况。比如落地页的核心调优指标为App的启动转化，那么报告中会呈现整个调优过程中MAB相对于AB实验，到底提高了多少收益。
智能调优实验整体收益提升折线图
除整体收益提升外，企业通常还需要观察一些明细数据。DataTester同时提供了核心指标明细表、核心指标明细图和实验流量分配图，便于分析更多内容。比如下图，核心指标绝对趋势图中，版本指标之间的大小关系对应到流量分配图上的流量分配，该时刻核心指标越大的版本，会在流量分配图上呈现越多的流量。
核心指标明细绝对趋势图
实验流量分配趋势图
“核心指标明细绝对趋势图”显示了不同实验版本在各时间点的表现，有助于发现哪个版本在整体表现上更优秀;“实验流量分配趋势图”则展示了各版本在不同时间点的流量分配情况，这有助于了解哪些版本更受用户欢迎。通过这些数据企业将可以更好地理解用户需求和市场变化，从而制定更有效的营销策略。
此次DataTester升级后的MAB功能，将为企业营销决策提供更强大的支持，帮助企业快速找到最佳的营销策略，实现更高的投资回报率。
据了解，火山引擎DataTester源自字节跳动AB实验的长期沉淀，2023年中数据显示，字节已通过DataTester累计做过240万余次AB实验，日新增实验 4000余个，同时运行实验5万余个。DataTester目前服务了包括美的、得到、博西家电、凯叔讲故事等在内的上百家企业，为业务的用户增长、转化、产品迭代、运营活动等各个环节提供科学的决策依据，将成熟的“数据驱动增长”经验赋能给各行业。
