在人工智能领域，算法工程师在训练神经网络模型的过程中，完成网络构建和准备好训练数据后，往往需要对模型进行各种参数优化，以获得更好的模型效果。但调参其实并不简单，背后往往是通宵达旦的参数调试与效果验证，并需要做大量的实验，不仅耗时也耗费大量算力。
这个时候，往往想尝试自动超参搜索，但又开始担心算力要求所带来的额外训练成本。
莫慌!百度全功能AI开发平台BML带着免费算力额度与自动超参搜索能力来了!
先来介绍百度最近全新升级的BML，何方神圣?
全功能AI开发平台BML(Baidu Machine Learning) ，是为企业和个人开发者提供机器学习和深度学习一站式AI开发服务，并提供高性价比的算力资源，助力企业快速构建高精度AI应用。BML提供了从数据采集、数据清洗、数据标注、智能标注与多人标注、模型训练生产到模型管理、云端及离线推理服务管理等AI开发过程的全生命周期管理功能。
BML内置百度超大规模预训练模型，只需少量数据即可获得高精度模型效果。目前，BML已经支持脚本调参、Notebook与自定义作业这三种开发建模方式，灵活匹配企业开发者的开发习惯。
在目前的脚本调参使用流程中，BML已经预设了模型超参数，但由于用户数据集内容丰富多样，预设的超参数很难在所有的数据集上得到很好的训练效果。用户可以自行调整超参数，但是手动调参十分耗费人力。为了减轻用户在调参上的精力投入, BML的研发大佬们日夜奋战，为用户上线了自动超参搜索的功能，帮助用户自动搜索效果较优的超参组合，省去调参的烦恼。
话不多说，进入本次正题，百度BML的自动超参搜索技术有哪些亮点?
提供多种搜索算法
所谓“超参”，有别于模型网络结构内部各层的参数，是指需要人为调整，通过人为经验设置来提高模型效果的参数，常见的超参包括学习率(learning_rate)、批样本数量(batch_size)等。在超参搜索的过程中，由于模型复杂、计算成本很高，且每个超参数都有较大的取值范围，导致搜索空间十分庞大，因此我们需要有“自动”超参搜索。
自动超参搜索相比于人工调参，主要是省去了人工观察实验结果并调整参数再试验的过程，自动超参搜索把这个步骤用各种搜索算法来代替。
BML提供的搜索算法有：
1.随机搜索
顾名思义是在参数变量的变化区间中随机采样参数组合成候选集，应用候选集进行训练和效果对比。随机搜索是普适的效率较高的搜索方法，通常作为基线标准，适用于对效率要求较高的情况，但不能保证一定能搜索到最佳的超参。
2.贝叶斯搜索
在搜索空间中随机选取初始超参数点，然后根据已有超参对应的指标结果拟合概率模型，通过概率模型推测最佳超参点，接着再试验得到这些超参点的结果。如此反复优化，再有限试验次数中搜索出合适的超参数。基于模型的序贯优化方法(SMBO, Sequential Model-Based Optimization)是贝叶斯搜索的一种范式，包括两个部分: 代理模型(surrogate model) 和 采集函数(acquisition function)。根据代理模型和采集函数的不同，贝叶斯搜索方法也有许多实现形式，其中TPE(Tree-structured Parzen Estimator)是一种全局探索能力较佳的方法，采用核密度估计方法(KDE, Kernel Density Estimation)生成代理模型，采用EI(Expected Improvement)作为其采集函数生成新采样点。
3.进化算法
进化算法是一种基于种群概念的超参搜索策略，把超参配置视为一个种群，并行优化多个种群并在种群内部进行优胜劣汰的筛选，最终输出最佳模型。这个过程(如下图所示)是从遗传算法获得的灵感，种群的初始化采用随机的方式生成，个体的优胜劣汰具体指利用(exploit)和探索(explore)两个步骤，不仅可能会从表现较好的个体中复制参数，它还能通过随机扰动修正当前的值而探索新的超参数组合。
图片来源：https://arxiv.org/pdf/1711.09846v1.pdf
百度创新提出了随机微分方程无梯度优化算法PSHE2，采用哈密尔顿动力系统搜索参数空间中“势能”最低的点以替代随机扰动，加速迭代收敛。超参搜索过程中想要求得最优解就是要找到更新超参数组合的方法，即如何更新超参数，才能让算法更快更好的收敛到最优解。PSHE2算法根据超参数本身历史的最优，在一定随机扰动的情况下决定下一步的更新方向。过程如图所示。
图片来源：https://github.com/PaddlePaddle/PaddleHub/blob/release/v1.5/docs/tutorial/autofinetune.md
自动超参搜索方法比较
上表归纳了一下这些搜索方法的优缺点。总之，网格搜索和随机搜索实现上比较简单，不利用先验知识选择下一组超参数，其中随机搜索效率相对较高。贝叶斯搜索和进化算法需要用前一轮的信息进行迭代搜索，搜索效率明显提升。
BML自动超参搜索的实现：系统架构
BML自动超参搜索功能基于百度自研自动超参搜索服务，服务运行过程如下图所示，依靠百度智能云CCE算力，支持多自动搜索任务并发。为了提供一个“好用”的自动超参搜索服务，架构实现时在并发搜索效率提升和系统容错方面着重进行了考虑。
一次超参搜索任务包含以下流程：
- 业务平台把超参搜索任务的用户配置信息提交到超参搜索服务，会创建一次搜索实验(Experiment)，并记录到db中。
- 搜索服务把任务提交到Experiment controller, 由controller初始化创建Trial管理模块，并负责Experiment生命周期的管理。
- Trial是具体的训练试验，一个Experiment会产生多个Trial来探索不同超参数组合的最终效果。Tuner是超参生成的模块，会根据选择的超参搜索算法，推荐下一个Trial所使用的超参值。在Trial管理模块中，Exp Manager会负责生成若干Trial, 向Tuner请求具体的试验超参数，并向Trial Scheduler发送Trial任务信息。
- Trial Scheduler会与底层资源交互实际启动Trial。Trial Scheduler会管理所有Trial的生命周期。
- 每个Trial运行完成后，会向Exp Manager汇报指标等信息，用于汇报给tuner并记录到db。
BML自动超参搜索主要有以下特性：
1、简单易用：相比于同类产品的复杂配置，BML在为用户提供必须的开放配置项的前提下，尽可能减少超参配置的繁琐程度，凡是可以自动化的工作均不对用户可见。
2、模型丰富：与脚本调参上提供的丰富的模型打通，可以直接配置化完成相应任务的搜索，甚至不用写代码!
3、容错机制：自动超参搜索任务具有模型训练次数多、任务整体运行时间长的特点，受显存资源限制，有些搜索出的超参数无法成功运行。兼顾搜索效果和可用产出，增设模型训练失败次数阈值，把Experiment和Trial这样多任务的复杂状态管理分拆到各层模块中，尽可能为用户提供搜索出的可用结果。
4、支持早停与采样：搜索框架内部支持自动早停，当达到设定的预期结果时即可自动停止;同时也支持在界面上手动提前停止，减少用户的等待时间，避免不必要的算力消耗。支持用户选择大数据集时自动进行采样，减少超参搜索训练耗时，以尽快搜索出合适的超参为上。
5、高效分布式智能搜索：深度学习模型的训练时间往往较长，对于大规模数据集或者复杂模型的搜索任务，单机串行的搜索方式几乎不可用。我们注意到有的搜索算法中每次试验是可以独立进行训练的(如网格搜索、随机搜索)，可以直接对所有试验并行化;有的搜索算法虽然本质基于迭代，但每个迭代中的试验运行仍然是相互独立的，因此我们可以在迭代内部进行并行化搜索。BML内部实现了智能调度系统，根据不同的算法类型，采用不同的并发策略，可以大幅度降低整体搜索时间。
上手实操：自动超参搜索使用攻略
- 首先点击 https://ai.baidu.com/bml/app/project/script/list 创建一个脚本调参项目，如果已经有项目了，直接用就可以!目前支持超参搜索的项目类型有图像分类(单标签和多标签)及物体检测，创建对应类型的项目就可以了
- 在项目里新建任务，配置好任务的网络、数据、脚本之后，就可以看到“配置超参数”的选项了。这里如果已经有超参搜索的结果，可以直接勾选“已有超参搜索结果”来使用，如果第一次使用还没有，就直接选择“自动超参搜索”。
- 目前BML支持了三种超参搜索算法，如图，分别是贝叶斯搜索、随机搜索和进化算法，可以根据自己需要选择一种来搜索。具体配置项说明可以参考技术文档。
3.1 贝叶斯搜索的参数说明
【初始点数量】代表贝叶斯搜索中，初始化时参数点的数量，该算法基于这些参数信息推测最优点 ，填写范围1-20。
【最大并发量】贝叶斯搜索中，同时进行试验的数量，并发量越大，搜索效率越高，填写范围1-20。不过这个并发量也会受限于页面最下方选择的GPU数量，实际并发量是二者的较小值。
【超参范围设置】：可以是默认配置，也可以手动配置。默认的话百度的工程师们已经帮我们对不同网络、GPU卡型设置了一个基本靠谱的搜索范围，直接用就可以。当然也可以手动配置，可以自定义各个超参的范围，可以看到物体检测支持以下这些超参自定义搜索范围：
【最大搜索次数】：是指最多组合出多少组超参并跑试验，当然有可能会因为提前达到目标而停止，节约费用。
【数据采样比例】：使用超参搜索时，会对原始数据集进行采样后再训练，加快搜索速度。当数据集并不大时，不推荐采样哟，可能会影响最终效果，只有大数据量时才有使用采样的必要。
【最高mAP/最高精确率】：是指大家期望模型效果可以达到的mAP(物体检测)或准确率(图像分类)的值，当试验中达到这个值了搜索就会停止，避免后续浪费搜索时间。
3.2 随机搜索参数说明
随机搜索最简单啦，就不需要再额外配置算法相关的参数了，其它公用的选项和贝叶斯搜索的含义是一样的，参考贝叶斯搜索即可。
3.3 进化算法参数说明
进化算法是一种效果较好的算法，应用此算法时也需要进行较多的选项设置：
【迭代轮数】:进化算法运行中迭代的轮数，范围5-50。
【扰动间隔】:进化算法每隔几个epoch就会进行随机扰动，利用随机因素防止算法结果收敛于局部最优解。
【扰动比例】：类似于染色体交叉的形式，迭代中一个种群内最好与最坏的个体依据扰动比例进行交叉。
【随机初始化概率】：在扰动中，有一定概率对个体的超参数进行初始化。
【种群个体数量】：一个个体代表一种超参数设置，一个种群中包含多个个体。
其它选项和贝叶斯搜索的含义一致，也不重复了。进化算法的配置需要对算法的原理有一定的了解，如果对算法不明白的，就直接用百度给的默认值吧!
4.超参的选项设置完成了，最后选择GPU卡类型和数量，以及最大搜索时间，就可以提交任务啦!这里默认的搜索时间是24小时，毕竟超参搜索会运行多次试验，时间会比较长，需要耐心等待，当然如果选的GPU卡数越多，并发试验数就越高，从提交任务到搜索完成的耗时就会变少，这是显而易见的
5.任务提交之后，过一会当任务进入“超参搜索中”的状态时，就可以看到各个试验的进度了，包括各个试验的状态、日志和准确率(mAP)
6.超参搜索训练完成后，效果最优的5次试验可以看到详细的评估结果，也能用于后续的效果校验和发布。当然，如果在超参搜索时对数据进行了采样，这时候可以重新发起一次训练任务，用这次搜索出来效果满意的超参数进行全量数据训练，从而获得完整数据的模型效果
效果才是硬道理：超参搜索效果提升高达20%+
我们对比了图像分类、物体检测、实例分割等任务在使用普通脚本调参和超参搜索的效果情况，以下是5个不同数据集在BML平台上分别使用默认脚本调参参数、超参搜索使用进化算法、超参搜索使用贝叶斯搜索算法的效果对比。图中左边纵轴为模型的准确率，右边纵轴为超参搜索算法在效果上提升的比例。可以看到在不同数据集上使用超参搜索后效果均有提升，在默认参数精度已经超过85%的情况下，使用超参搜索仍能提升约5%，在默认参数效果较差的情况下，超参搜索的提升效果更为明显，可高达22%。
在常规操作下，可用的深度学习自动超参搜索由于需要集群计算资源，往往被认为只有大公司才能配置，普通开发者难以上手尝试。通过使用百度全功能AI开发平台BML，预算有限也有机会用上自动超参搜索，开发效率瞬间搭上火箭速度，摆脱人力“炼丹”的束缚。BML新用户现在还提供100小时免费P4显卡算力，羊毛在向你招手，快来薅一把!
BML官网：https://ai.baidu.com/bml/
