近日，腾讯云小微及腾讯云TI-ONE联合团队在大型深层阅读理解任务数据集 RACE 数据集(ReAding Comprehension dataset collected from English Examinations)上登顶第一。据了解，在此次比赛中，腾讯云小微及腾讯云TI-ONE联合团队在基于ALBERT预训练模型上，取得了单模型90.7%和集成模型91.4%正确率的成绩。
采用全新训练策略，腾讯云小微及腾讯云TI-ONE联合团队展现AI实力
RACE 是一个来源于中学考试题目的大规模阅读理解数据集，包含了大约 28000 个文章以及近 100000 个问题。它的形式类似于英语考试中的阅读理解(选择题)，给定一篇文章，通过阅读并理解文章(Passage)，针对提出的问题(Question)从四个选项中选择正确的答案(Answers)。
据了解，深度阅读理解的难度在于，正确答案的文字并没有直接使用文章中的话术来回答，不能通过检索文章获取答案，而是要从语义层面深度理解文章来作答。想要提高阅读正确率，就需要机器模型通过分析文章中的线索并基于上下文推理，选出正确答案，这对参赛团队的算法技术提出了更高的要求。
因此，腾讯云小微团队通过全新的训练策略来实现突破。他们跳出从现有的四个选项中选出一个正确答案的固定模式，采用独立地考虑每一个答案是否合理的方式，同时利用多种其他形式的阅读理解数据进行迁移学习，大大提高了阅读理解的准确率，并在基于ALBERT预训练模型上，取得了单模型90.7%和集成模型91.4%正确率的成绩，赢得了本次比赛的冠军。
除此之外，在本次比赛上，腾讯云TI-ONE联合腾讯优图和机智团队在单机性能优化、分布式多机扩展和AutoML收敛优化方面也作出了诸多开创性贡献。
在单机性能方面，基于ALBERT的原生代码，TI-ONE引入了Nvidia的APEX的混合精度训练，并采用动态loss scaling进行正确的权重更新，保证最终模型的精度没有因为低精度训练而有所损失，最终，单卡性能提升为原来的3.6倍。
在多机扩展方面，由于PyTorch原生的DDP通信框架在公有云VPC网络扩展性不好，团队采用自研的TI-Horovod通信加速框架，利用2D-AllReduce和多流通信等技术，把多机训练ALBERT性能提升为原来的5.5倍。
另外，AutoML收敛方面，腾讯自研的TI-AutoML框架解决了模型集成困难和大规模长任务调参效果差的问题，便捷地与ALBERT模型集成，同时针对ALBERT模型pretrain和fine-tune两阶段训练的特点，采用了不同的自动调参策略，最后在腾讯云海量算力的加持下，调参效率相对人工调参提升了8倍，彻底把算法工程师从繁琐的手工调参中解放出来，让精力更多的聚焦在更有意义的模型算法创新工作上。
技术突破让AI应用日渐广泛，在多行业领域落地应用
深度阅读理解是目前AI领域中最受关注、进步最快的技术方向。如何提高机器深度阅读理解的正确率，是业内一直在关注和探索的问题。此次腾讯联合团队创新的训练策略，和在单机性能优化、分布式多机扩展和AutoML收敛优化等方面的技术提升，将给AI技术领域带来新的突破。
不止是在深度阅读理解领域有所突破，此次参赛的腾讯云小微团队专注于AI技术领域，在机器翻译、人机对话、阅读理解、自动摘要等领域内都有所研究，其相关技术多次获得业内的认可。在AIIA2020人工智能开发者大会上，腾讯云小微获得多项技术评测认证;在DSTC第八届对话系统技术挑战赛中，则获得四项第一;在CAIL2019司法人工智能挑战赛阅读理解第一名的好成绩。
当前，人工智能作为经济发展的新动力以及新一轮产业变革的核心驱动力，机器翻译、人机对话、阅读理解等AI技术正在教育、文旅、出行等多个领域内落地应用。在这种背景下，腾讯云小微团队凭借全栈AI语音能力，以及腾讯内外部丰富的内容和服务生态，为各行各业输出完整的AI解决方案，不断渗透智慧生活各个场景。据了解，目前已在智能网联汽车、智慧文旅、智慧教育、智能家居等多行业领域落地应用，服务广泛的用户群体。
