您的位置:首页>>互联网

华为云ModelArts刷新深度学习模型训练世界纪录

发布时间:2018-12-03 14:26:43  来源:互联网    采编:黄静  背景:

  近日,斯坦福大学发布了DAWNBenchmark最新成绩,在图像识别(ResNet50-on-ImageNet,93%以上精度)的总训练时间上,华为云ModelArts排名第一,仅需10分28秒,比第二名提升近44%。成绩证明,华为云ModelArts实现了更低成本、更快速度、更极致的体验。

  斯坦福大学DAWNBench是用来衡量端到端的深度学习模型训练和推理性能的国际权威基准测试平台,相应的排行榜反映了当前全球业界深度学习平台技术的领先性。计算时间和成本是构建深度模型的关键资源,DAWNBench提供了一套通用的深度学习评价指标,用于评估不同优化策略、模型架构、软件框架、云和硬件上的训练时间、训练成本、推理延迟以及推理成本。

  作为人工智能最重要的基础技术之一,近年来深度学习也逐步延伸到更多的应用场景。随着深度学习模型越来越大,所需数据量越来越多,深度学习的训练和推理性能将是重中之重。华为云ModelArts将结合华为在AI芯片、硬件、云设施、软件和算法的全栈优势,打造更快的普惠的AI开发平台。

  下文深入分析华为云ModelArts如何做到性能极致——128块GPU,ImageNet训练时间10分钟

  1. 深度学习广泛应用,模型增大、数据增长深度学习训练加速需求日益剧增

  近年来,深度学习已经广泛应用于计算机视觉、语音识别、自然语言处理、视频分析等领域,可服务于视频监控、自动驾驶、搜索推荐、对话机器人等场景,具有广阔的商业价值。

  为了达到更高的精度,通常深度学习所需数据量和模型都很大,训练非常耗时。例如,在计算机视觉中,如果我们在ImageNet[1]数据集上用1块V100 GPU训练一个ResNet-50模型, 则需要耗时将近1周。这严重阻碍了深度学习应用的开发进度。因此,深度学习训练加速一直是学术界和工业界所关注的重要问题也是深度学习应主要用的痛点。

  Jeremy Howard等几位教授领衔的fast.ai当前专注于深度学习加速,在ImageNet数据集上用128块V100 GPU训练 ResNet-50模型的最短时间为18分钟。

  然而,最近BigGAN、NASNet、BERT等模型的出现,预示着训练更好精度的模型需要更强大的计算资源。可以预见,在未来随着模型的增大、数据量的增加,深度学习训练加速将变得会更加重要。只有拥有端到端全栈的优化能力,才能使得深度学习的训练性能做到极致。

  [1] 文中所指的ImageNet数据集包含1000类个类别,共128万张图片,是最常用、最经典的图像分类数据集,是原始的ImageNet数据的一个子集。

  2. 华为云ModelArts创造纪录,“极致”的训练速度

  华为云ModelArts是一站式的AI开发平台,已经服务于华为公司内部各大产品线的AI模型开发,几年下来已经积累了跨场景、软硬协同、端云一体等多方位的优化经验。ModelArts提供了自动学习、数据管理、开发管理、训练管理、模型管理、推理服务管理、市场等多个模块化的服务,使得不同层级的用户都能够很快地开发出自己的AI模型。

  模型训练部分,ModelArts通过硬件、软件和算法协同优化来实现训练加速。尤其在深度学习模型训练方面,华为将分布式加速层抽象出来,形成一套通用框架——MoXing(“模型”的拼音,意味着一切优化都围绕模型展开。采用与fast.ai一样的硬件、模型和训练数据,ModelArts训练时长可缩短10分钟,创造了新的纪录为用户节省44%的时间

  3.分布式加速框架MoXing

  MoXing是华为云ModelArts团队自研的分布式训练加速框架,它构建于开源的深度学习引擎TensorFlow、MXNet、PyTorch、Keras之上,使得这些计算引擎分布式性能更高,同时易用性更好。

  高性能

  MoXing内置了多种模型参数切分和聚合策略、分布式SGD优化算法、级联式混合并行技术、超参数自动调优算法,并且在分布式训练数据切分策略、数据读取和预处理、分布式通信等多个方面做了优化,结合华为云Atlas高性能服务器,实现了硬件、软件和算法协同优化的分布式深度学习加速。

  易用:让开发者聚焦业务模型无忧其他

  在易用性方面,上层开发者仅需关注业务模型,无需关注下层分布式相关的API,仅需根据实际业务定义输入数据、模型以及相应的优化器即可,训练脚本与运行环境(单机或者分布式)无关,上层业务代码和分布式训练引擎可以做到完全解耦。

  4.两大指标看MoXing分布式加速关键技术

  在衡量分布式深度学习的加速性能时,主要有如下2个重要指标:

  1)吞吐量,即单位时间内处理的数据量;

  2)收敛时间,即达到一定的收敛精度所需的时间。

  吞吐量一般取决于服务器硬件(如更多、更大FLOPS处理能力的AI加速芯片,更大的通信带宽等)、数据读取和缓存、数据预处理、模型计算(如卷积算法选择等)、通信拓扑等方面的优化,除了低bit计算和梯度(或参数)压缩等,大部分技术在提升吞吐量的同时,不会造成对模型精度的影响。为了达到最短的收敛时间,需要在优化吞吐量的同时,在调参方面也做调优。如果调参调的不好,那么吞吐量有时也很难优化上去,例如batch size这个超参不足够大时,模型训练的并行度就会较差,吞吐量难以通过增加计算节点个数而提升。

  对用户而言,最终关心的指标是收敛时间,因此MoXing和ModelArts实现了全栈优化,极大缩短了训练收敛时间。在数据读取和预处理方面,MoXing通过利用多级并发输入流水线使得数据IO不会成为瓶颈;在模型计算方面,MoXing对上层模型提供半精度和单精度组成的混合精度计算,通过自适应的尺度缩放减小由于精度计算带来的损失;在超参调优方面,采用动态超参策略(如momentum、batch size等)使得模型收敛所需epoch个数降到最低;在底层优化方面,MoXing与底层华为自研服务器和通信计算库相结合,使得分布式加速进一步提升。

  5.测试结果对比,用数据说话

  一般在ImageNet数据集上训练ResNet-50模型,当Top-5精度≥93%或者Top-1 精度≥75%时即可认为模型收敛。

  我们测试的模型训练收敛曲线如下图所示。此处Top-1和Top-5精度为训练集上的精度,为了达到极致的训练速度,训练过程中采用了额外进程对模型进行验证,最终验证精度如表1所示(包含与fast.ai的对比)。图4(a)所对应的模型在验证集上Top-1 精度≥75%,训练耗时为10分06秒;图4(b)所对应的模型在验证集上Top-5 精度≥93%,训练耗时为10分28秒。

  6. 未来展望——更快的普惠AI开发平台

  华为云ModelArts致力于为用户提供更快的普惠AI开发体验,尤其在模型训练这方面,内置的MoXing框架使得深度学习模型训练速度有了很大的提升。正如前所述,深度学习加速属于一个从底层硬件到上层计算引擎、再到更上层的分布式训练框架及其优化算法多方面协同优化的结果,具备全栈优化能力才能将用户训练成本降到最低。

  后续,华为云ModelArts将进一步整合软硬一体化的优势,提供从芯片(Ascend)、服务器(Atlas Server)、计算通信库(CANN)到深度学习引擎(MindSpore)和分布式优化框架(MoXing)全栈优化的深度学习训练平台。并且,ModelArts会逐步集成更多的数据标注工具,扩大应用范围,将继续服务于智慧城市、智能制造、自动驾驶及其它新兴业务场景,在公有云上为用户提供更普惠的AI服务。

  目前华为云ModelArts已经在公测中,欢迎大家前往官网试用。




关注ITBear科技资讯公众号(itbear365 ),每天推送你感兴趣的科技内容。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
2019世界地球日 来看看互联网公司都做了什么?
  1970年的4月22日,美国各地超2000万人组织了声势浩天的游和集会,呼吁人们对环境的保护和对地球资源...
日期:04-23
“围鲲救鳗”成时下最火热词,百度贴吧讨论量直奔千万
最近几天,又有一个热词火遍了全网络,百度贴吧讨论量更是直奔千万,那就是从百度贴吧诞生的“...
日期:04-22
东方明珠九号卡丁体验中心盛大开业 探索全新服务模式
4月21日,位于上海东方明珠塔的九号卡丁体验中心正式投入运营。开业当天,现场活动高潮迭起、惊喜不断...
日期:04-22
《向往的生活》第三季剧透:除了黄磊、何炅、彭昱畅 还有新人“小度”?
终于,《向往的生活第三季》要在4月8日正式回归了,跟去年形式一样,明星们远离城市的喧嚣,一起拙...
日期:04-21
传百度赞助《向往的生活》 引发网友三大猜想
4月21日,在湖南卫视《向往的生活》第三季媒体看片会后,有网友爆出,百度是本季《向往的生活》赞助...
日期:04-21
再次爆发!FGS伦敦赛17头名出线
自4月16日以来,绝地求生全球巅峰联赛Faceit Global Summit)在伦敦正式开赛。在经过了三日的循环赛...
日期:04-20
语言智能的发展近期又有哪些突破?来听百度王海峰的最新演讲
“理解和运用自然语言是人工智能的核心问题之一。大数据、机器学习、深度学习和知识图谱等技术...
日期:04-20
AI DAY惊现“异形”?原来是百度大脑的AR能力在“作怪”
4月19日,高通在深圳举办了一年一度的“Qualcomm人工智能开放日”(又称AI DAY)。其中,一...
日期:04-20
英特尔“退群”背后的5G之战
美国当地时间4月16日,此前一直“忙于法院见”的苹果与高通在圣地亚哥联邦法院达成和解协...
日期:04-20
思岚科技发布新品雷达RPLIDAR S1,测距可达40米
2019年4月17日,专注于机器人自主定位导航领域的思岚科技,对外发布其最新一代激光雷达产品RPLIDAR ...
日期:04-19
三星Galaxy A70首销火爆,斩获苏宁手机销量王
4月18日,三星Galaxy A70新品首销当天,苏宁易购举办三星超级新品日,为消费者带来更多的福利。4月1...
日期:04-19
为什么大家都喜欢跟小度“唠嗑”?百度地图AI加持长语音识别更准确
在经历了五一假期“升级”后,凑够四天的小惊喜勾起了许多人外出游玩的心。那么如何在旅...
日期:04-19
WPS上架Mac苹果商店首日便登顶,一场源自用户的胜利!
北京时间4月19日凌晨,WPS Office for Mac版正式登陆苹果Mac App Store应用商店一天后,直接跃升至...
日期:04-19
智能音箱三巨头差距缩小 百度出货量环比增速第一
Canalys日前发布报告称,全球智能音箱的出货量有望于2019年达到2亿。中国智能音箱出货量有望于2019...
日期:04-19
禧云国际联合团餐谋发布《中国团餐行业信息化发展报告》
4月14日,在杭州举办的2019中国国际团餐产业大会上,禧云国际联合团餐谋发布了《中国团餐行业信息化...
日期:04-19
复联4唤醒宝爸英雄情结 漫威系列玩具同比增长826%
苏宁418大促热度一直居高不下。苏宁大数据显示,母婴家庭趁机囤货,奶粉尿裤销量再创新高。复仇者联...
日期:04-19
一夜之间5G芯片格局大变:天下五分 中国已有其三!
2019年4月17日,科技界发生了三件与5G手机基带芯片相关大事:1、高通与苹果之间的专利授权纠纷终于...
日期:04-19
让AI无所不及,华为云EI使能行业智能化转型
日前,华为第十六届全球分析师大会在中国深圳召开。在“让Cloud无处不在,让AI无所不及”...
日期:04-18
奔驰漏油和996哪个事儿更大?巴黎圣母院:都不大…
  最近几天,热搜上的“瓜”可谓是一个接一个,热点目不暇接,究竟谁拯救了谁,成为吃瓜群众们津津乐道的话题。
日期:04-17