您的位置:首页>>互联网

华为云ModelArts刷新深度学习模型训练世界纪录

发布时间:2018-12-03 14:26:43  来源:互联网    采编:黄静  背景:

  近日,斯坦福大学发布了DAWNBenchmark最新成绩,在图像识别(ResNet50-on-ImageNet,93%以上精度)的总训练时间上,华为云ModelArts排名第一,仅需10分28秒,比第二名提升近44%。成绩证明,华为云ModelArts实现了更低成本、更快速度、更极致的体验。

  斯坦福大学DAWNBench是用来衡量端到端的深度学习模型训练和推理性能的国际权威基准测试平台,相应的排行榜反映了当前全球业界深度学习平台技术的领先性。计算时间和成本是构建深度模型的关键资源,DAWNBench提供了一套通用的深度学习评价指标,用于评估不同优化策略、模型架构、软件框架、云和硬件上的训练时间、训练成本、推理延迟以及推理成本。

  作为人工智能最重要的基础技术之一,近年来深度学习也逐步延伸到更多的应用场景。随着深度学习模型越来越大,所需数据量越来越多,深度学习的训练和推理性能将是重中之重。华为云ModelArts将结合华为在AI芯片、硬件、云设施、软件和算法的全栈优势,打造更快的普惠的AI开发平台。

  下文深入分析华为云ModelArts如何做到性能极致——128块GPU,ImageNet训练时间10分钟

  1. 深度学习广泛应用,模型增大、数据增长深度学习训练加速需求日益剧增

  近年来,深度学习已经广泛应用于计算机视觉、语音识别、自然语言处理、视频分析等领域,可服务于视频监控、自动驾驶、搜索推荐、对话机器人等场景,具有广阔的商业价值。

  为了达到更高的精度,通常深度学习所需数据量和模型都很大,训练非常耗时。例如,在计算机视觉中,如果我们在ImageNet[1]数据集上用1块V100 GPU训练一个ResNet-50模型, 则需要耗时将近1周。这严重阻碍了深度学习应用的开发进度。因此,深度学习训练加速一直是学术界和工业界所关注的重要问题也是深度学习应主要用的痛点。

  Jeremy Howard等几位教授领衔的fast.ai当前专注于深度学习加速,在ImageNet数据集上用128块V100 GPU训练 ResNet-50模型的最短时间为18分钟。

  然而,最近BigGAN、NASNet、BERT等模型的出现,预示着训练更好精度的模型需要更强大的计算资源。可以预见,在未来随着模型的增大、数据量的增加,深度学习训练加速将变得会更加重要。只有拥有端到端全栈的优化能力,才能使得深度学习的训练性能做到极致。

  [1] 文中所指的ImageNet数据集包含1000类个类别,共128万张图片,是最常用、最经典的图像分类数据集,是原始的ImageNet数据的一个子集。

  2. 华为云ModelArts创造纪录,“极致”的训练速度

  华为云ModelArts是一站式的AI开发平台,已经服务于华为公司内部各大产品线的AI模型开发,几年下来已经积累了跨场景、软硬协同、端云一体等多方位的优化经验。ModelArts提供了自动学习、数据管理、开发管理、训练管理、模型管理、推理服务管理、市场等多个模块化的服务,使得不同层级的用户都能够很快地开发出自己的AI模型。

  模型训练部分,ModelArts通过硬件、软件和算法协同优化来实现训练加速。尤其在深度学习模型训练方面,华为将分布式加速层抽象出来,形成一套通用框架——MoXing(“模型”的拼音,意味着一切优化都围绕模型展开。采用与fast.ai一样的硬件、模型和训练数据,ModelArts训练时长可缩短10分钟,创造了新的纪录为用户节省44%的时间

  3.分布式加速框架MoXing

  MoXing是华为云ModelArts团队自研的分布式训练加速框架,它构建于开源的深度学习引擎TensorFlow、MXNet、PyTorch、Keras之上,使得这些计算引擎分布式性能更高,同时易用性更好。

  高性能

  MoXing内置了多种模型参数切分和聚合策略、分布式SGD优化算法、级联式混合并行技术、超参数自动调优算法,并且在分布式训练数据切分策略、数据读取和预处理、分布式通信等多个方面做了优化,结合华为云Atlas高性能服务器,实现了硬件、软件和算法协同优化的分布式深度学习加速。

  易用:让开发者聚焦业务模型无忧其他

  在易用性方面,上层开发者仅需关注业务模型,无需关注下层分布式相关的API,仅需根据实际业务定义输入数据、模型以及相应的优化器即可,训练脚本与运行环境(单机或者分布式)无关,上层业务代码和分布式训练引擎可以做到完全解耦。

  4.两大指标看MoXing分布式加速关键技术

  在衡量分布式深度学习的加速性能时,主要有如下2个重要指标:

  1)吞吐量,即单位时间内处理的数据量;

  2)收敛时间,即达到一定的收敛精度所需的时间。

  吞吐量一般取决于服务器硬件(如更多、更大FLOPS处理能力的AI加速芯片,更大的通信带宽等)、数据读取和缓存、数据预处理、模型计算(如卷积算法选择等)、通信拓扑等方面的优化,除了低bit计算和梯度(或参数)压缩等,大部分技术在提升吞吐量的同时,不会造成对模型精度的影响。为了达到最短的收敛时间,需要在优化吞吐量的同时,在调参方面也做调优。如果调参调的不好,那么吞吐量有时也很难优化上去,例如batch size这个超参不足够大时,模型训练的并行度就会较差,吞吐量难以通过增加计算节点个数而提升。

  对用户而言,最终关心的指标是收敛时间,因此MoXing和ModelArts实现了全栈优化,极大缩短了训练收敛时间。在数据读取和预处理方面,MoXing通过利用多级并发输入流水线使得数据IO不会成为瓶颈;在模型计算方面,MoXing对上层模型提供半精度和单精度组成的混合精度计算,通过自适应的尺度缩放减小由于精度计算带来的损失;在超参调优方面,采用动态超参策略(如momentum、batch size等)使得模型收敛所需epoch个数降到最低;在底层优化方面,MoXing与底层华为自研服务器和通信计算库相结合,使得分布式加速进一步提升。

  5.测试结果对比,用数据说话

  一般在ImageNet数据集上训练ResNet-50模型,当Top-5精度≥93%或者Top-1 精度≥75%时即可认为模型收敛。

  我们测试的模型训练收敛曲线如下图所示。此处Top-1和Top-5精度为训练集上的精度,为了达到极致的训练速度,训练过程中采用了额外进程对模型进行验证,最终验证精度如表1所示(包含与fast.ai的对比)。图4(a)所对应的模型在验证集上Top-1 精度≥75%,训练耗时为10分06秒;图4(b)所对应的模型在验证集上Top-5 精度≥93%,训练耗时为10分28秒。

  6. 未来展望——更快的普惠AI开发平台

  华为云ModelArts致力于为用户提供更快的普惠AI开发体验,尤其在模型训练这方面,内置的MoXing框架使得深度学习模型训练速度有了很大的提升。正如前所述,深度学习加速属于一个从底层硬件到上层计算引擎、再到更上层的分布式训练框架及其优化算法多方面协同优化的结果,具备全栈优化能力才能将用户训练成本降到最低。

  后续,华为云ModelArts将进一步整合软硬一体化的优势,提供从芯片(Ascend)、服务器(Atlas Server)、计算通信库(CANN)到深度学习引擎(MindSpore)和分布式优化框架(MoXing)全栈优化的深度学习训练平台。并且,ModelArts会逐步集成更多的数据标注工具,扩大应用范围,将继续服务于智慧城市、智能制造、自动驾驶及其它新兴业务场景,在公有云上为用户提供更普惠的AI服务。

  目前华为云ModelArts已经在公测中,欢迎大家前往官网试用。




关注ITBear科技资讯公众号(itbear365 ),每天推送你感兴趣的科技内容。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
灰度认知社曹升:深度!盘点2018年互联网产业十大逻辑
2018年,中国企业赴美国上市创历史新高,中概股高达63只。其中,最引人侧目便是成立仅3年的社交型电...
日期:12-25
广东卫视 | 回顾广东消防40年,科达实战指挥系统智启未来
2018 年12月9日,广东广播电视台新闻频道《聚焦119》栏目报道了改革开放40年以来,广东消防事业立足...
日期:12-25
空间小游戏与QQ玩一玩举办开发者峰会  超级流量助力行业发展
2018年是小游戏的爆发年,游戏开发者以热情争相入局,而社交平台巨头的加码更是让行业呈现出百花齐...
日期:12-25
华为云EI 赋能文化传承,这道“数字中国”赛题邀你来解
日前,以“软件赋能数字经济 创新驱动数字中国”为主题的2019(首届)数字中国创新大赛启动...
日期:12-24
深化教学应用  希沃助力自贡市教仪电教馆举办多媒体应用培训活动
再先进的信息化教学设备,如果老师用不起来也只是摆设。信息技术与教育教学的融合应用难点,既是老...
日期:12-24
圣诞节网购钓鱼诈骗花招多,教你一眼看穿真假https
当你沉浸在圣诞节的狂欢中时,你可曾想过,其实骗子们也等待这一刻许久了。
日期:12-24
拉勾奇妙夜暨2018拉勾年度TOP雇主颁奖盛典完美落幕
12月21日,由中国最大的互联网垂直招聘网站拉勾举办的拉勾奇妙夜暨2018拉勾年度TOP雇主颁奖盛典在北...
日期:12-24
学习巨人理财人生双赢态度  陈文达专注目标永不言弃
实体企业家出身的陈文达深知,不管是什么工作,都要认真对待,真正决定你到达什么位置的是你的眼界...
日期:12-24
日本大津市与途家、NESIC签订旅游合作协议
——推进吸引中国游客,助力地区经济发展
日期:12-24
畅游全世界  新年“惠”不同
随着生活水平的不断提高,出境游已经成为了不少人在长假期间的选择,不论是就近赴日韩俄,还是远度...
日期:12-24
如何优雅薅“羊毛”?Get这招轻松hold住所有信用卡优惠
作为最潮最IN社会人,
  相信大家已经把信用卡优惠用得很溜了,
  但是薅“羊毛&rdq...
日期:12-24
阿尔法蛋机智侠重磅上市 艾淘“A.I.+新零售”助力智能教育普及
在每一次时代变革中,教育都不曾缺席;而在每一轮教育变革中,儿童教育始终是人们关注的焦点。
日期:12-23
互联网行业泡沫退去  谁将剩者为王?
前言:
  行业瞬息万变,浪潮滚滚而来,我们终于要告别2018年,迎来2019年。泡沫退去,谁将...
日期:12-23
冷爱获评“微博2018十大新锐情感大V”
12月22日,微博影响力峰会大幕拉开,在“情感V时代”分论坛上,花镇联合创始人冷爱先生的...
日期:12-23
2018爱奇艺游戏合作伙伴冬季游享会圆满落幕《延禧攻略》等众多IP将被改编为游戏
12月22日,以“IP筑造精品、未来大有可玩”为主题的2018爱奇艺游戏合作伙伴冬季游享会在...
日期:12-23
精品驱动、扬帆海外,网易揽获“游戏十强”六项大奖
2018年12月19日-21日,备受关注的中国游戏产业年会在海口举办。本届盛典同时公布了2018年度中国“...
日期:12-22
为刺激AR游戏开发者,Niantic将提供100万美元奖励
虽然目前AR游戏市场,远不能谈普及,但是当前各个科技巨头、游戏巨头都在积极布局AR Cloud平台,《...
日期:12-22
腾讯第15款短视频上线,这次微信亲自上阵
微信7.0来了,来得如此猝不及防。
  12月21日,周五的傍晚,就在大家纷纷下班的时候,微信在...
日期:12-22
艾媒咨询:中国手机浏览器用户将超7亿  UC浏览器活跃用户占比第一
12月21日,知名第三方数据挖掘和分析机构艾媒咨询(iiMedia Research)发布《2018-2019中国手机浏览器...
日期:12-21
新华网专访恒信东方董事长孟宪民:儿童娱教产业的布局之道
当前,儿童娱乐与教育赛道备受市场青睐,儿童娱教产业发展快速。然而,目前中国市场上能够为儿童同...
日期:12-21