您的位置:首页>>业界动态

百度智能云发布面向机器学习的HPC解决方案,加速机器学习行业落地

发布时间:2019-10-10 18:02:05  来源:互联网    背景:

  近日,百度智能云发布面向机器学习的HPC解决方案,这将加速机器学习在各个行业的落地速度。

  机器学习是当下使用最广泛的人工智能技术之一,与之相匹配的HPC平台也愈加受到市场重视,从超算TOP100的变迁中就可见一斑。

  从下图中可以看出,2015年开始,面向数据分析和机器学习的超算平台开始快速增长,2017年更是占比超过50%。除了传统HPC的行业例如科学计算、地理信息等在构建基于机器学习的HPC,更多行业也开始构建基于机器学习的HPC系统,以竞争行业AI能力的领先地位。

超算TOP 100 市场趋势图

  随着人工智能落地各行各业,如何构建面向机器学习的HPC系统,让AI模型的构建过程更加简单便利,快速实现AI的行业落地,助力企业快速占据行业领导者地位,商业价值极大。但需要关注的是,面向机器学习的HPC系统与传统HPC系统有着很大的差异,传统的HPC构建模式并不能很好地适应机器学习。

  为了加速机器学习的行业落地,在2019百度AI开发者大会上,百度智能云企业级AI开发平台BML联合ABC Storage私有云存储产品发布面向机器学习的HPC解决方案。

  该方案可提供高效的端到端机器学习算法算力应用平台和面向机器学习的高性能存储平台,一站式完成数据预处理、模型训练与评估、发布预测服务等工作,快速实现行业数据的AI能力生产落地。

  面向机器学区的HPC系统

  面向机器学习的HPC系统和传统HPC系统有很大的差异,虽然从采购模式上和基础算力构建上类似,但是两者核心完全不同,主要差异性如下:

  一是算法算力。算法框架是基于机器学习和深度学习算法,算力中心更集中在GPU。

  二是存储层。机器学习的大量应用计算机视觉领域,主要处理的数据是海量的图片、影像、语音等非结构化数据。传统HPC方案在非结构化数据处理上并不能适应基于深度学习的HPC场景的需求,存储系统需要满足训练过程中数亿甚至百亿的图片、影像的存储和吞吐要求,性能、性能的稳定性都有全新的技术要求。

  五大特点 针对超算场景

  百度智能云基于深度学习的HPC方案,完全针对机器学习超算场景设计,具有高性能、高效率、易用、灵活、安全的特性:

  高性能 系统采用全分布式架构,拥有高并发能力,支持超大规模场景。

  高效率 AI训练是一个流程化系统,文件在流程中搬移的时间成本非常高。通过采用ABC Storage高性能存储软件引擎+Optane高效元数据管理介质+QLC SSD高性价比闪存,面向机器学习的HPC方案能覆盖所有流程,数据一次写入,整个生命周期不需要搬移,能持续提供高性能、高稳定的吞吐保障。

  易用 作简单,上手迅速,支持一站式开发部署,覆盖了AI开发&部署的全工作流程。一个平台就能完成发起训练任务、获取训练模型、启动预测服务等全流程环节。

  灵活解耦 全面支持主流ML/DL框架,同时支持自定义第三方软件库及用户定义集群。

  安全 机器学习的数据集通过大量人力标注,具有极高的商业价值。平台可以提供完整的数据权限控制,保障数据使用安全。

百度AI开发平台 BML 产品架构

  更多能力提供,优势明显

  除了优于传统HPC系统的高性能、高稳定、安全灵活等特点,百度智能云面向机器学习的HPC解决方案还具备更强的兼容性与可扩展能力,以及完整的生态解决方案能力,能够面向不同特征的用户,提供完备的解决方案,加速AI在各行业落地。与普通的HPC系统相比,百度智能云面向机器学习的HPC解决方案具有以下四大明显优势:

  全面的功能和体验 提供机器学习和深度学习开发能力,支持主流机器学习与深度学习框架。此外,还提供交互式(Notebook)、可视化(拖拽)、自动化三种建模体验,让不同研发能力的客户都能快速实现模型的训练、评估和预测。

  支持飞桨(PaddlePaddle)等主流深度学习框架 实现资源的精细化管理和调度,支持GPU多机多卡和GPU虚拟化,同时支持百度飞桨最新版本、Tensorflow最新版本,并能就其他主流深度学习框架按需灵活扩展。此外,通过内置图像/视频(CV类)模型生产线,能够以产线方式支持CV类模型的流程化、标准化、高效化开发生产。

  开放上下层接口,集成方便 提供Open API/SDK接口,便于客户上层应用无缝对接,客户的自有模型、第三方模型都能快速导入并服务。产品分层设计、接口开放,便于与客户私有云、本地机器、大数据平台、运维平台等已有环境有效对接。

  一体化交付服务 支持V100 GPU卡、百度自研GPU Box(Xman3.0),能够满足客户多种算力需求,集成百度智能云专业且丰富的硬件供应与交付经验,能力覆盖全面,一条龙服务缩短交付周期。

  存储的挑战交给ABC Storage

  基于机器学习的AI能力需要大量的算力和数据样本集,结合算法模型反复针对数据进行训练,才能提供用于商用的AI能力模型。在训练过程,存储性能和稳定性尤为关键。

  性能方面。百度智能云针对该场景,采用Optane+QLC SSD的硬件方案,结合百度智能云私有云存储ABC Storage的高性能对象存储引擎,在5台存储集群规模下,即可满足200台GPU服务器针对100亿小文件的并发吞吐要求。

  稳定性方面。ABC Storage采用Optane作为元数据管理存储介质,可以保障文件数量增长以及读写混合等综合场景下提供高性能稳定的吞吐能力。

  值得一提的是,ABC Storage支持InfiniBand网络,也是面向机器学习首推支持InfiniBand的全闪对象解决方案。作为是HPC场景中不可或缺的高性能网络系统,能提供更低延迟和更快网络故障恢复速度的InfiniBand网络是HPC的重要保障。

首推支持InfiniBand的对象存储方案

  百度智能云面向机器学习的HPC平台,以自身优异的性能及完整的方案解决能力,已经为众多领域的客户带来实际价值。随着人工智能与各产业的结合向纵深发展,优秀AI平台的价值将日益凸显。未来,百度智能云基于深度学习的HPC方案将把握前沿技术,不断完善与创新,通过端到端的高效、开放、生态化的能力,助推更多企业和研究机构的智能化升级。

  了解更多信息,请点击下方链接,亲身体验面向机器学习的基于深度学习的HPC解决方案的强大实力:

  https://cloud.baidu.com/product/bml/aibook.html

  https://cloud.baidu.com/product/abc-storage.html

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
友情提示:评论功能暂时关闭,请扫描上方二维码进群交流!
Wework上市折戟,共享办公企业盈利能力迎考
  即使是优客工场、氪空间等国内共享办公头部企业,仍在盈利性上饱受质疑。此次Wework的IPO折戟,再次将“表面风光”的共享办公行业企业拉回到现实中。
日期:10-10
当代青年做兼职不只为钱?青团社揭秘“隐性收益”刚需
对于当代年轻人而言,一份兼职除了带来收入,还意味着什么?
日期:10-10
科大讯飞被列入实体名单 这些核心技术让美国忌惮
近期,华为、科大讯飞、商汤科技、旷视科技等8家中国企业被美国列入实体清单成为人们热议的话题,科...
日期:10-10
科大讯飞等8家中企“上榜”实体清单 自有实力无惧威胁
10月8日,美国商务部产业安全局(BIS)在其官网上宣布将8家中国企业列入“实体清单”,禁止...
日期:10-10
国内首个5G生态联盟成立近两月,百万用户支持京东
自从8月16日, 京东手机5G生态联盟以来,京东手机动作频发,硕果不断,不仅携手三大运营商深耕5G体...
日期:10-10
谷歌或将针对游戏手机推出设计规范 以便开发者进行适配
随着游戏手机这一细分领域的产品得到了越来越多的消费者的认可,不仅吸引了游戏开发商们为这类型的...
日期:10-10
高德地图公布“十一”成绩单 国庆出行热情见证强劲内需活力
日前,高德地图公布了2019十一“全民出行节”成绩单,在刚刚过去的十一黄金周里,高德地...
日期:10-10
台积电第三季度营收678亿元人民币,创历史新高
据台湾媒体报道,台湾代工巨头台积电日前公布业绩,第三季度营收高达2930亿元新台币,约合678亿元人...
日期:10-10
微软:青少年认为父母在网上分享了过多信息
据外媒报道,来自微软的最新调查显示,来自世界各地的青少年们认为他们的父母在社交媒体平台上分享...
日期:10-10
海尔回应代工小米冰箱:虚假报道 从未给该品牌代工
10月10日消息,针对有媒体刊文称即将发布的小米冰箱由海尔代工一事,海尔官方发表声明,表示海尔冰...
日期:10-10
Waymo宣布纯无人驾驶汽车即将上路
据报道,谷歌母公司Alphabet旗下自动驾驶汽车企业Waymo的一封邮件副本中表明,该公司正在向网约车客...
日期:10-10
航班管家发2019年国庆大交通出行报告:1.5亿人次通过民航和铁路出行
2019年10月9日,航班管家发布《2019年国庆大交通出行报告》(以下简称“报告”),报告基于...
日期:10-10
亚洲第一家!阿里云通过欧洲汽车行业TISAX认证
近日,阿里云正式通过了欧洲汽车行业TISAX(可信信息安全评估交换机制)认证,成为亚洲第一家通过该项...
日期:10-10
半导体行业陷入严重衰退,IHS称5G有望扭转
市场研究机构IHS Markit的最新数据显示,全球半导体行业2019年的收入将比去年下降近13%,这意味着这...
日期:10-10
三星电子:将投资110亿美元开发下一代显示器产品
10月10日午间消息,三星显示器公司计划投资13.1万亿韩元(约110亿美元),用于开发和制造下一代显示器...
日期:10-10
SPACELAB失重餐厅五家门店引进擎朗送餐机器人硬核黑科技
自2015年以轨道传菜为代表的德国SPACELAB失重餐厅进入中国餐饮市场,越来越多提高传菜效率的新技术...
日期:10-10
三季报业绩预告进入披露期,美国“黑名单”企业科大讯飞受关注
三季报业绩预告进入披露期,截至目前,已有500多家上市公司发布了三季度业绩预告,业绩预喜公司的比...
日期:10-10
大兴机场开航 三星商显为“金凤凰”插智慧翅膀
万众瞩目之下,被誉为“新世界七大奇迹”之首的北京大兴国际机场于国庆前夕投入运营,七...
日期:10-10
第94届中国电子展汇集名企共推电子元器件国产化替代进程
在过去的半年多时间中,电子信息产业链的各类新闻,时常成为广大群众关注的焦点,“5G应用&rdq...
日期:10-10
科大讯飞:拥有核心自主知识产权 不会因美黑名单“卡脖子”
10月8日,美国商务部宣布将科大讯飞在内的28家中国企业和政府组织列入实体清单。面对美国打压,科大...
日期:10-10
  专栏介绍
王涵 的专栏
王涵发表的文章
积分:
自我介绍 :