您的位置:首页>>业界动态

飞桨端侧推理引擎重磅升级为Paddle Lite,更高扩展性更极致性能!

发布时间:2019-08-21 17:39:46  来源:互联网    背景:

  百度深度学习平台飞桨(PaddlePaddle)再放大招!端侧推理引擎全新升级,重磅发布Paddle Lite,旨在推动人工智能应用在端侧更好落地。该推理引擎在多硬件、多平台以及硬件混合调度的支持上更加完备,是飞桨在Paddle Mobile的基础上进行的一次大规模升级迭代。通过对底层架构设计的改进,拓展性和兼容性等方面实现显著提升。目前,Paddle Lite已经支持了ARM CPU,Mali GPU,Adreno GPU,华为NPU以及FPGA等诸多硬件平台,是目前首个支持华为NPU在线编译的深度学习推理框架。

  随着技术进步,手机等移动设备已成为非常重要的本地深度学习载体,然而日趋异构化的硬件平台和复杂的终端侧的使用状况,让端侧推理引擎的架构能力颇受挑战。端侧模型的推理往往面临着算力和内存的限制,为了能够完整的支持众多的硬件架构,并且实现在这些硬件之上人工智能应用性能的性能优化,百度飞桨基于Paddle Mobile预测库,融合Anakin等多个相关项目的技术优势,全新发布端侧推理引擎Paddle Lite,通过建模底层计算模式,加强了多种硬件、量化方法、Data Layout 混合调度执行的能力,从而保障了宏观硬件的支持能力,满足人工智能应用落地移动端的严苛要求。

  Paddle Lite在架构上全新升级,并重点增加了多种计算模式(硬件、量化方法、Data Layout)混合调度的完备性设计,可以完整承担深度学习模型在不同硬件平台上的的推理部署需求,具备高性能、多硬件、多平台、扩展性强等优势。不同于其他一些独立的推理引擎,Paddle Lite依托飞桨训练框架及其对应的丰富完整的算子库,底层算子计算逻辑与训练严格一致,模型完全兼容无风险,并可快速支持更多模型。

  Paddle Lite架构由四层次组成:第一层model 层直接接受Paddle训练的模型,通过模型优化工具转化为NaiveBuffer特殊格式,以便更好地适应移动端的部署场景;第二层Program层是operator序列构成的执行程序;第三层是一个完整的分析模块,主要包括TypeSystem、SSA Graph和Passes等模块;第四层是执行层,由Kernel序列构成的Runtime Program。

  Paddle Lite具有以下重要特性:

  与其他端侧引擎相比,Paddle Lite扩展性更高,框架层硬件抽象层次的描述能力强,容易对新的硬件进行集成,可以模块化地对硬件和模型进行更细致的分析和优化。

  在模型支持方面,Paddle Lite现已支持Paddle图像分类、检测、分割及图像文字识别等领域的模型预测,官方发布了18个模型的benchmark。此外,可以通过X2Paddle工具将由Caffe和TensorFlow训练的模型转换后进行预测。

  在硬件支持方面,目前Paddle Lite已支持ARM CPU, ARM GPU、华为NPU和FPGA等硬件平台,正在优化支持的有寒武纪、比特大陆等国产AI芯片,并会兼容支持的Intel、NVIDIA等主流云端芯片,与硬件厂商的广泛深入合作使得lite具有高性能表现,并可紧跟新硬件发展步伐提供先于其他框架的性能表现领先优势。

  模型支持和硬件平台支持的广泛性,整体保证了框架的高通用性

  在性能方面,Paddle Lite针对不同微架构,进行了kernel的深度优化,支持INT8量化计算,在主流移动端模型上展现出领先的速度优势。值得一提的是,在“国货”华为 NPU上也具有很好的性能表现。

  与此同时,Paddle Lite可针对端侧设备特点进行深度定制及优化,无第三方库依赖,让部署过程更轻量化。整个推理过程分为模型加载解析、计算图的优化分析及设备上的高效运行。移动端可以直接部署经过优化分析的图,执行预测。Android平台上,ARMV7 动态库只需要800k,ARMV8动态库仅有1.3M,也可以根据需要,进行更深度的剪裁。

  此外,还进一步完善提供了Web前端开发接口,支持javascript调用 GPU,可在网页端快捷运行深度学习模型。

  端侧推理引擎在人工智能应用落地环节有着重要影响,直接关系到用户的体验,在自动驾驶等人工智能应用领域,端侧推理引擎甚至关乎用户的生命财产安全。百度飞桨推出Paddle Lite对端侧推理引擎性能进行大幅优化提升,对于人能智能应用的落地起到关键的推动作用。未来,Paddle Lite将支持更多硬件,覆盖更广泛的应用领域。

  更多详情:

  欢迎加入官方QQ群:696965088

  官网地址:

  https://www.paddlepaddle.org.cn

  项目地址:

  https://github.com/PaddlePaddle/Paddle-Lite

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
友情提示:评论功能暂时关闭,请扫描上方二维码进群交流!
深耕云计算 平安科技为企业转型输送能量
云计算,简单来说是一种基于互联网的服务,是全新的网络应用概念,它把资源整合在一起,用户可以通过网...
日期:09-12
5G时代,平安科技多云管理助力企业平滑转型
云计算,简单来说是一种基于互联网的服务,是全新的网络应用概念,它把资源整合在一起,用户可以通过网...
日期:09-12
人机大战!美的中央空调闪现广州,热舞battle燃爆夏夜
9月7日,由美的中央空调举办的“美的机智过人”人机battle大战在广州市天河区东方宝泰广...
日期:09-12
百度地图AI导游覆盖全国所有5A景区,十一出游你的“专属导游”已上岗
眼看着距离2019年国庆黄金周越来越近,想要出去玩的你做好准备了吗?赶在假期到来前,百度地图对智能...
日期:09-12
苹果iPhone 11良心大发用上6GB内存?假的 全系标配4GB
对苹果来说,他们的习惯是不拼配置(处理器除外),所以发布会上很少公布iPhone的具体配置,特别是内...
日期:09-12
高颜值与智能化并存  苏宁红孩子3.0惊艳无锡
我国超万亿的行业并不多,母婴得算一个。随着零售行业面临巨大变革,曾经踩着流量红利,粗放生长的...
日期:09-12
来了!广东居民户口簿电子证照!
户口簿你肯定不陌生,家家户户都有这个褐色的小本本,上面记录了你的户籍信息、家庭成员关系&hellip...
日期:09-12
第十三届物流透明管理峰会诚邀您的到来 免费报名开启啦
10月11日,第十三届物流透明管理峰会——数字化+回归· 感知,即将在深圳大中华喜...
日期:09-12
苏宁苹果服务再升级,买iPhone11提供技术顾问一对一服务
随着苹果秋季新品发布会的结束,iPhone 11、iPhone 11 Pro和iPhone 11 Pro Max三款新发布的手机已经...
日期:09-12
凯京科技再登胡润中国潜力独角兽榜,创“斑马来拉”新物流平台服务小微
胡润研究院近日发布《2019二季度胡润中国潜力独角兽》(Hurun China Future Unicorns 2019 Q2),这是...
日期:09-12
华为云垃圾分类挑战杯初赛收官,11强决战华为全联接大会
9月12日,华为云人工智能大赛·垃圾分类挑战杯初赛结果公布。本次大赛吸引了超过2600名参赛选...
日期:09-12
展会预告 | 2019工博会邀请函,擎朗智能与您相约国家会展中心
第21届中国国际工业博览会即将于2019年9月17日-21日在国家会展中心(上海)举行。室内无人配送机器人...
日期:09-12
看人工智能如何实现“智变融合”
9月21至22日,中国人工智能大会2019(Chinese Congress on Artificial Intelligence 2019,简称“...
日期:09-12
快手经营范围发生变更,或进军影视行业
9月12日下午消息,天眼查数据显示,9月11日,快手的运营主体北京快手科技有限公司经营范围出现变更...
日期:09-12
工信部:鼓励手机厂商自愿安装“调频信号接收模块”
据报道,9月12日,工信部发布对十三届全国人大二次会议第9231号建议的答复。针对代表提出的手机厂商...
日期:09-12
来电科技进驻14家“乐坊”商场 独家提供共享充电服务
近日,来电科技与社区商业品牌“乐坊”达成深度战略合作,来电科技已独家进驻上海14家&ld...
日期:09-12
腾讯科学小会携手中科馆下乡 发起全国青少年科学兴趣大调查
9月12日,时值第15个全国科普日之际,腾讯青少年科学小会宣布与中国科学技术馆达成合作,将科学小会...
日期:09-12
花呗白条之后 曝微信信用付产品“分付”即将上线
据媒体报道,腾讯内部正在孵化一款信用支付产品“分付”(暂定名称)。继支付宝蚂蚁花呗、...
日期:09-12
“无数据,不智能”2019SODA大赛专家辅导会走进合合信息
由上海市经济信息化委主办、上海市市北高新技术服务业园区承办的2019上海开放数据创新应用大赛(SODA...
日期:09-12
高通5G基带芯片覆盖中端手机 旗舰之外另有精彩
在过去的二三十年里,移动通信技术已经为我们带来了难以想象的巨大变革。从2G、3G、4G,再到现在的5...
日期:09-12
  专栏介绍
徐彬 的专栏
徐彬发表的文章
积分:
自我介绍 :