您的方位:主页>>业界动态

飞桨端侧推理引擎重磅晋级为Paddle Lite,更高扩展性更极致功用!

发布时刻:2019-08-21 17:39:46  来历:互联网    布景:

  百度深度学习渠道飞桨(PaddlePaddle)再放大招!端侧推理引擎全新晋级,重磅发布Paddle Lite,旨在推进人工智能运用在端侧更好落地。该推理引擎在多硬件、多渠道以及硬件混合调度的支撑上愈加齐备,是飞桨在Paddle Mobile的基础上进行的一次大规划晋级迭代。经过对底层架构规划的改善,拓展性和兼容性等方面完成明显提高。现在,Paddle Lite现已支撑了ARM CPU,Mali GPU,Adreno GPU,华为NPU以及FPGA等许多硬件渠道,是现在首个支撑华为NPU在线编译的深度学习推理结构。

  跟着技能进步,手机等移动设备已成为非常重要的本地深度学习载体,但是日趋异构化的硬件渠道和杂乱的终端侧的运用情况,让端侧推理引擎的架构才能颇受应战。端侧模型的推理往往面临着算力和内存的约束,为了能够完好的支撑很多的硬件架构,而且完成在这些硬件之上人工智能运用功用的功用优化,百度飞桨根据Paddle Mobile猜测库,交融Anakin等多个相关项意图技能优势,全新发布端侧推理引擎Paddle Lite,经过建模底层核算形式,加强了多种硬件、量化办法、Data Layout 混合调度履行的才能,然后确保了微观硬件的支撑才能,满意人工智能运用落地移动端的苛刻要求。

  Paddle Lite在架构上全新晋级,并要点增加了多种核算形式(硬件、量化办法、Data Layout)混合调度的齐备性规划,能够完好承当深度学习模型在不同硬件渠道上的的推理布置需求,具有高功用、多硬件、多渠道、扩展性强等优势。不同于其他一些独立的推理引擎,Paddle Lite依托飞桨练习结构及其对应的丰厚完好的算子库,底层算子核算逻辑与练习严厉共同,模型彻底兼容无风险,并可快速支撑更多模型。

  Paddle Lite架构由四层次组成:第一层model 层直接承受Paddle练习的模型,经过模型优化东西转化为NaiveBuffer特别格局,以便更好地习惯移动端的布置场景;第二层Program层是operator序列构成的履行程序;第三层是一个完好的剖析模块,首要包含TypeSystem、SSA Graph和Passes等模块;第四层是履行层,由Kernel序列构成的Runtime Program。

  Paddle Lite具有以下重要特性:

  与其他端侧引擎比较,Paddle Lite扩展性更高,结构层硬件笼统层次的描绘才能强,简略对新的硬件进行集成,能够模块化地对硬件和模型进行更详尽的剖析和优化。

  在模型支撑方面,Paddle Lite现已支撑Paddle图画分类、检测、切割及图画文字辨认等范畴的模型猜测,官方发布了18个模型的benchmark。此外,能够经过X2Paddle东西将由Caffe和TensorFlow练习的模型转化后进行猜测。

  在硬件支撑方面,现在Paddle Lite已支撑ARM CPU, ARM GPU、华为NPU和FPGA等硬件渠道,正在优化支撑的有寒武纪、比特大陆等国产AI芯片,并会兼容支撑的Intel、NVIDIA等干流云端芯片,与硬件厂商的广泛深化协作使得lite具有高功用体现,并可紧跟新硬件开展脚步供给先于其他结构的功用体现抢先优势。

  模型支撑和硬件渠道支撑的广泛性,全体确保了结构的高通用性

  在功用方面,Paddle Lite针对不同微架构,进行了kernel的深度优化,支撑INT8量化核算,在干流移动端模型上展现出抢先的速度优势。值得一提的是,在“国货”华为 NPU上也具有很好的功用体现。

  与此同时,Paddle Lite可针对端侧设备特色进行深度定制及优化,无第三方库依靠,让布置进程更轻量化。整个推理进程分为模型加载解析、核算图的优化剖析及设备上的高效运转。移动端能够直接布置经过优化剖析的图,履行猜测。Android渠道上,ARMV7 动态库只需要800k,ARMV8动态库仅有1.3M,也能够根据需要,进行更深度的取舍。

  此外,还进一步完善供给了Web前端开发接口,支撑javascript调用 GPU,可在网页端方便运转深度学习模型。

  端侧推理引擎在人工智能运用落地环节有着重要影响,直接关系到用户的体会,在自动驾驶等人工智能运用范畴,端侧推理引擎乃至关乎用户的生命财产安全。百度飞桨推出Paddle Lite对端侧推理引擎功用进行大幅优化提高,关于人能智能运用的落地起到要害的推进效果。未来,Paddle Lite将支撑更多硬件,掩盖更广泛的运用范畴。

  更多概况:

  欢迎参加官方QQ群:696965088

  官网地址:

  

  项目地址:

  

特别提示:本网内容转载自其他媒体,意图在于传递更多信息,并不代表本网附和其观念。其原创性以及文中陈说文字和内容未经本站证明,对本文以及其间悉数或许部分内容、文字的实在性、完好性、及时性本站不作任何确保或许诺,并请自行核实相关内容。本站不承当此类著作侵权行为的直接职责及连带职责。如若本网有任何内容侵略您的权益,请及时联络咱们,本站将会在24小时内处理完毕。


本文来历:互联网

本文谈论
友谊提示:谈论功用暂时封闭,请扫描上方二维码进群沟通!
前史最风趣之处,在于其往往推翻人们的认知。
  把时刻往回拨15年,在20世纪之初的2004年,...
日期:08-21
回来网站主页
明日,也便是8月22日,生而强悍再进化的iQOO Pro将在751D·PARK北京时髦规划广场751新罐正式...
日期:08-21
自动驾驶:百度五年狂奔,谷歌十年顽强
如果是人生中有什么坎过不去,那必定便是小龙坎。便是ta,把地道的成都风味带向全国各地。
日期:08-21
5G全速进化 iQOO Pro新品手机明日北京发布
2019年8月21日,联想集团全球总部未来中心——今天,联想中小企业事业部携手尖端科技媒体...
日期:08-21
本年7月,厦门5家小龙坎火锅店正式接入付呗
我国,杭州—2019年8月21日— Adobe(Nasdaq: ADBE)今天宣告将于近期在我国大陆地区推出头...
日期:08-21
联想携手极客公园发动「酷公司30」方案  合力助推中小企业生长进化
百度深度学习渠道飞桨(PaddlePaddle)再放大招!端侧推理引擎全新晋级,重磅发布Paddle Lite,旨在推...
日期:08-21
Adobe发布Creative Cloud我国拍照方案,助力构思完成
8月21日音讯 近来,有网友放出了我国判决文书网的小米科技有限职责公司和国家知识产权局二审的行政...
日期:08-21
飞桨端侧推理引擎重磅晋级为Paddle Lite,更高扩展性更极致功用!
8月21日上午,为期三天的2019北京网络安全大会正式拉开帷幕。当天早上,会议举行地址国家会议中心人...
日期:08-21
音讯:小米或不能再运用MIX商标
2019年8月21日,技能抢先的云核算服务渠道百度智能云与全球抢先的容器管理软件供给商Rancher Labs正...
日期:08-21
2019北京网络安全大会举行首日 国家会议中心被“挤爆”
2019年8月19日,千库网正式对外发布了4周年品牌视频《招牌“蓝友”在线看护》,经过三段...
日期:08-21
强强联合!百度智能云与Rancher达到协作,容器生态再进一步
2019年8月21日,在北京举行的PoW’er大会上,企业级分布式账本渠道Hedera Hashgraph 联合创始人...
日期:08-21
千库4周年品牌视频《招牌“蓝友”在线看护》深度解读
当今,跟着网络信息规划的不断开展与强大,网络系统面临着更多的安全要挟。网络安全是一个关系到国...
日期:08-21
Mance Harmon:逾越区块链,构建快速、公平缓安全的去中心化运用程序
据IGN早些时候报导,因为索尼影业和迪士尼之间无法达到新的协议,所以未来漫威电影世界未来不会制造...
日期:08-21
Byte CTF字节跳动网络安全攻防大赛强势来袭
今天,外媒91Mobiles曝光了将于8月28日在印度发布的新机OPPO Reno 2更完好的装备参数。OPPO Reno 2...
日期:08-21
索尼影视官方承认,漫威将不再参加《蜘蛛侠》电影制造
经济日报-我国经济网讯(记者 王茂林)从2009年,以国家传感网立异演示区成立为标志,无锡正式与物联网结...
日期:08-21
OPPO Reno 2装备曝光:骁龙730G+4000mAh电池
又是会集的财报时节,BAT三巨子先后秀出肌肉。
  8月20日,百度发布Q2财报,本季度完成营收2...
日期:08-21
京东云总裁申元庆谈物联网布局:为5G年代领跑超级电商赋能
此前有音讯称,小米将会鄙人半年推出一款全新的手机,也便是新一代的MIX系列旗舰产品MIX4。近来,疑...
日期:08-21
百度智能小程序的“哪吒”效应
长时间隐藏在电影画面和配音之后的影视说明博主,在两三天之内,纷繁从暗地走到前台露脸,用实在长相...
日期:08-21
装备适当富丽!小米MIX4系列装备曝光,价格真香
在一段缺乏十米的通道上,数个路障简略勾画出了一条“S型”的路途,一台机器人行进到路障...
日期:08-21
西瓜视频创作人:大白话自己,露脸竟然没掉粉?
8月20日,海南省首个乡乡民宿演示建设项目在海口市美兰区美帖村正式发动,该项目由海南省旅行民宿提...
日期:08-21
  专栏介绍
世界机器人大会正式开幕,普渡送餐机器人引全场观众热心围观
徐彬 的专栏
徐彬宣告的文章
积分:
毛遂自荐 :