您的方位:主页>>业界动态

飞桨端侧推理引擎重磅晋级为Paddle Lite,更高扩展性更极致功能!

发布时刻:2019-08-21 17:39:46  来历:互联网    布景:

  百度深度学习途径飞桨(PaddlePaddle)再放大招!端侧推理引擎全新晋级,重磅发布Paddle Lite,旨在推进人工智能运用在端侧更好落地。该推理引擎在多硬件、多途径以及硬件混合调度的支撑上愈加齐备,是飞桨在Paddle Mobile的基础上进行的一次大规模晋级迭代。通过对底层架构规划的改善,拓展性和兼容性等方面完成明显提高。现在,Paddle Lite现已支撑了ARM CPU,Mali GPU,Adreno GPU,华为NPU以及FPGA等许多硬件途径,是现在首个支撑华为NPU在线编译的深度学习推理结构。

  跟着技能进步,手机等移动设备已成为非常重要的本地深度学习载体,但是日趋异构化的硬件途径和杂乱的终端侧的运用情况,让端侧推理引擎的架构才能颇受应战。端侧模型的推理往往面临着算力和内存的约束,为了能够完好的支撑很多的硬件架构,而且完成在这些硬件之上人工智能运用功能的功能优化,百度飞桨依据Paddle Mobile猜测库,交融Anakin等多个相关项意图技能优势,全新发布端侧推理引擎Paddle Lite,通过建模底层核算形式,加强了多种硬件、量化办法、Data Layout 混合调度履行的才能,然后确保了微观硬件的支撑才能,满意人工智能运用落地移动端的苛刻要求。

  Paddle Lite在架构上全新晋级,并要点增加了多种核算形式(硬件、量化办法、Data Layout)混合调度的齐备性规划,能够完好承当深度学习模型在不同硬件途径上的的推理布置需求,具有高功能、多硬件、多途径、扩展性强等优势。不同于其他一些独立的推理引擎,Paddle Lite依托飞桨练习结构及其对应的丰厚完好的算子库,底层算子核算逻辑与练习严厉共同,模型彻底兼容无危险,并可快速支撑更多模型。

  Paddle Lite架构由四层次组成:第一层model 层直接承受Paddle练习的模型,通过模型优化东西转化为NaiveBuffer特别格局,以便更好地习惯移动端的布置场景;第二层Program层是operator序列构成的履行程序;第三层是一个完好的剖析模块,首要包含TypeSystem、SSA Graph和Passes等模块;第四层是履行层,由Kernel序列构成的Runtime Program。

  Paddle Lite具有以下重要特性:

  与其他端侧引擎比较,Paddle Lite扩展性更高,结构层硬件笼统层次的描绘才能强,简单对新的硬件进行集成,能够模块化地对硬件和模型进行更详尽的剖析和优化。

  在模型支撑方面,Paddle Lite现已支撑Paddle图画分类、检测、切割及图画文字辨认等范畴的模型猜测,官方发布了18个模型的benchmark。此外,能够通过X2Paddle东西将由Caffe和TensorFlow练习的模型转化后进行猜测。

  在硬件支撑方面,现在Paddle Lite已支撑ARM CPU, ARM GPU、华为NPU和FPGA等硬件途径,正在优化支撑的有寒武纪、比特大陆等国产AI芯片,并会兼容支撑的Intel、NVIDIA等干流云端芯片,与硬件厂商的广泛深化协作使得lite具有高功能体现,并可紧跟新硬件开展脚步供给先于其他结构的功能体现抢先优势。

  模型支撑和硬件途径支撑的广泛性,全体确保了结构的高通用性

  在功能方面,Paddle Lite针对不同微架构,进行了kernel的深度优化,支撑INT8量化核算,在干流移动端模型上展现出抢先的速度优势。值得一提的是,在“国货”华为 NPU上也具有很好的功能体现。

  与此同时,Paddle Lite可针对端侧设备特色进行深度定制及优化,无第三方库依靠,让布置进程更轻量化。整个推理进程分为模型加载解析、核算图的优化剖析及设备上的高效运转。移动端能够直接布置通过优化剖析的图,履行猜测。Android途径上,ARMV7 动态库只需要800k,ARMV8动态库仅有1.3M,也能够依据需要,进行更深度的取舍。

  此外,还进一步完善供给了Web前端开发接口,支撑javascript调用 GPU,可在网页端方便运转深度学习模型。

  端侧推理引擎在人工智能运用落地环节有着重要影响,直接关系到用户的体会,在自动驾驶等人工智能运用范畴,端侧推理引擎乃至关乎用户的生命财产安全。百度飞桨推出Paddle Lite对端侧推理引擎功能进行大幅优化提高,关于人能智能运用的落地起到要害的推进效果。未来,Paddle Lite将支撑更多硬件,掩盖更广泛的运用范畴。

  更多概况:

  欢迎参与官方QQ群:696965088

  官网地址:

  

  项目地址:

  

特别提示:本网内容转载自其他媒体,意图在于传递更多信息,并不代表本网附和其观念。其原创性以及文中陈说文字和内容未经本站证明,对本文以及其间悉数或许部分内容、文字的真实性、完好性、及时性本站不作任何确保或许诺,并请自行核实相关内容。本站不承当此类著作侵权行为的直接职责及连带职责。如若本网有任何内容侵略您的权益,请及时联络咱们,本站将会在24小时内处理完毕。


本文来历:互联网

本文谈论
2019年10月19日-21日, 2019国际VR工业大会在江西南昌举行。在同期举行的2019 VR/AR产品和运用展览...
日期:10-19
回来网站主页
10月19日,以“VR让国际更精彩——VR+5G敞开感知新年代”为主题的第二届国际VR...
日期:10-19
头号玩咖参展2019国际VR工业大会 国务院副总理刘鹤莅临指导
2019年10月19日,“2019极光开发者大会”在深圳举行,数千位互联网公司技能首领、协作伙...
日期:10-19
国际VR工业大会开幕 玖的揽获「我国VR50强企业」「VR/AR年度立异奖」两大奖项
10月19日音讯,2019国际VR工业大会在江西省南昌市举行。华为轮值董事长郭平宣布了《打造VR/AR信息高...
日期:10-19
开发者服务起风了:2019极光开发者大会,聚集开发价值!
2019年10月18日,由IDC我国主办的“2019 IDC数字化转型年度盛典暨第四届我国数字化转型领军用...
日期:10-19
华为:期望把VR/AR打造成下个智能手机工业
10月19日音讯 据小米集团副总裁、小米技能委员会主席@崔宝秋-小米 音讯,语音辨认大拿Daniel Povey...
日期:10-19
华为云受邀参与2019IDC我国数字化转型年度盛典,“5G+云+AI”助力企业数字转型
10月18日,在2019我国核算机大会上,“蚂蚁金服隐私维护同享智能途径”荣获“CCF科...
日期:10-19
语音辨认大拿Daniel Povey正式参与小米,将组团队开发下一代Kaldi
   继国产处理器取得打破之后,国产GPU/显卡也取得了重大进展。
日期:10-19
蚂蚁金服同享智能途径打破数据孤岛,荣获“2019CCF 科技进步优秀奖”
10月19日音讯 今天上午,据华为我国官方音讯,华为开发者大会2020将于2020年2月11日-12日在深圳举行...
日期:10-19
我国研制5款自主产权3D显卡:支撑国产处理器及操作体系
10月19日音讯 依据TPU的报导,挨近Digitimes的音讯人士泄漏,英特尔将很快推出其首个10纳米独立显卡...
日期:10-19
华为开发者大会2020将于下一年2月11日在深圳举行
10月19日音讯 依据VideoCardz的独家爆料,AMD方案发布三款Threadripper 3000处理器,分别是 3960X,...
日期:10-19
Digitimes:英特尔将在2020年中发布Xe独显,选用10nm工艺
10月19日音讯 依据Notebookcheck的报导,英特尔将于2019年10月23日和24日在加州圣克拉拉的凯悦酒店...
日期:10-19
AMD有望在11月5日发布新款线程撕裂者和TRX40芯片组
10月17日,由华为公司主办的“西安·挑选非凡 华为云城市峰会2019”在西安按期举行...
日期:10-19
英特尔将于月底推出新款超低压处理器:10nm工艺,3D封装
10月17日,“西安·挑选非凡 华为云城市峰会2019”按期在西安举行。西安市市长李明...
日期:10-19
政企智能转型晋级正当时 华为云打造西安才智工业新高地
10月17日,西安·挑选非凡 华为云城市峰会2019在西安举行,针对Cloud 2.0年代下的政企上云需...
日期:10-19
华为云依托5G+云+AI技能 加速政企转型晋级
  10月17日,西安·挑选非凡 华为云城市峰会2019在西安拉开帷幕,着眼西北地区科技立异开展,华...
日期:10-19
西安航天基地华为云人工智能立异中心正式发布
10月17日-19日,由我国核算机学会(CCF)兴办的2019我国核算机大会在姑苏举行,爱奇艺交融边际云的新...
日期:10-19
人才培养正当时,华为云联合7大高校发布西北鲲鹏人才培养方案
10月18日上午,第六届国际互联网大会“互联网之光”饱览会在浙江乌镇拉开帷幕。国家互联...
日期:10-19
爱奇艺立异CDN体系奇速播荣获我国核算机学会 “CCF科学技能奖科技进步出色奖”
10月15日「OnePlus 7T 系列新品发布会」在北京举行。此次发布会除了发布了硬件端旗舰级一加手机,也...
日期:10-18
国际互联网大会开幕,UCloud优刻得展现企业上云新科技
进入2019年下半年后,我国轿车商场发生了奇妙的改变,轿车相较2018年仍旧出现跌落态势,而SUV异军突起,...
日期:10-18
  专栏介绍
Breeno语音“万物互融”丰厚掩盖途径,为开发者供给更多品牌精准客群
徐彬 的专栏
徐彬宣布的文章
积分:
毛遂自荐 :