侵权投诉

NVIDIA 如何应对会话式AI带来的推理挑战?

墨记 2019-11-08 16:53 次阅读

NVIDIA GPU曾于去年12月和今年7月两度树立了数据中心神经网络训练的性能标杆。今天发布的行业基准测试结果显示,NVIDIA也引领着数据中心内部与外部AI网络的趋势。

NVIDIA Turing GPU和Xavier 芯片系统在首个独立AI推理基准测试 ——MLPerf Inference 0.5中取得第一名。由于推理一直是AI市场中最大、同时也是最具竞争力的领域,业内此前一直希望能够有一套客观的推理性能测试指标。

在参与此次测试的十二家公司中,只有NVIDIA AI平台提交了 MLPerf的全部五项推理测试成绩(MLPerf是一个于2018年5月成立的行业基准测试小组)。这证明了NVIDIA CUDA-X AI和TensorRT软件的成熟程度。它们让用户能够更加轻松地将所有的NVIDIA GPU应用于数据中心、边缘等领域。

MLPerf定义了五项推理基准,涵盖了三个现有的人工智能应用:图像分类、目标检测和翻译。每项基准分为四个场景:与数据中心应用关联性最高的服务器和离线场景,以及用于满足边缘设备地芯片系统需求的单流和多流场景。
图1:NVIDIA在两个数据中心场景(离线和服务器)的全部五项基准测试中均排在第一位,Turing GPU被评为市面上单处理器性能最高的GPU。
图2:NVIDIA Turing在MLPerf数据中心场景中的成绩超过了其他市面上的处理器。
 
离线场景中具有代表性的场景有图像标记等,该场景下所有数据可在本地使用;而服务器场景代表性场景有在线翻译服务等,此场景下会突然或间歇性随机出现数据和请求工作。

Xavier在两个边缘场景(单流和多流)中被评为市面上性能最佳的边缘和移动芯片系统。

工业检测相机主要被用来在快速移动的生产线上发现不合格品,这是一种典型的单流任务。多流场景则是测试芯片能够处理多少个数据源 —— 该性能对于一辆可能需要使用6台以上摄像机的自动驾驶汽车而言,是一项关键的能力。
图3:NVIDIA Xavier在MLPerf边缘场景中成为市面上最佳的边缘和移动芯片系统。
 
该结果显示了NVIDIA CUDA和TensorRT软件的性能。它们为用户提供了一个通用平台,使用户可以在多个产品和应用中取得领先结果,而这正是NVIDIA所独有的能力。

在数据中心场景中,NVIDIA的两款GPU还出现了相互竞争的场面。NVIDIA TITAN RTX 展示了Turing级 GPU的巨大潜力,尤其是在各种要求苛刻的任务中,比如运行用于语言翻译的GNMT模型等。

功能丰富、应用广泛的NVIDIA T4 Tensor Core GPU 在多个场景取得了优秀的成绩。这个功耗仅为70瓦的GPU能够轻松安装到任何带有PCIe槽的服务器中,使用户能够根据需要扩展其计算力,进而大幅扩展其推理工作。

MLPerf已经获得行业和学术界的广泛支持。其成员包括Arm、Facebook、Futurewei、通用汽车、Google、哈佛大学、Intel、MediaTek、微软、NVIDIA及Xilinx。值得一提的是,相比于之前的两次训练比赛,此次基准测试吸引了更多的参与者。

NVIDIA此次共采用了三款产品,共计四种配置参加此次测试,并提交了全部20个场景中的19个场景的成绩,以此表明公司对这项工作的支持。NVIDIA的合作伙伴Dell EMC,以及NVIDIA的客户阿里巴巴同样使用NVIDIA GPU提交了成绩。相比于其他参与者,NVIDIA与合作伙伴和客户一同向用户全面地展示了NVIDIA产品组合的潜力。

全新的视角与产品

推理指的是在实时生产系统中,通过运行AI模型,从大量数据中筛选出可执行洞察的过程。这是一项仍处于发展中的新兴技术,而NVIDIA也在该领域中不断前进,未曾停止脚步。

今天,NVIDIA发布了用于MLPerf测试的Xavier芯片系统低功耗版本——Jetson Xavier NX ,其最大功率仅为15瓦,却具有最高21 TOPS的性能。它将为那些对性能要求高、但功率有限的新一代机器人、无人机和其他自主设备提供驱动力。

除了新的硬件之外,NVIDIA还发布了在MLPerf基准测试中所使用的最新TensorRT 6 优化,并在GitHub上以开源方式为用户提供该软件。用户可以在MLPerf 开发者博客中了解更多关于这些优化的信息。NVIDIA不断地对该软件进行升级,使用户可以从日益增加的AI自动化与性能中获益。

让推理变得更简单

今天的MLPerf测试还说明了一个结论,那就是推理很困难。例如,在实际工作负载中,由于推理还需要大量预处理和后处理步骤,那么在实际工作负载中其对推理性能的需求甚至比基准测试更高。

NVIDIA创始人兼首席执行官黄仁勋在去年GTC大会的主题演讲中就曾将这种复杂性概括为一个词:PLASTER。他表示,现代AI推理对可编程性(Programmability)、延迟性(Latency)、准确性(Accuracy)、模型大小(Accuracy)、吞吐量(Throughput)、能效(Energy efficiency)和学习率(Rate of Learning)的要求很高。

这就是为何用户越来越喜欢使用高性能的NVIDIA GPU和软件来处理各种要求苛刻的推理工作,其中就包括:BMW、Capital One、思科、Expedia、John Deere、微软、PayPal、Pinterest、宝洁、Postmates、Shazam、Snap、Shopify、Twitter、Verizon和沃尔玛等极具远见的公司。

本周,全球最大的邮政服务系统——美国邮政,也加入了此行列,使用NVIDIA GPU进行AI训练和推理。

硬盘制造商希捷希望通过在NVIDIA GPU上运行的AI推理将生产量提高10%。该公司预计,通过提高效率和质量,其将获得高达300%的投资回报。

Pinterest依靠NVIDIA GPU训练和评估其识别模型并对其1750亿条Pin贴文执行实时推理。

Snap使用NVIDIA T4加速器在谷歌云平台上执行推理。相比于仅采用了CPU的系统,这提高了其广告的效果,同时降低了成本。

Twitter发言人就这一趋势表示:“GPU的使用不仅大大缩短了训练时间,还让我们在推理时能够实时了解直播视频,让我们可以在自己的平台上了解各媒体。”

AI会话:关于推理

未来,会话式AI将带来大量的机会以及技术方面的挑战。NVIDIA在这一领域同样是当之无愧的领导者。

NVIDIA已经为会话式AI服务提供了经过优化的参照设计,比如自动语音识别、文本-语言转换和自然语言理解等。NVIDIA们的BERT、GNMT 和Jasper 等AI模型开源优化帮助开发者实现顶尖推理性能。NVIDIA的客户和合作伙伴中包括有会话式AI领域的一流公司,比如Kensho、微软、Nuance、Optum等。

最后要补充的是,MLPerf小组已经开始致力于改进其当前的0.5推理测试。NVIDIA将努力在基准测试中继续发挥领导作用。

收藏 人收藏
分享:

评论

相关推荐

四轴机器人编程与应用

主题简介:本次直播主要讲解四轴机器人控制器基本原理及组成。四轴机器人的核心技术内嵌人工智能算法的工业级运动控制技术和伺服
发表于 10-30 00:00 11587次 阅读
四轴机器人编程与应用

人工智能怎样赋能中医领域

自从人工智能技术问世以来,医疗领域一直被业界认定为最有应用空间的领域,也获得了政策的大力支持。
发表于 11-13 11:23 0次 阅读
人工智能怎样赋能中医领域

人工智能治理的全球图景与技术是怎样的

对于可持续发展来说,人工智能是未来的一个非常重要的途径和工具。人工智能不仅仅能够提升经济,虽然很多目....
发表于 11-13 11:18 3次 阅读
人工智能治理的全球图景与技术是怎样的

社群商业生态有了人工智能以后有怎样的改变

与独到科技CEO张文浩演讲的主题一样,独到科技一直致力于用人工智能赋能社群商业生态,目前独到科技已经....
发表于 11-13 11:15 2次 阅读
社群商业生态有了人工智能以后有怎样的改变

从云端到边缘的全新AI 硬件是什么样子的

推进深度学习推理和应用需要极其复杂的数据、模型和技术,因此在架构选择上需要有不同的考量。
发表于 11-13 11:11 2次 阅读
从云端到边缘的全新AI 硬件是什么样子的

AI可以检测宫颈癌了吗

人工智能可以在健康发生问题之前或者当潜在的疾病变得更加严重之前可以对医生进行提醒。
发表于 11-13 11:07 4次 阅读
AI可以检测宫颈癌了吗

Nvidia的人工智能技术可以让人像Jagger一样移动

Nvidia的研究团队刚刚开发了一种新的AI,可以使用现有的视频和一个图像来使图像中的人模仿视频中的....
发表于 11-13 10:31 25次 阅读
Nvidia的人工智能技术可以让人像Jagger一样移动

人工智能的兴起会影响人类的工作岗位吗

自动驾驶卡车可能曾经看起来像是一种未来主义的愿景。但是近年来,他们开始走上了道路,对劳动力市场,特别....
发表于 11-13 10:20 40次 阅读
人工智能的兴起会影响人类的工作岗位吗

人工智能和机器学习助力下 工厂的生产率也得到了极大的提高

机器人和其他自动化技术极大地提高了当今工厂的生产率。但是,它们仍然有一个主要限制:它们要求人们告诉他....
发表于 11-13 10:14 16次 阅读
人工智能和机器学习助力下 工厂的生产率也得到了极大的提高

我国时机已经到来 或将走在世界人工智能技术的前列

现正处于物联网IOT初步阶段,万物互联,信息爆炸。在这个万物互联的时候,我们正在快速进入人工智能时代....
发表于 11-13 10:13 14次 阅读
我国时机已经到来 或将走在世界人工智能技术的前列

敏捷项目管理使用人工智能的好处

人工智能在改善和加快软件开发并提高项目质量方面具有巨大潜力,尤其在提高软件开发效率方面。
的头像 汽车玩家 发表于 11-13 10:13 46次 阅读
敏捷项目管理使用人工智能的好处

人工智能助力下 大国与小国实力差距将越来越大

随着人工智能应用于军事,今天的战争本质不再是局限于以前的夺取领土、夺取资源,传统战争的形式已经过时。
发表于 11-13 10:05 15次 阅读
人工智能助力下 大国与小国实力差距将越来越大

想实现大规模的产业化 人工智能就必须先打破瓶颈

一个技术、一个新领域进入暖春,标志性事件就是能不能实现大规模的产业化。那么,人工智能如何打破大规模产....
发表于 11-13 09:56 16次 阅读
想实现大规模的产业化 人工智能就必须先打破瓶颈

人工智能助力下 上海开始打造“智能+”产业高地

日前,工业和信息化部批复创建上海(浦东新区)人工智能创新应用先导区,助力加快推动人工智能创新发展与成....
发表于 11-13 09:42 22次 阅读
人工智能助力下 上海开始打造“智能+”产业高地

各地的区块链产业现在发展的怎样

未来在区块链应用领域,政务民生类应用项目数量将显著增多,司法存证、税务、电子票据、产品溯源等其他领域....
发表于 11-13 09:35 22次 阅读
各地的区块链产业现在发展的怎样

人工智能给教育带来优势的同时 也会存在相应的挑战

当人们谈论人工智能以怎样的新形态出现在面前时,教育界却正在发生一轮新的变革。在新一轮变革推动下,人工....
发表于 11-13 09:30 25次 阅读
人工智能给教育带来优势的同时 也会存在相应的挑战

明年双11将应用阿里自研芯片

达摩院研发的AI技术已应用于天猫双11的各个场景。未来,这些人工智能应用将会越来越多跑在阿里自研的芯....
的头像 汽车玩家 发表于 11-13 09:16 52次 阅读
明年双11将应用阿里自研芯片

人工智能发展要经历多个阶段 困难跟挑战重重

对于什么是“人工智能公司”,目前还没有明确的分类。对一些人来说,人工智能只是一个流行词,被添加到营销....
发表于 11-13 09:16 23次 阅读
人工智能发展要经历多个阶段 困难跟挑战重重

人工智能的迅速发展 正在全方位深刻改变人们的生产生活

在无人便利店购物,从进店、选购到支付,人脸识别技术全程支撑着实现便捷的服务;机场成百上千家零售门店,....
发表于 11-13 09:07 41次 阅读
人工智能的迅速发展 正在全方位深刻改变人们的生产生活

人工智能的发展会打击移动互联网的发展吗

移动互联网的红利期已经基本结束,下一幕是人工智能。
发表于 11-12 16:53 40次 阅读
人工智能的发展会打击移动互联网的发展吗

人工智能保护消费者的重要作用

在过去的几年中,信息安全一直都是基于防病毒方案、隔离技术和加密技术的组合。政府机构和信息安全公司愿意....
的头像 汽车玩家 发表于 11-12 16:45 250次 阅读
人工智能保护消费者的重要作用

物流行业怎样开启全面的机器人时代

在这样的行业大背景下,我们以智能物流作为一个切入点其实遇到了一个很不错的时间窗口。
发表于 11-12 16:11 26次 阅读
物流行业怎样开启全面的机器人时代

AI在自动移动机器人领域有什么创新

随着人工智能、物联网和大数据技术的发展,机器设备和智能新技术的融合带来了全新的高效模式。
发表于 11-12 16:07 24次 阅读
AI在自动移动机器人领域有什么创新

人工智能融合行业应用 推进新型商业模式的发展

昨日,第11个“双11购物狂欢节”在消费者的狂欢中成功落下帷幕,从2009年开始每一届的“双十一”都....
发表于 11-12 16:02 52次 阅读
人工智能融合行业应用 推进新型商业模式的发展

机器人的下一个模式什么样的

机器人用户真正需要的是机器人为他们带来价值服务,而不是产品的本身,那么机器人厂商可能转变为提供服务而....
发表于 11-12 15:57 38次 阅读
机器人的下一个模式什么样的

人工智能备受投资追捧 开始进入商业化阶段

随着人工智能结合产业创新发展,其市场前景得到投资者认可。资本市场上,人工智能概念股也表现优异。据Wi....
发表于 11-12 15:57 41次 阅读
人工智能备受投资追捧 开始进入商业化阶段

人工智能和增强现实对于我们的工作方式有什么影响

科技是人类社会发展的重要驱动力,它促进了生产力的不断提升,推动社会在向前进步,并创造出前所示有的机遇....
发表于 11-12 15:54 43次 阅读
人工智能和增强现实对于我们的工作方式有什么影响

移动机器人的机遇什么时候到来

随着物联网和人工智能技术的进步,无人商店等新零售模式开始流行,并带来巨大的商业机遇。
发表于 11-12 15:51 86次 阅读
移动机器人的机遇什么时候到来

扫地机器人行业如何占领高地

扫地机器人等新技术所带来的变革,满足了消费者对于解放双手的追求,帮助他们摆脱繁琐的家务工作从而释放出....
发表于 11-12 15:46 36次 阅读
扫地机器人行业如何占领高地

AI智能客服机器人全面上线会带来怎样的体验

全面上线了申通AI智能客服机器人,助力双11,用技术革新客服服务,为客户提供不一样的客服体验。
发表于 11-12 15:40 47次 阅读
AI智能客服机器人全面上线会带来怎样的体验

AI机器人的用武之地在哪里

这篇文章的作者们计划开始对他们提出的解决方案进行试验,但机器人拆解电池的装配线仍需要数年时间,目前还....
发表于 11-12 15:36 40次 阅读
AI机器人的用武之地在哪里

电力巡检机器人现在的行业标准是怎样的

智能运检是电网运维检修未来发展的新方向,其作为电网企业核心业务单元之一,在保障电网设备安全健康、支撑....
发表于 11-12 15:31 18次 阅读
电力巡检机器人现在的行业标准是怎样的

语音机器人会把人工给替换掉吗

智能机器人在回复客户问题的时候还具备了分析功能,依照特定的算法,分析客户的意图,从而给予回答。
发表于 11-12 15:25 19次 阅读
语音机器人会把人工给替换掉吗

智能语音机器人具备哪一些优点

电销机器人可以在使用中,应用业务数据进行自学习,越用越聪明,外呼效果在不久的将来可以达到甚至超过人工....
发表于 11-12 15:23 33次 阅读
智能语音机器人具备哪一些优点

机器人的未来发展是怎样的路程

WHILL 也在做无人驾驶方面的设计和开发,但针对的是商务市场,面向大众消费市场的产品还没有那么快推....
发表于 11-12 15:19 29次 阅读
机器人的未来发展是怎样的路程

AI可以相当于生产力吗

AI(人工智能)就是新旧动能转换的发动机,是我们经济转型的加速器,会使我们传统产业插上起飞的翅膀。
发表于 11-12 15:11 48次 阅读
AI可以相当于生产力吗

AI技术行进的方向应该是怎样的

这些投入也被外界称为“为未来买单”,facebook扔进大海的石子并没有沉没了事儿,也是激起了几多浪....
发表于 11-12 15:05 25次 阅读
AI技术行进的方向应该是怎样的

人工智能算法可以不可以解“三体问题”

基于牛顿力学的“三体问题”讲述了在一个由三个天体构成的天体系统中,如何预测天体的运动趋势。
发表于 11-12 15:02 17次 阅读
人工智能算法可以不可以解“三体问题”

可信可用的人工智能是怎样的

人工智能(AI)不是一种单一的技术,而是多种方法和工具的集合,它有很多子领域,可被应用于丰富的场景。
发表于 11-12 14:54 24次 阅读
可信可用的人工智能是怎样的

俄罗斯普京强调人工智能的重要性,应积极推动相关应用

AI,即人工智能,被誉为第四次工业革命的催化剂,已经被越来越多的国家所重视。在最近举行的莫斯科国际人....
的头像 汽车玩家 发表于 11-12 14:53 281次 阅读
俄罗斯普京强调人工智能的重要性,应积极推动相关应用

人工智能在发展的路上怎样避免陷阱

为了更好的推动其发展,人工智能的落地与应用必然会是一个循序渐进的过程。
发表于 11-12 14:31 27次 阅读
人工智能在发展的路上怎样避免陷阱

郭为:新技术相互融合促进,场景创新引领数字技术智能联接

“技术奇点将引爆数字服务经济,当5G、大数据、人工智能、区块链、云计算成为这个时代的主题,各行各业都....
的头像 牵手一起梦 发表于 11-12 14:31 387次 阅读
郭为:新技术相互融合促进,场景创新引领数字技术智能联接

普适计算愿景怎样利用人工智能来打造

该算法可处理来自传感器的数据,提取周围环境的3D几何信息,并将其整合、上传到云平台,创建出基于这些相....
发表于 11-12 14:25 24次 阅读
普适计算愿景怎样利用人工智能来打造

人工智能如何解决企业营销的痛点

智能云手册运用AI算法,能够自动为用户画像,并智能预测用户成交概率。通过自动抓取用户行为轨迹与频次,....
发表于 11-12 14:20 29次 阅读
人工智能如何解决企业营销的痛点

人工智能技术与出行如何结合

开源是互联网产业的发展基石,没有任何一家互联网公司可以不使用开源软件,开源软件可以看作是全人类智慧共....
发表于 11-12 14:16 21次 阅读
人工智能技术与出行如何结合

人工智能融得的效果怎样

在智能制造、智能家居、智慧城市管理等场景中,人工智能技术应用越来越广泛。
发表于 11-12 14:08 17次 阅读
人工智能融得的效果怎样

25亿!优必选科技在国际市场签订史上最大AI教育项目

11月11日,在阿拉伯联合酋长国(简称“阿联酋”)首都阿布扎比,优必选科技与隶属于阿布扎比资本集团(....
发表于 11-12 13:49 402次 阅读
25亿!优必选科技在国际市场签订史上最大AI教育项目

未来的AI怎样赋能生产力

人工智能技术也处于前所未有的发展浪潮中,与首届中国国际进口博览会相比,本届进博会更是被形容为全球人工....
发表于 11-12 11:49 32次 阅读
未来的AI怎样赋能生产力

人工智能在未来会有什么突破

人工智能将完全改变我们对传统识别模式的认识;医生会越来越离不开机器学习;量子计算将大大提升药物的研发....
发表于 11-12 11:44 30次 阅读
人工智能在未来会有什么突破

AI人工智能和摩尔定律的后指数时代是怎样的

与摩尔定律的指数级增长的减少几乎同时发生了训练人工智能的计算能力需求的指数级增长。
发表于 11-12 11:39 30次 阅读
AI人工智能和摩尔定律的后指数时代是怎样的

联发科MediaTek S900量产,支持8K高分辨率的智能电视芯片

MediaTek与台积公司近日宣布,采用台积公司12纳米技术生产的业界首颗8K数字电视系统单芯片Me....
的头像 汽车玩家 发表于 11-12 11:27 179次 阅读
联发科MediaTek S900量产,支持8K高分辨率的智能电视芯片

华为的GPU Turbo技术你知道是什么吗?

华为GPU Turbo揭秘,吓人的技术,原来只是神经网络...
发表于 11-11 06:24 34次 阅读
华为的GPU Turbo技术你知道是什么吗?

NVIDIA 在首个AI推理基准测试中大放异彩

Turing GPU、Xavier芯片系统在MLPerf基准测试中展现了巨大优势 加利福尼亚州圣克拉拉市 —— 2019年11月6日 —— &...
发表于 11-08 19:44 153次 阅读
NVIDIA 在首个AI推理基准测试中大放异彩

为什么基于GPU的二维数组加法灰色的那行会出现报错?

这是基于GPU的二维数组加法。。。然24行,就是灰色的那行,报错too few arguments in function call,但是明明形参数和实参数...
发表于 11-05 22:15 25次 阅读
为什么基于GPU的二维数组加法灰色的那行会出现报错?

【瑞芯微RK1808计算棒试用体验】搭建Linux(Ubuntu18.04)环境试用RK1808

       人工智能已成为各行各业离不开的主题,电子发烧友论坛和瑞芯微电子联合推出的RK1808试用活动让我们...
发表于 10-25 13:05 142次 阅读
【瑞芯微RK1808计算棒试用体验】搭建Linux(Ubuntu18.04)环境试用RK1808

基于ARM9内核的智能灭火机器人怎么设计?

人工智能也称机器智能,是一门研究人类智能机理和如何用计算机模拟人类智能活动的学科。经过50多年的发展,人工智能已形成极广泛...
发表于 10-21 06:39 178次 阅读
基于ARM9内核的智能灭火机器人怎么设计?

AI的核心是什么?

AI概念笼统,范围广大,到底什么才是AI的核心? ...
发表于 10-18 06:39 148次 阅读
AI的核心是什么?

多核处理器能够替代FPGA吗?

Peter认为,鉴于其高性能、易编程及低成本特点,GPGPU技术在许多情况下能够替代FPGA和DSP ...
发表于 10-17 08:07 96次 阅读
多核处理器能够替代FPGA吗?

DragonBoard 410c,基于Qualcomm Snapdragon 410E处理器,四核ARM-Cortex A53

...
发表于 10-16 08:42 420次 阅读
DragonBoard 410c,基于Qualcomm Snapdragon 410E处理器,四核ARM-Cortex A53

什么是Cortex-A75?

时光飞逝,好像在昨天我们才刚发布ARM Cortex-A73这款最节能的高效能Cortex应用处理器,转眼之间我们就看到Cortex-A73量...
发表于 10-15 08:28 149次 阅读
什么是Cortex-A75?

为什么说FPGA是机器深度学习的未来?

  最近几年数据量和可访问性的迅速增长,使得人工智能的算法设计理念发生了转变。人工建立算法的做法被计算机从大量数据中自动...
发表于 10-10 06:45 153次 阅读
为什么说FPGA是机器深度学习的未来?