侵权投诉

NVIDIA 如何应对会话式AI带来的推理挑战?

墨记 2019-11-08 16:53 次阅读

NVIDIA GPU曾于去年12月和今年7月两度树立了数据中心神经网络训练的性能标杆。今天发布的行业基准测试结果显示,NVIDIA也引领着数据中心内部与外部AI网络的趋势。

NVIDIA Turing GPU和Xavier 芯片系统在首个独立AI推理基准测试 ——MLPerf Inference 0.5中取得第一名。由于推理一直是AI市场中最大、同时也是最具竞争力的领域,业内此前一直希望能够有一套客观的推理性能测试指标。

在参与此次测试的十二家公司中,只有NVIDIA AI平台提交了 MLPerf的全部五项推理测试成绩(MLPerf是一个于2018年5月成立的行业基准测试小组)。这证明了NVIDIA CUDA-X AI和TensorRT软件的成熟程度。它们让用户能够更加轻松地将所有的NVIDIA GPU应用于数据中心、边缘等领域。

MLPerf定义了五项推理基准,涵盖了三个现有的人工智能应用:图像分类、目标检测和翻译。每项基准分为四个场景:与数据中心应用关联性最高的服务器和离线场景,以及用于满足边缘设备地芯片系统需求的单流和多流场景。
图1:NVIDIA在两个数据中心场景(离线和服务器)的全部五项基准测试中均排在第一位,Turing GPU被评为市面上单处理器性能最高的GPU。
图2:NVIDIA Turing在MLPerf数据中心场景中的成绩超过了其他市面上的处理器。
 
离线场景中具有代表性的场景有图像标记等,该场景下所有数据可在本地使用;而服务器场景代表性场景有在线翻译服务等,此场景下会突然或间歇性随机出现数据和请求工作。

Xavier在两个边缘场景(单流和多流)中被评为市面上性能最佳的边缘和移动芯片系统。

工业检测相机主要被用来在快速移动的生产线上发现不合格品,这是一种典型的单流任务。多流场景则是测试芯片能够处理多少个数据源 —— 该性能对于一辆可能需要使用6台以上摄像机的自动驾驶汽车而言,是一项关键的能力。
图3:NVIDIA Xavier在MLPerf边缘场景中成为市面上最佳的边缘和移动芯片系统。
 
该结果显示了NVIDIA CUDA和TensorRT软件的性能。它们为用户提供了一个通用平台,使用户可以在多个产品和应用中取得领先结果,而这正是NVIDIA所独有的能力。

在数据中心场景中,NVIDIA的两款GPU还出现了相互竞争的场面。NVIDIA TITAN RTX 展示了Turing级 GPU的巨大潜力,尤其是在各种要求苛刻的任务中,比如运行用于语言翻译的GNMT模型等。

功能丰富、应用广泛的NVIDIA T4 Tensor Core GPU 在多个场景取得了优秀的成绩。这个功耗仅为70瓦的GPU能够轻松安装到任何带有PCIe槽的服务器中,使用户能够根据需要扩展其计算力,进而大幅扩展其推理工作。

MLPerf已经获得行业和学术界的广泛支持。其成员包括Arm、Facebook、Futurewei、通用汽车、Google、哈佛大学、Intel、MediaTek、微软、NVIDIA及Xilinx。值得一提的是,相比于之前的两次训练比赛,此次基准测试吸引了更多的参与者。

NVIDIA此次共采用了三款产品,共计四种配置参加此次测试,并提交了全部20个场景中的19个场景的成绩,以此表明公司对这项工作的支持。NVIDIA的合作伙伴Dell EMC,以及NVIDIA的客户阿里巴巴同样使用NVIDIA GPU提交了成绩。相比于其他参与者,NVIDIA与合作伙伴和客户一同向用户全面地展示了NVIDIA产品组合的潜力。

全新的视角与产品

推理指的是在实时生产系统中,通过运行AI模型,从大量数据中筛选出可执行洞察的过程。这是一项仍处于发展中的新兴技术,而NVIDIA也在该领域中不断前进,未曾停止脚步。

今天,NVIDIA发布了用于MLPerf测试的Xavier芯片系统低功耗版本——Jetson Xavier NX ,其最大功率仅为15瓦,却具有最高21 TOPS的性能。它将为那些对性能要求高、但功率有限的新一代机器人、无人机和其他自主设备提供驱动力。

除了新的硬件之外,NVIDIA还发布了在MLPerf基准测试中所使用的最新TensorRT 6 优化,并在GitHub上以开源方式为用户提供该软件。用户可以在MLPerf 开发者博客中了解更多关于这些优化的信息。NVIDIA不断地对该软件进行升级,使用户可以从日益增加的AI自动化与性能中获益。

让推理变得更简单

今天的MLPerf测试还说明了一个结论,那就是推理很困难。例如,在实际工作负载中,由于推理还需要大量预处理和后处理步骤,那么在实际工作负载中其对推理性能的需求甚至比基准测试更高。

NVIDIA创始人兼首席执行官黄仁勋在去年GTC大会的主题演讲中就曾将这种复杂性概括为一个词:PLASTER。他表示,现代AI推理对可编程性(Programmability)、延迟性(Latency)、准确性(Accuracy)、模型大小(Accuracy)、吞吐量(Throughput)、能效(Energy efficiency)和学习率(Rate of Learning)的要求很高。

这就是为何用户越来越喜欢使用高性能的NVIDIA GPU和软件来处理各种要求苛刻的推理工作,其中就包括:BMW、Capital One、思科、Expedia、John Deere、微软、PayPal、Pinterest、宝洁、Postmates、Shazam、Snap、Shopify、Twitter、Verizon和沃尔玛等极具远见的公司。

本周,全球最大的邮政服务系统——美国邮政,也加入了此行列,使用NVIDIA GPU进行AI训练和推理。

硬盘制造商希捷希望通过在NVIDIA GPU上运行的AI推理将生产量提高10%。该公司预计,通过提高效率和质量,其将获得高达300%的投资回报。

Pinterest依靠NVIDIA GPU训练和评估其识别模型并对其1750亿条Pin贴文执行实时推理。

Snap使用NVIDIA T4加速器在谷歌云平台上执行推理。相比于仅采用了CPU的系统,这提高了其广告的效果,同时降低了成本。

Twitter发言人就这一趋势表示:“GPU的使用不仅大大缩短了训练时间,还让我们在推理时能够实时了解直播视频,让我们可以在自己的平台上了解各媒体。”

AI会话:关于推理

未来,会话式AI将带来大量的机会以及技术方面的挑战。NVIDIA在这一领域同样是当之无愧的领导者。

NVIDIA已经为会话式AI服务提供了经过优化的参照设计,比如自动语音识别、文本-语言转换和自然语言理解等。NVIDIA们的BERT、GNMT 和Jasper 等AI模型开源优化帮助开发者实现顶尖推理性能。NVIDIA的客户和合作伙伴中包括有会话式AI领域的一流公司,比如Kensho、微软、Nuance、Optum等。

最后要补充的是,MLPerf小组已经开始致力于改进其当前的0.5推理测试。NVIDIA将努力在基准测试中继续发挥领导作用。

收藏 人收藏
分享:

评论

相关推荐

四轴机器人编程与应用

主题简介:本次直播主要讲解四轴机器人控制器基本原理及组成。四轴机器人的核心技术内嵌人工智能算法的工业级运动控制技术和伺服
发表于 10-30 00:00 11587次 阅读
四轴机器人编程与应用

山东省构建智能制造“五位一体”推进体系,助于实现智能化升级

山东省高端装备制造业高质量发展研讨会12日在济南召开,来自中国智能制造领域的专家、学者齐聚泉城,探讨....
发表于 11-17 11:20 50次 阅读
山东省构建智能制造“五位一体”推进体系,助于实现智能化升级

网络中的AI有哪些真真假假

人工智能(AI)的前景令人信服,但是也给安全经理带来警笛声。
发表于 11-17 11:05 97次 阅读
网络中的AI有哪些真真假假

科幻片机器人成真我们应该怎样做

人工智能是能够进行深度学习,解决某一领域问题的应用。
发表于 11-17 11:00 51次 阅读
科幻片机器人成真我们应该怎样做

CMOS传感器是如何驱动人工智能的

随着人工智能概念逐渐成为科技界最炙手可热的话题,这一依托芯片产业的全新概念牵动了整个科技界的心。
发表于 11-17 10:53 41次 阅读
CMOS传感器是如何驱动人工智能的

我们现在处于AI发展的什么阶段

人工智能不仅仅是我们去定义的,现在有不同的技术,它们都是人工智能的基础,包括机器学习、表示性学习和深....
发表于 11-17 10:47 126次 阅读
我们现在处于AI发展的什么阶段

人工智能应该被视为机遇还是危险

经过数十年的发展,人工智能技术已有望成为众多企业的重要价值来源。
发表于 11-17 10:42 34次 阅读
人工智能应该被视为机遇还是危险

2018年中国AI芯片市场占全球25.8%,未来两年增速达到50%以上

2018年,中国AI芯片产业发展政策环境持续优化,人工智能产业取得新的突破性进展,AI芯片市场规模保....
的头像 章鹰 发表于 11-16 18:01 700次 阅读
2018年中国AI芯片市场占全球25.8%,未来两年增速达到50%以上

济南市发布了新一代人工智能产业发展行动计划

2018年济南市大数据与新一代信息技术、智能制造与高端装备产业规模双双突破3000亿元,软件和信息技....
发表于 11-16 11:14 184次 阅读
济南市发布了新一代人工智能产业发展行动计划

MLPerf最新发布人工智能推理基准的首个结果

如今,人工智能无处不在。SoC供应商不得不屈服于将这些功能融入其产品中。从市场顶部的英特尔和Nvid....
发表于 11-16 11:05 226次 阅读
MLPerf最新发布人工智能推理基准的首个结果

人工智能的应用为我们的生活提供了更好的服务

这些天来,像AI这样的流行语很容易引起注意。但这并不是我唯一的意图。我的目的是就AI如何在无线电接入....
发表于 11-16 11:01 657次 阅读
人工智能的应用为我们的生活提供了更好的服务

人工智能技术在医疗保健系统中的应用

人工智能是一种高度复杂的技术,一旦实施,就需要进行持续的监督,以确保其达到预期的效果并确保其以最佳水....
发表于 11-16 10:58 215次 阅读
人工智能技术在医疗保健系统中的应用

英特尔发布新视觉处理单元(VPU),提供端到端人工智能(AI)解决方案

MyriadX是世界上第一个具有专用神经计算引擎的芯片上系统(SOC)运输,用于加速边缘的深度学习推....
发表于 11-16 10:57 150次 阅读
英特尔发布新视觉处理单元(VPU),提供端到端人工智能(AI)解决方案

阿里启动香港上市 人工智能是阿里布局之重

近日,阿里巴巴集团向香港联交所官网提交初步招股文件,正式启动赴港IPO计划。据相关报道称,阿里巴巴或....
发表于 11-15 17:52 225次 阅读
阿里启动香港上市 人工智能是阿里布局之重

人工智能怎样驱动未来生活的改革

随着技术的发展成熟,人工智能开始走出实验室,为人类生活的方方面面开始赋能。
发表于 11-15 17:41 81次 阅读
人工智能怎样驱动未来生活的改革

人工智能+大数据为什么受到了老年人的认可

该智慧养老服务平台将大数据、云计算、物联网等信息技术、人工智能、互联网思维与区域养老服务有机结合起来....
发表于 11-15 17:38 62次 阅读
人工智能+大数据为什么受到了老年人的认可

周志华版机器学习PDF云顶娱乐平台下载书免费下载

机器学习是计算机科学与人工智能的重要分支领域。 本书作为该领域的入门教材,在内容上尽可能涵盖机器学习....
发表于 11-15 17:35 36次 阅读
周志华版机器学习PDF云顶娱乐平台下载书免费下载

人工智能有着怎样的思考

计算模型和算法应提供其输入数据特征及属性调整和变化的接口,既保证算法复杂性的可收敛(如输入数据的降维....
发表于 11-15 17:25 96次 阅读
人工智能有着怎样的思考

人工智能怎样顺着风势向上发展

人工智能,已经成为全球科技竞争的制高点,并连续3年写入国务院政府工作报告。
发表于 11-15 17:21 78次 阅读
人工智能怎样顺着风势向上发展

人工智能赋能新的领域有什么亮点

“人工智能”对于用户群体在消费群体中的热度日渐增高,越来越多的行业也逐步和AI技术相融合,为的就是能....
发表于 11-15 17:13 39次 阅读
人工智能赋能新的领域有什么亮点

你安装上AI输入法了吗

AI技术也在输入准确度方面为用户带来了惊喜。
发表于 11-15 17:07 46次 阅读
你安装上AI输入法了吗

我们应该怎样看待人工智能产业创新

人工智能技术从上世纪五六十年代便已经开始发展,经过多年的探索研究,人工智能目前可以分为基础性硬件、软....
发表于 11-15 17:02 50次 阅读
我们应该怎样看待人工智能产业创新

人工智能创作成果保护问题该如何解决

人工智能技术的发展,有利于互联网公司丰富版权内容渠道,提升内容创作与分发效率,谷歌、微软、腾讯、阿里....
发表于 11-15 16:58 59次 阅读
人工智能创作成果保护问题该如何解决

从商业智能到人工智能是如何转变的

传统的商业智能已经不能满足企业数据的数量、多样性和速度性的要求,现在是让新的人工智能工具来弥补不足的....
发表于 11-15 16:55 40次 阅读
从商业智能到人工智能是如何转变的

未来的人工智能或许会怎样影响我们

人工智能(AI)无处不在,它能以各种各样的方式促进繁荣和改变我们的生活。
发表于 11-15 16:51 172次 阅读
未来的人工智能或许会怎样影响我们

人工智能和大数据如何让城市变得更加智能

探索区块链、大数据、云计算、人工智能等新ICT与新型城镇化发展战略深度融合,提高城市治理能力现代化水....
发表于 11-15 16:47 39次 阅读
人工智能和大数据如何让城市变得更加智能

人工智能的灵魂是怎样的

人工智能的崛起衍生出了多种多样的“新事物”,智能语音助手就是其中的一员。
发表于 11-15 16:43 58次 阅读
人工智能的灵魂是怎样的

以价换量 双11彩电市场只是看似风光

近期一直叫衰的彩电在双11大促中风光了一把,零售规模显著增长,有种扬眉吐气的畅快。苏宁家电数据显示,....
发表于 11-15 15:10 110次 阅读
以价换量 双11彩电市场只是看似风光

人工智能通过虚拟智能与群智能 将满足更丰富的应用场景

智能设备可以通过AI来自动执行那些原本需要人类自己完成的操作。而智能设备的自动化程度远远超越了按照预....
发表于 11-15 14:49 46次 阅读
人工智能通过虚拟智能与群智能 将满足更丰富的应用场景

如何利用物联网等技术来推动智慧生物科技时代的到来

随着生物科技与人工智能和物联网等技术融合下,围绕生物科技创新企业也迎来前所未有机遇,涌现出包括海尔生....
发表于 11-15 14:13 96次 阅读
如何利用物联网等技术来推动智慧生物科技时代的到来

3D大神也转向了通用人工智能,没能让VR进入更多个人领域

6年前,3D游戏设计大神约翰·卡马克宣布离开了自己创立的iD Software,加入Oculus V....
的头像 汽车玩家 发表于 11-15 10:54 277次 阅读
3D大神也转向了通用人工智能,没能让VR进入更多个人领域

amd新一波7nm显卡的性能如何?

继续RX 5700系列之后,AMD前不久推出了第二波7nm Navi显卡Radeon RX 5500....
的头像 汽车玩家 发表于 11-15 10:51 202次 阅读
amd新一波7nm显卡的性能如何?

AI+教育可以实现教育公平 让每个孩子都伴随着一个最优秀的老师

近日,浙江小学生佩戴监控头环上课的视频在网络上流传,视频中,孩子戴在头上的检测头环号称“脑机接口”,....
发表于 11-15 10:45 94次 阅读
AI+教育可以实现教育公平 让每个孩子都伴随着一个最优秀的老师

智能化变革能释放巨大红利 人工智能市场规模将不断增加

蓝鲸TMT频道11月14日讯,联想CEO杨元庆在联想2019创新科技大会上发表了开幕演讲,他表示,智....
发表于 11-15 10:21 43次 阅读
智能化变革能释放巨大红利 人工智能市场规模将不断增加

企业家如何利用人工智能技术来应对衰老的未来

由于医疗技术的日新月异,人们的寿命越来越长。作为一个国家,我们正在接近历史性的第一名:据预测,到20....
发表于 11-15 09:53 206次 阅读
企业家如何利用人工智能技术来应对衰老的未来

人工智能技术如何帮助初创企业处于行业中的领先地位

仅十年前,大多数人还把人工智能视为一种面向未来世界的技术,即驾驶汽车和将机器人与Jetsons交朋友....
发表于 11-15 09:53 168次 阅读
人工智能技术如何帮助初创企业处于行业中的领先地位

完全自动驾驶至少还需要5年,关键难点在传感器

汽车的云顶娱乐平台下载化,离不开云顶国际网上娱乐厂商的支持,最近云顶国际网上娱乐公司恩智浦在青岛举办了一场围绕技术的交流与分享活动,....
的头像 荷叶塘 发表于 11-14 17:26 1280次 阅读
完全自动驾驶至少还需要5年,关键难点在传感器

智能机器人的发展现状怎样

智能机器人的关键技术包括视觉、传感、人机交互和机电一体化等,可以分为工业机器人和服务机器人。
发表于 11-14 17:14 122次 阅读
智能机器人的发展现状怎样

智能巡检机器人如何在电力运维上派上用场

现代社会经济发展突飞猛进,电网的普及面也越来越广,就必然导致需要的人力资源越来越多。利用智能化机器人....
发表于 11-14 17:06 58次 阅读
智能巡检机器人如何在电力运维上派上用场

人工智能变革教育行业为何受到如此的关注

人工智能技术发展迅速,正在改变生态圈各方的参与方式,目前已经步入商业化阶段,开始对行业各参与方产生不....
发表于 11-14 17:02 144次 阅读
人工智能变革教育行业为何受到如此的关注

视觉AI导航为仓储叉车带来了什么

包括人类在内的超九成动物倚靠眼睛进行自主定位导航。近年来,视觉导航系统也越来越多的被应用于商业移动机....
发表于 11-14 16:59 48次 阅读
视觉AI导航为仓储叉车带来了什么

AI人工智能量化科技是什么东西

无论牛熊,只要存在波动,其实都是量化交易的牛市,对私有化部署有着强烈的促进作用。
发表于 11-14 16:56 45次 阅读
AI人工智能量化科技是什么东西

人工智能现在进入到了怎样的阶段

AI技术落地的成果还有很多,这些产品和生活贴得很近,能够实实在在改变人们的生活。
发表于 11-14 16:52 74次 阅读
人工智能现在进入到了怎样的阶段

AI赋能多领域的意义是什么

随着AI人工智能热度不断高涨,AI人工智能已经成为了很多领域的重要组成部分。
发表于 11-14 16:47 47次 阅读
AI赋能多领域的意义是什么

量化派AI应用平台可以带来什么好处

特别是在NLP、语音等AI核心技术领域,量化派成功实现落地应用,智能语音机器人代替人工客服,在贷后管....
发表于 11-14 16:43 54次 阅读
量化派AI应用平台可以带来什么好处

人工智能与产品应该网朝哪个方向发展

前面的专家们已经从社会、伦理、社会学等角度讲述了人工智能,而我从应用的角度谈谈人工智能到底能对我们的....
发表于 11-14 16:39 47次 阅读
人工智能与产品应该网朝哪个方向发展

当前AI芯片应该关注的是什么

万物互联成为可能,海量数据的产生在给网络带来巨大压力的同时,也进一步把算力的需求推到了边缘端。
发表于 11-14 16:34 51次 阅读
当前AI芯片应该关注的是什么

人工智能怎样赋能双十一

通过人工智能赋能,更好的实现双十一网购,这是技术赋能的一个重要体现。
发表于 11-14 16:31 43次 阅读
人工智能怎样赋能双十一

怎样去发挥工业数据优势发展人工智能

关键在于理解数据并由此创造价值,要考虑目前哪些人工智能技术可以帮助实现这一目标。
发表于 11-14 16:27 69次 阅读
怎样去发挥工业数据优势发展人工智能

三元空间是如何致人工智能走向2.0

数字经济是全球经济增长日益重要的驱动力,人工智能是赢得全球科技竞争主动权的重要战略抓手。
发表于 11-14 16:24 68次 阅读
三元空间是如何致人工智能走向2.0

美国政府为何需要在人工智能领域加强合作

此份报告由美国人工智能国家安全委员会编写,其大力主张——美国要想在与国外对手竞争时保持有关的优势,美....
发表于 11-14 16:19 88次 阅读
美国政府为何需要在人工智能领域加强合作

华为的GPU Turbo技术你知道是什么吗?

华为GPU Turbo揭秘,吓人的技术,原来只是神经网络...
发表于 11-11 06:24 47次 阅读
华为的GPU Turbo技术你知道是什么吗?

NVIDIA 在首个AI推理基准测试中大放异彩

Turing GPU、Xavier芯片系统在MLPerf基准测试中展现了巨大优势 加利福尼亚州圣克拉拉市 —— 2019年11月6日 —— &...
发表于 11-08 19:44 161次 阅读
NVIDIA 在首个AI推理基准测试中大放异彩

为什么基于GPU的二维数组加法灰色的那行会出现报错?

这是基于GPU的二维数组加法。。。然24行,就是灰色的那行,报错too few arguments in function call,但是明明形参数和实参数...
发表于 11-05 22:15 31次 阅读
为什么基于GPU的二维数组加法灰色的那行会出现报错?

【瑞芯微RK1808计算棒试用体验】搭建Linux(Ubuntu18.04)环境试用RK1808

       人工智能已成为各行各业离不开的主题,云顶娱乐平台下载发烧友论坛和瑞芯微云顶娱乐平台下载联合推出的RK1808试用活动让我们...
发表于 10-25 13:05 164次 阅读
【瑞芯微RK1808计算棒试用体验】搭建Linux(Ubuntu18.04)环境试用RK1808

基于ARM9内核的智能灭火机器人怎么设计?

人工智能也称机器智能,是一门研究人类智能机理和如何用计算机模拟人类智能活动的学科。经过50多年的发展,人工智能已形成极广泛...
发表于 10-21 06:39 190次 阅读
基于ARM9内核的智能灭火机器人怎么设计?

AI的核心是什么?

AI概念笼统,范围广大,到底什么才是AI的核心? ...
发表于 10-18 06:39 158次 阅读
AI的核心是什么?

多核处理器能够替代FPGA吗?

Peter认为,鉴于其高性能、易编程及低成本特点,GPGPU技术在许多情况下能够替代FPGA和DSP ...
发表于 10-17 08:07 100次 阅读
多核处理器能够替代FPGA吗?

DragonBoard 410c,基于Qualcomm Snapdragon 410E处理器,四核ARM-Cortex A53

...
发表于 10-16 08:42 428次 阅读
DragonBoard 410c,基于Qualcomm Snapdragon 410E处理器,四核ARM-Cortex A53

什么是Cortex-A75?

时光飞逝,好像在昨天我们才刚发布ARM Cortex-A73这款最节能的高效能Cortex应用处理器,转眼之间我们就看到Cortex-A73量...
发表于 10-15 08:28 158次 阅读
什么是Cortex-A75?

为什么说FPGA是机器深度学习的未来?

  最近几年数据量和可访问性的迅速增长,使得人工智能的算法设计理念发生了转变。人工建立算法的做法被计算机从大量数据中自动...
发表于 10-10 06:45 167次 阅读
为什么说FPGA是机器深度学习的未来?
博聚网