GTC19 | NVIDIA 发布全新推理软件,开创交互式会话 AI 新时代

GTC19 | NVIDIA 发布全新推理软件,开创交互式会话 AI 新时代

NVIDIA TensorRT 7 编译器实时推理能力,实现更加智能的 AI 人机交互

NVIDIA 于今日发布一款突破性的推理软件。借助于该软件,全球各地的开发者都可以实现会话式 AI 应用,大幅减少推理延迟。而此前,巨大的推理延迟一直都是实现真正交互式互动的一大阻碍。


NVIDIA TensorRT™ 7 作为 NVIDIA 第七代推理软件开发套件,为实现更加智能的 AI 人机交互打开了新大门,从而能够实现与语音代理、聊天机器人和推荐引擎等应用进行实时互动。


据 Juniper Research 估计,全世界有 32.5 亿个数字语音助理被应用于设备中。到 2023 年,该数字预计将达到 80 亿,比当今全球人口总和还要多。


TensorRT 7 内置新型深度学习编译器。该编译器能够自动优化和加速递归神经网络与基于转换器的神经网络。这些日益复杂的神经网络是 AI 语音应用所必需的。与在 CPU 上运行时相比,会话式 AI 组件速度提高了 10 倍以上,从而将延迟降低到实时交互所需的 300 毫秒阈值以下。


NVIDIA 创始人兼首席执行官黄仁勋在 GTC China 主题演讲中表示:“我们已进入了一个机器可以实时理解人类语言的AI新时代。TensorRT 7 使这成为可能,为世界各地的开发者提供工具,使他们能够构建和部署更快、更智能的会话式 AI 服务,从而实现更自然的 AI 人机交互。”


全球一些最大、最具创新性的公司已在使用 NVIDIA 的会话式 AI 加速功能。在首批使用 NVIDIA 会话式 AI 加速能力的企业中,包括了阿里巴巴、滴滴出行、美团、快手、平安、搜狗、腾讯和字节跳动等一些中国最具创新力的领先企业。


搜狗公司为全球使用频率最高的手机应用程序——微信,提供搜索服务。搜狗首席技术官杨洪涛表示:“搜狗每天通过输入法、AI 硬件、搜索等产品为数亿用户提供语音、图像、翻译、对话以及问答等优质的 AI 服务,我们使用 NVIDIA TensorRT 推理平台实现线上实时快速的服务响应,领先的 AI 能力显著提升了我们的用户体验。”


 

递归神经网络变得日益重要


TensorRT 7 加快了 AI 模型的领域扩展。这些模型被用于预测使用递归循环结构(RNN)的时间序列、数据情景。除了用于会话式 AI 语音网络之外,RNN 还可以帮助规划汽车或卫星到达时间、预测电子病历中的异常情况预测金融资产和识别欺诈。


RNN配置和功能组合的爆炸式增长为快速部署可以满足实时性能标准的生产代码带来了挑战,使得开发者需要花费长达数月的时间创建手写代码优化,从而使得会话式 AI 仅局限于拥有必要专业人才的少数公司。


通过TensorRT 的新型深度学习编译器,全球各地的开发者能够将这些网络(例如定制的自动语音识别网络以及用于文本-语音转换的 WaveRNN 和 Tacotron 2)实现自动化,并实现最佳的性能和最低的延迟。


新的编译器还能优化基于 transformer 的模型,例如用于自然语言处理的 BERT 等。


从边缘到云,为推理提供加速


TensorRT 7 可以快速优化、验证并部署经过训练的神经网络,为超大型数据中心、嵌入式或汽车 GPU 平台提供推理能力。


NVIDIA 的推理平台,包括 TensorRT 以及多个 NVIDIA CUDA-X AI™  库和NVIDIA GPU,不只能为会话式 AI 提供低延迟、高吞吐量的推理能力,也同样能为包括图像分类、欺诈识别、分割、目标检测和推荐引擎在内的其它应用提供低延迟、高吞吐量的推理能力。该平台的各项能力已被一些世界领先的企业和消费技术公司广泛使用,其中包括阿里巴巴、美国运通(American Express)、PayPal、Pinterest、Snap、腾讯和 Twitter。

供应方式


TensorRT 7 将在未来几天内开放访问,以用于开发和部署。NVIDIA 开发者计划成员可通过 TensorRT 网页免费获得 TensorRT 7。此外,新版本插件、语法分析器和样本也将作为开放资源,通过 TensorRT GitHub 库提供。