使用 NVIDIA Jetson Orin 在边缘提供服务器级性能

发布时间:2022-04-28

1655274105880063.png


AI 机器人和其他自主机器的开发和部署步伐不断加快。随着新一代应用的出现,需要大幅提升 AI 的计算性能才能处理实时并行运行的多模态 AI 应用。


在零售店、食品配送、医院、仓库、工厂车间和其他商业应用中,人类与机器人的互动日益增加。这些自主机器人必须同时执行 3D 感知、自然语言理解、路径规划、避障、位姿估测等行为。这些行为既需要超高的计算性能,还需要为每个应用训练高度准确的神经模型。


NVIDIA Jetson AGX Orin (点击前往购买)模块是 NVIDIA Jetson 家族的最新成员并且在其中具有最强大的性能。该模块具有异常强大的性能和领先的能效,可以运行所有 NVIDIA AI 软件堆栈并驱动新一代高要求边缘 AI 应用。

1655274167737853.jpg

▲ 图1 Jetson AGX Orin 模块

在 2022 年春季 GTC 大会上,NVIDIA宣布在今年第四季度推出四款 Jetson Orin 模块。Jetson Orin 模块的最高性能达到每秒 275 万亿次运算(TOPS),可在边缘运行服务器级别的 AI 并且具有端到端应用流水线加速功能。与 Jetson Xavier 模块相比,Jetson Orin 为现代 AI 应用带来了更高的性能、能效和推理能力。

1655274232510113.jpg

表1:Jetson Xavier与Jetson Orin能力对比

1655274265642459.jpg

▲ 图2 Jetson Xavier 和 Jetson Orin 模块的

AI 算力性能对比

Jetson AGX Orin 系列包括 Jetson AGX Orin 64GB 和 Jetson AGX Orin 32GB 模块。

·Jetson AGX Orin 64GB 最高算力为 275 TOPS,功率配置范围 15W 至60W。

·Jetson AGX Orin 32GB 最高算力为 200 TOPS,功率配置范围 15W 至 40W。


这些模块具有相同的紧凑外型,与 Jetson AGX Xavier 系列模块引脚兼容,性能提升了 8 倍或在相同的价格下提升了 6 倍。

边缘和嵌入式系统的传感器数量、性能和带宽继续增加。Jetson AGX Orin 系列不仅提供用于处理这些传感器的额外算力,而且还增加了 I/O:

·多达22条PCIe Gen4通道

·4个10Gb以太网

·速度更快的CSI通道

·采用64GB eMMC 5.1的双倍存储空间

·1.5倍内存带宽


1655274372999161.jpg

▲ 图3 Jetson AGX Orin 系列构建模块


NVIDIA Orin NX 系列包括 Jetson Orin NX 16GB 和 Jetson Orin NX 8GB,前者的最大 AI 算力为 100 TOPS,后者的最大 AI 算力为 70 TOPS。该系列采用与 Jetson Xavier NX 类似的设计理念。NVIDIA将 NVIDIA Orin 架构封装到最小的 Jetson 外形尺寸中(即 260 针SODIMM)并且实现了更低的功耗。


Orin NX 系列的外形与 Jetson Xavier NX 系列兼容,性能是后者的 5 倍或在相同价格下是后者的 3 倍。Orin NX 系列还提供额外的高速 I/O 能力,有多达 7 个 PCIe 通道和 3 个 10Gbps USB 3.2 接口。您可以使用额外的 PCIe 通道连接外部 NVMe 来扩展存储空间。您可以在无人机、手持设备等新一代小尺寸产品中实现这一更加强大的性能。Jetson Orin NX 16GB 的功率配置范围是 10W 至 25W,Jetson Orin NX 8GB 的功率配置范围是 10W 至 20W。


1655275286819368.jpg

▲ 图4 Jetson Orin NX 系列构建模块


Jetson AGX Xavier 围绕 NVIDIA Xavier 系统级芯片设计,NVIDIA Xavier 是NVIDIA为自主机器重新开发的第一个架构。NVIDIA Orin 架构将此类产品提升到一个新的级别,NVIDIA在此基础上不断开发出能力、性能与能效更强大的系统级芯片。

Jetson Orin 模块包含以下内容:


·NVIDIA Ampere 架构 GPU,具有多达 2048 个 CUDA 核和多达 64 个 Tensor 核

·多达 12 个 Arm A78AE CPU 核

·两个新一代深度学习加速器(DLA)

·计算机视觉加速器

各种其他用于减轻GPU和CPU处理器的负担:

·视频编码器
·视频解码器
·视频图像合成器
·图像信号处理器
·传感器处理引擎
·音频处理引擎

与其他 Jetson 模块一样,Jetson Orin 采用了系统级模块(SOM)设计。所有处理、内存和电源轨都包含在模块上。所有高速 I/O 均通过一个 699 针的连接器(Jetson AGX Orin 系列)或一个 260 针的 SODIMM 连接器(Jetson Orin NX 系列)提供。这种 SOM 设计能够让您轻松地将模块集成到您的系统设计中。


在 GTC 2022 上,NVIDIA 还宣布推出 Jetson AGX Orin 开发者套件。该开发套件包含了快速启动和运行所需的一切工具。它包括一个最高性能的 Jetson AGX Orin 模块并运行全球最先进的深度学习软件堆栈。该套件提供创建当前和未来复杂 AI 解决方案所需的灵活性。


凭借紧凑的尺寸、高速接口和大量连接器,该开发者套件非常适合用于制造、物流、零售、服务、农业、智慧城市、医疗、生命科学等领域的高级 AI 机器人和边缘应用原型设计。

1655275605900317.png

▲ 图5 Jetson AGX Orin 开发者套件



Jetson AGX Orin开发者套件包含:


·NVIDIA Ampere 架构 GPU 和 12 核 Arm Cortex-A78AE 64 位 CPU,以及新一代深度学习和视觉加速器

·高速 I/O、204.8 GB/s 内存带宽和 32 GB DRAM,能够为多个并行 AI 应用流水线提供支持

·强大的 NVIDIA AI 软件堆栈并支持 SDK 和软件平台,包括:

·NVIDIA JetPack

·NVIDIA Riva

·NVIDIA DeepStream

·NVIDIA Isaac

·NVIDIA TAO


Jetson AGX Orin 开发者套件运行最新的 NVIDIA JetPack 5.0软件。NVIDIA JetPack 5.0 支持通过 Jetson AGX Orin 开发者套件模拟 Jetson Orin NX 和 Jetson AGX Orin 系列模块的性能和时钟频率。您今天就可以开始开发这些模块中的任何一个。


Jetson AGX Orin 开发者套件可通过 NVIDIA 授权经销商中电港购买。您可以根据入门指南开始使用该套件。


微信图片\\\_20220615144753.jpg

▲ 表2:Jetson AGX Orin 系列模块和开发者套件

简要对比

Jetson Orin 大幅提升新一代应用的性能。通过使用 Jetson AGX Orin 开发者套件,NVIDIA测得了NVIDIA高精度、生产级、预训练计算机视觉和对话式 AI 模型性能的几何平均值。测试包括以下基准:


·用于人员检测的 NVIDIA PeopleNet

·NVIDIA ActionRecognitionNet 2D 和 3D 模型

·用于车牌识别的 NVIDIA LPRNet

·用于多人位姿估测的 NVIDIA DashcamNet、BodyPoseNet

·用于语音识别的 Citrinet-1024

·用于自然语言处理的 BERT-base

·用于文本-语音转换的 FastPitchHifiGanE2E


在 NVIDIA JetPack 5.0 开发者预览版中,Jetson AGX Orin 的性能比 Jetson AGX Xavier 提高了 3.3 倍。随着今后的软件改进,NVIDIA预计将实现接近 5 倍的性能提升。自首个支持该软件的版本—— NVIDIA JetPack 4.1.1 开发者预览版以来,Jetson AGX Xavier 的性能已提高了 1.5 倍。


1655275778358471.png


▲ 图6 预训练模型性能基准图


1655275865155592.png

▲ 图7 Jetson AGX Orin 的性能

依靠强大的 NVIDIA 软件,Jetson Orin 实现了领先的性能和能效。这些软件被部署在 GPU 加速数据中心、超大规模服务器和高性能 AI 工作站中。这些基准测试已在NVIDIA的 Jetson AGX Orin 开发者套件上运行。PeopleNet 和 DashcamNet 提供在 GPU 和两个 DLA 上同时运行密集模型的示例。DLA 可以用于卸载 GPU 上的一些 AI 应用,并且这一并行能力使它们能够并行运行。

PeopleNet、LPRNet、DashcamNet 和 BodyPoseNet 提供在 Jetson 上运行密集 INT8 基准测试的示例。ActionRecognitionNet 2D 和 3D 以及对话式 AI 基准测试提供密集 FP16 性能的示例。

此外,Jetson Orin 继续提高边缘 AI 的标杆,在最新 MLPerf 行业推理基准测试中进一步巩固 NVIDIA 的整体领先优势。在此次 MLPerf 基准测试中,与 Jetson AGX Xavier 之前的结果相比,Jetson AGX Orin 的性能提高了 5 倍,能效平均提高了 2 倍。


1655275968660281.png

▲ 图8 Jetson 软件概览


NVIDIA JetPack 是 Jetson 平台的基础 SDK。NVIDIA JetPack 为硬件加速边缘AI的开发提供了一个完整的开发环境。Jetson Orin 得到了 NVIDIA JetPack 5.0 的支持,后者包括:


·LTS 内核 5.10

·基于 Ubuntu 20.04 的根文件系统

·基于 UEFI 的引导程序

·带有 CUDA 11.4、TensorRT 8.4 和 cuDNN 8.3 的最新计算堆栈

·NVIDIA JetPack 5.0 还支持 Jetson Xavier 模块。


为了让您在 Jetson 平台上能够快速开发全面加速的应用,NVIDIA 为各种不同的用例提供了应用框架:


·使用 DeepStream 快速开发和部署视觉 AI 应用和服务。DeepStream 提供超越推理的硬件加速,它能为端到端 AI 流水线提供硬件加速插件。

·NVIDIA Isaac 提供硬件加速 ROS 程序包,使 ROS 开发者更容易构建高性能机器人解决方案。

·Omniverse 驱动的 NVIDIA Isaac Sim 能够创造高度逼真、达到物理级准确的虚拟环境,该工具可用于开发、测试和管理 AI 机器人。

·NVIDIA Riva 为自动语音识别(ASR)和文本-语音转换(TTS)提供最先进、可以轻松自定义的预训练模型。这些模型使您能够快速开发出 GPU 加速对话式 AI 应用。


为了加快生产级、高精度 AI 模型的开发,NVIDIA 提供多种工具用于生成训练数据、训练和优化模型以及快速创建可立即部署的 AI 模型。


用于生成合成数据的 NVIDIA Omniverse Replicator 能够创建促进模型训练的高质量数据集。您可以使用 Omniverse Replicator 创建大型、多样化的合成数据集,这些数据集在现实世界中不仅难以创建,有时甚至不可能创建。使用合成数据和真实数据来训练模型可以显著提高模型的准确率。


NGC 上的 NVIDIA 预训练模型为您提供用于各种用例的高精度优化模型和模型架构。这些预训练模型为生产级模型。通过 NVIDIA TAO(训练-调整-优化)工作流程,您可以使用自己的真实或合成数据训练并进一步自定义这些模型,最终快速构建一个准确、可立即部署的模型。