使用 NVIDIA Jetson Orin 在边缘提供服务器级性能
AI 机器人和其他自主机器的开发和部署步伐不断加快。随着新一代应用的出现，需要大幅提升 AI 的计算性能才能处理实时并行运行的多模态 AI 应用。
在零售店、食品配送、医院、仓库、工厂车间和其他商业应用中，人类与机器人的互动日益增加。这些自主机器人必须同时执行 3D 感知、自然语言理解、路径规划、避障、位姿估测等行为。这些行为既需要超高的计算性能，还需要为每个应用训练高度准确的神经模型。
NVIDIA Jetson AGX Orin （点击前往购买）模块是 NVIDIA Jetson 家族的最新成员并且在其中具有最强大的性能。该模块具有异常强大的性能和领先的能效，可以运行所有 NVIDIA AI 软件堆栈并驱动新一代高要求边缘 AI 应用。
▲ 图1 Jetson AGX Orin 模块
在 2022 年春季 GTC 大会上，NVIDIA宣布在今年第四季度推出四款 Jetson Orin 模块。Jetson Orin 模块的最高性能达到每秒 275 万亿次运算（TOPS），可在边缘运行服务器级别的 AI 并且具有端到端应用流水线加速功能。与 Jetson Xavier 模块相比，Jetson Orin 为现代 AI 应用带来了更高的性能、能效和推理能力。
表1：Jetson Xavier与Jetson Orin能力对比
▲ 图2 Jetson Xavier 和 Jetson Orin 模块的
AI 算力性能对比
Jetson AGX Orin 系列包括 Jetson AGX Orin 64GB 和 Jetson AGX Orin 32GB 模块。
·Jetson AGX Orin 64GB 最高算力为 275 TOPS，功率配置范围 15W 至60W。
·Jetson AGX Orin 32GB 最高算力为 200 TOPS，功率配置范围 15W 至 40W。
这些模块具有相同的紧凑外型，与 Jetson AGX Xavier 系列模块引脚兼容，性能提升了 8 倍或在相同的价格下提升了 6 倍。
边缘和嵌入式系统的传感器数量、性能和带宽继续增加。Jetson AGX Orin 系列不仅提供用于处理这些传感器的额外算力，而且还增加了 I/O：
·多达22条PCIe Gen4通道
·4个10Gb以太网
·速度更快的CSI通道
·采用64GB eMMC 5.1的双倍存储空间
·1.5倍内存带宽
▲ 图3 Jetson AGX Orin 系列构建模块
NVIDIA Orin NX 系列包括
Jetson Orin NX 16GB 和 Jetson Orin NX 8GB，前者的最大 AI 算力为 100 TOPS，后者的最大 AI
算力为 70 TOPS。该系列采用与 Jetson Xavier NX 类似的设计理念。NVIDIA将 NVIDIA Orin 架构封装到最小的
Jetson 外形尺寸中（即 260 针SODIMM）并且实现了更低的功耗。
Orin NX 系列的外形与 Jetson Xavier NX 系列兼容，性能是后者的 5 倍或在相同价格下是后者的 3 倍。Orin NX 系列还提供额外的高速 I/O 能力，有多达 7 个 PCIe 通道和 3 个 10Gbps USB 3.2 接口。您可以使用额外的 PCIe 通道连接外部 NVMe 来扩展存储空间。您可以在无人机、手持设备等新一代小尺寸产品中实现这一更加强大的性能。Jetson Orin NX 16GB 的功率配置范围是 10W 至 25W，Jetson Orin NX 8GB 的功率配置范围是 10W 至 20W。
▲ 图4 Jetson Orin NX 系列构建模块
Jetson AGX Xavier 围绕 NVIDIA Xavier 系统级芯片设计，NVIDIA Xavier 是NVIDIA为自主机器重新开发的第一个架构。NVIDIA Orin 架构将此类产品提升到一个新的级别，NVIDIA在此基础上不断开发出能力、性能与能效更强大的系统级芯片。
Jetson Orin 模块包含以下内容：
·NVIDIA Ampere 架构 GPU，具有多达 2048 个 CUDA 核和多达 64 个 Tensor 核
·多达 12 个 Arm A78AE CPU 核
·两个新一代深度学习加速器（DLA）
·计算机视觉加速器
各种其他用于减轻GPU和CPU处理器的负担：
·视频编码器
·视频解码器
·视频图像合成器
·图像信号处理器
·传感器处理引擎
·音频处理引擎
与其他 Jetson 模块一样，Jetson Orin 采用了系统级模块（SOM）设计。所有处理、内存和电源轨都包含在模块上。所有高速 I/O 均通过一个 699 针的连接器（Jetson AGX Orin 系列）或一个 260 针的 SODIMM 连接器（Jetson Orin NX 系列）提供。这种 SOM 设计能够让您轻松地将模块集成到您的系统设计中。
在 GTC 2022 上，NVIDIA 还宣布推出 Jetson AGX Orin 开发者套件。该开发套件包含了快速启动和运行所需的一切工具。它包括一个最高性能的 Jetson AGX Orin 模块并运行全球最先进的深度学习软件堆栈。该套件提供创建当前和未来复杂 AI 解决方案所需的灵活性。
凭借紧凑的尺寸、高速接口和大量连接器，该开发者套件非常适合用于制造、物流、零售、服务、农业、智慧城市、医疗、生命科学等领域的高级 AI 机器人和边缘应用原型设计。
▲ 图5 Jetson AGX Orin 开发者套件
Jetson AGX Orin开发者套件包含：
·NVIDIA Ampere 架构 GPU 和 12 核 Arm Cortex-A78AE 64 位 CPU，以及新一代深度学习和视觉加速器
·高速 I/O、204.8 GB/s 内存带宽和 32 GB DRAM，能够为多个并行 AI 应用流水线提供支持
·强大的 NVIDIA AI 软件堆栈并支持 SDK 和软件平台，包括：
·NVIDIA JetPack
·NVIDIA Riva
·NVIDIA DeepStream
·NVIDIA Isaac
·NVIDIA TAO
Jetson AGX Orin 开发者套件运行最新的 NVIDIA JetPack 5.0软件。NVIDIA JetPack 5.0 支持通过 Jetson AGX Orin 开发者套件模拟 Jetson Orin NX 和 Jetson AGX Orin 系列模块的性能和时钟频率。您今天就可以开始开发这些模块中的任何一个。
Jetson AGX Orin 开发者套件可通过 NVIDIA 授权经销商中电港购买。您可以根据入门指南开始使用该套件。
▲ 表2：Jetson AGX Orin 系列模块和开发者套件
简要对比
Jetson Orin 大幅提升新一代应用的性能。通过使用 Jetson AGX Orin 开发者套件，NVIDIA测得了NVIDIA高精度、生产级、预训练计算机视觉和对话式 AI 模型性能的几何平均值。测试包括以下基准：
·用于人员检测的 NVIDIA PeopleNet
·NVIDIA ActionRecognitionNet 2D 和 3D 模型
·用于车牌识别的 NVIDIA LPRNet
·用于多人位姿估测的 NVIDIA DashcamNet、BodyPoseNet
·用于语音识别的 Citrinet-1024
·用于自然语言处理的 BERT-base
·用于文本-语音转换的 FastPitchHifiGanE2E
在 NVIDIA JetPack 5.0 开发者预览版中，Jetson AGX Orin 的性能比 Jetson AGX Xavier 提高了 3.3 倍。随着今后的软件改进，NVIDIA预计将实现接近 5 倍的性能提升。自首个支持该软件的版本—— NVIDIA JetPack 4.1.1 开发者预览版以来，Jetson AGX Xavier 的性能已提高了 1.5 倍。
▲ 图6 预训练模型性能基准图
▲ 图7 Jetson AGX Orin 的性能
依靠强大的 NVIDIA 软件，Jetson Orin 实现了领先的性能和能效。这些软件被部署在 GPU 加速数据中心、超大规模服务器和高性能 AI 工作站中。这些基准测试已在NVIDIA的 Jetson AGX Orin 开发者套件上运行。PeopleNet 和 DashcamNet 提供在 GPU 和两个 DLA 上同时运行密集模型的示例。DLA 可以用于卸载 GPU 上的一些 AI 应用，并且这一并行能力使它们能够并行运行。
PeopleNet、LPRNet、DashcamNet 和 BodyPoseNet 提供在 Jetson 上运行密集 INT8 基准测试的示例。ActionRecognitionNet 2D 和 3D 以及对话式 AI 基准测试提供密集 FP16 性能的示例。
此外，Jetson Orin 继续提高边缘 AI 的标杆，在最新 MLPerf 行业推理基准测试中进一步巩固 NVIDIA 的整体领先优势。在此次 MLPerf 基准测试中，与 Jetson AGX Xavier 之前的结果相比，Jetson AGX Orin 的性能提高了 5 倍，能效平均提高了 2 倍。
▲ 图8 Jetson 软件概览
NVIDIA JetPack 是 Jetson 平台的基础 SDK。NVIDIA JetPack 为硬件加速边缘AI的开发提供了一个完整的开发环境。Jetson Orin 得到了 NVIDIA JetPack 5.0 的支持，后者包括：
·LTS 内核 5.10
·基于 Ubuntu 20.04 的根文件系统
·基于 UEFI 的引导程序
·带有 CUDA 11.4、TensorRT 8.4 和 cuDNN 8.3 的最新计算堆栈
·NVIDIA JetPack 5.0 还支持 Jetson Xavier 模块。
为了让您在 Jetson 平台上能够快速开发全面加速的应用，NVIDIA 为各种不同的用例提供了应用框架：
·使用 DeepStream 快速开发和部署视觉 AI 应用和服务。DeepStream 提供超越推理的硬件加速，它能为端到端 AI 流水线提供硬件加速插件。
·NVIDIA Isaac 提供硬件加速 ROS 程序包，使 ROS 开发者更容易构建高性能机器人解决方案。
·Omniverse 驱动的 NVIDIA Isaac Sim 能够创造高度逼真、达到物理级准确的虚拟环境，该工具可用于开发、测试和管理 AI 机器人。
·NVIDIA Riva 为自动语音识别（ASR）和文本-语音转换（TTS）提供最先进、可以轻松自定义的预训练模型。这些模型使您能够快速开发出 GPU 加速对话式 AI 应用。
为了加快生产级、高精度 AI 模型的开发，NVIDIA 提供多种工具用于生成训练数据、训练和优化模型以及快速创建可立即部署的 AI 模型。
用于生成合成数据的 NVIDIA Omniverse Replicator 能够创建促进模型训练的高质量数据集。您可以使用 Omniverse Replicator 创建大型、多样化的合成数据集，这些数据集在现实世界中不仅难以创建，有时甚至不可能创建。使用合成数据和真实数据来训练模型可以显著提高模型的准确率。
NGC 上的 NVIDIA 预训练模型为您提供用于各种用例的高精度优化模型和模型架构。这些预训练模型为生产级模型。通过 NVIDIA TAO（训练-调整-优化）工作流程，您可以使用自己的真实或合成数据训练并进一步自定义这些模型，最终快速构建一个准确、可立即部署的模型。