1.前言

   在 Jetson 设备上部署 AI 模型，ONNX Runtime 是绕不开的“加速器”。但很多新手（甚至老手）都会遇到一个崩溃的问题直接pip install 安装会报错找不到对于版本。                                         

   原因很简单： Jetson 的 CUDA 库是 NVIDIA 深度定制的，与 PC 端的 CUDA 完全不同。直接安装官方默认的包是不兼容的。

2.环境检查

   首先需要自己的JetPack 版本以及 Python 版本，选择对应的 whl 包。

访问链接 https://elinux.org/Jetson_Zoo#ONNX_Runtime。根据自己的版本下载对应的包。

3.安装步骤

直接

 pip install 下载的包名

如果JetPack 版本过高存在问题就需要先更新支持。然后下载其他版本的比如1.20.0。

sudo apt update
sudo apt install python3-pip -y
sudo pip install -U pip

sudo pip3 install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

注意：使用onnxruntime-gpu需要安装numpy指定版本，若不是1.23.5，可以运行下面命令安装指定版本

sudo pip3 install numpy==1.23.5

4.验证安装

import onnxruntime as ort

print(f"ONNX Runtime 版本: {ort.__version__}")
print(f"可用执行提供器: {ort.get_available_providers()}")

# 成功的标志是包含 'CUDAExecutionProvider'
if 'CUDAExecutionProvider' in ort.get_available_providers():
    print("✅ 恭喜！GPU 加速已就绪！")
else:
    print("❌ 失败！请检查 CUDA 环境或重新安装。")