Jetson Nano实战：YOLOv5s模型与TensorRT加速的实时检测性能调优指南

在边缘计算设备上实现高效的实时目标检测一直是计算机视觉领域的挑战。Jetson Nano作为一款轻量级AI计算平台，配合YOLOv5s模型和TensorRT加速引擎，能够在资源受限的环境中实现令人满意的检测性能。本文将深入探讨如何通过系统级优化手段，将USB摄像头实时检测的FPS从基础水平提升至25帧以上。

1. 硬件配置与环境准备

要让Jetson Nano发挥最佳性能，合理的硬件配置和系统设置是基础。我们首先需要关注几个关键配置点：

显存分配优化 是提升Jetson Nano性能的第一步。默认配置下，系统可能没有充分利用可用内存资源。通过修改交换空间配置，可以显著改善内存使用效率：

sudo gedit /etc/systemd/nvzramconfig.sh

找到内存分配参数并调整为：

mem=$((("${totalmem}"*2/"${NRDEVICES}")*1024))

修改后重启设备，使用 free -h 命令验证交换空间是否已增加。在我的测试中，这一调整使得可用交换空间从默认的3.8GB提升到了7.7GB。

CUDA环境配置 同样至关重要。确保在 .bashrc 文件中正确设置了CUDA路径：

export CUDA_HOME=/usr/local/cuda-10.2
export LD_LIBRARY_PATH=/usr/local/cuda-10.2/lib64:$LD_LIBRARY_PATH
export PATH=/usr/local/cuda-10.2/bin:$PATH

验证CUDA安装是否成功：

nvcc -V

2. 软件栈部署与模型选择

选择合适的软件版本和模型尺寸对性能影响显著。以下是经过验证的稳定组合：

组件	推荐版本	备注
JetPack	4.6	2021年8月发布
PyTorch	1.8.0	需使用ARM架构版本
YOLOv5	v6.0	支持TensorRT加速
TensorRT	随JetPack安装	无需单独安装

对于模型选择，YOLOv5系列提供了多种尺寸：

• YOLOv5n ：超轻量级，速度最快但精度较低
• YOLOv5s ：平衡型，推荐大多数场景使用
• YOLOv5m/l/x ：更大模型，精度更高但速度下降

在实际测试中，YOLOv5s模型在Jetson Nano上实现了最佳的精度-速度平衡。以下是通过TensorRT加速的典型性能对比：

模型	原始FPS	TensorRT加速后FPS	提升幅度
YOLOv5n	18	28	55%
YOLOv5s	12	25	108%
YOLOv5m	7	15	114%

3. TensorRT加速实战

TensorRT是NVIDIA推出的高性能推理优化器，能够显著提升模型在Jetson平台上的运行效率。以下是完整的加速流程：

1. 生成中间权重文件 ：

python3 gen_wts.py -w yolov5s.pt -o yolov5s.wts

2. 构建TensorRT引擎 ：

mkdir build
cd build
cmake ..
make -j4
sudo ./yolov5 -s yolov5s.wts yolov5s.engine s

3. 关键参数调优 ： 在 yolov5.cpp 中，有几个影响性能的重要参数需要关注：

#define CONF_THRESH 0.25  // 置信度阈值，降低可提升召回率但可能增加误检
#define NMS_THRESH 0.4    // NMS阈值，影响重叠框的处理
#define BATCH_SIZE 1      // Jetson Nano建议保持为1

在实际测试中，将 CONF_THRESH 从默认的0.5调整为0.25，可以在保持合理精度的同时显著提升检测率。

4. USB摄像头实时检测优化

实现稳定的USB摄像头视频流处理需要特别注意以下几点：

视频采集优化 ：

cv::VideoCapture capture(0); // 0表示第一个摄像头
if (!capture.isOpened()) {
    std::cout << "无法打开摄像头" << std::endl;
    return -1;
}

帧处理流水线 ：

1. 从摄像头获取帧
2. 图像预处理（尺寸调整、颜色空间转换）
3. 执行推理
4. 后处理（NMS、绘制检测框）
5. 显示结果

性能监测代码 ：

auto start = std::chrono::system_clock::now();
// 执行推理
auto end = std::chrono::system_clock::now();
int fps = 1000.0 / std::chrono::duration_cast<std::chrono::milliseconds>(end - start).count();

在实际部署中，我发现以下几个技巧特别有效：

• 使用 cv::cuda::GpuMat 将图像数据保留在GPU内存中，避免主机与设备间的数据传输
• 关闭不必要的调试输出和日志记录
• 确保摄像头支持MJPG编码，通常能获得更高的帧率

5. 高级调优技巧

模型量化 是进一步提升性能的有效手段。TensorRT支持FP16和INT8量化：

// 在构建引擎时添加
config->setFlag(BuilderFlag::kFP16);  // 启用FP16模式

FP16量化通常能带来1.5-2倍的加速，而精度损失可以忽略不计。INT8量化需要校准数据，但能进一步提速。

多线程处理 可以充分利用Jetson Nano的四核CPU：

• 使用一个线程专门负责图像采集
• 另一个线程处理推理
• 第三个线程负责结果显示

这种流水线设计可以有效隐藏延迟，提升整体吞吐量。

温度管理 也不容忽视。持续高负载运行可能导致节流降频：

sudo apt-get install lm-sensors
sudo sensors-detect
watch -n 1 sensors

如果温度过高，可以考虑：

• 添加散热风扇
• 调整工作频率
• 优化算法减少计算量

经过系统优化后，我的Jetson Nano在室温25℃环境下，运行YOLOv5s模型进行实时检测时，温度稳定在65℃左右，没有出现性能下降。