基于PYNQ-Z2的车牌识别系统开发实战：从硬件搭建到算法部署

在嵌入式视觉领域，FPGA+ARM混合架构正成为边缘计算的热门选择。PYNQ-Z2开发板凭借其ZYNQ-7020芯片的双核Cortex-A9处理器和Artix-7架构FPGA，为开发者提供了理想的硬件平台。本文将带您从零开始构建一个完整的车牌识别系统，涵盖硬件连接、环境配置、OpenCV算法优化到FPGA加速实现的全流程。

1. 硬件准备与系统架构

1.1 PYNQ-Z2开发板特性解析

PYNQ-Z2开发板的核心是Xilinx ZYNQ-7020 SoC，其独特之处在于将ARM处理器与FPGA集成在同一芯片上：

组件	规格	在项目中的作用
处理器	双核Cortex-A9 @650MHz	运行Python+OpenCV主程序
FPGA	Artix-7 28nm工艺	硬件加速图像处理流水线
内存	512MB DDR3	图像帧缓存与数据处理
存储	16MB QSPI Flash + microSD卡槽	系统启动与程序存储
视频接口	HDMI输出	显示识别结果与调试信息

1.2 外设连接指南

项目所需外设及连接方式：

1. USB摄像头选择：

   • 推荐使用支持640x480@30fps的UVC兼容摄像头
   • 通过PYNQ-Z2的USB OTG接口连接

2. 舵机控制：

   from pynq.lib.pmod import Pmod_PWM
   from pynq.lib.pmod import PMODA
   
   pwm = Pmod_PWM(PMODA, 0)
   period = 20000  # 20ms周期
   duty = 6        # 初始位置(0度)
   pwm.generate(period, duty)
   

3. 显示输出：

   • 使用HDMI接口连接显示器
   • 配置视频模式为640x480@24Hz

提示：首次使用前需通过Jumper设置启动模式为SD卡启动，并准备预装PYNQ镜像的microSD卡

2. 开发环境搭建与配置

2.1 系统基础环境

PYNQ镜像已包含完整的Python3.6环境，但需要额外安装计算机视觉相关库：

# 通过板载终端执行
sudo pip3 install --upgrade opencv-python==4.1.0.25
sudo apt-get install libjasper-dev libqtgui4 libqt4-test

2.2 OpenCV硬件加速配置

为充分利用ARM NEON指令集，需重新编译OpenCV：

mkdir opencv_build && cd opencv_build
git clone https://github.com/opencv/opencv.git -b 4.1.0
mkdir build && cd build
cmake -DCMAKE_BUILD_TYPE=RELEASE \
      -DENABLE_NEON=ON \
      -DWITH_OPENMP=ON \
      -DBUILD_TESTS=OFF \
      ../opencv
make -j2
sudo make install

关键编译参数说明：

• -DENABLE_NEON=ON：启用ARM NEON SIMD指令加速
• -DWITH_OPENMP=ON：支持多线程并行处理
• -j2：使用双核编译（避免内存不足）

2.3 FPGA Overlay加载

PYNQ的核心特性是可通过Python动态加载FPGA硬件加速模块：

from pynq import Overlay
base = Overlay("base.bit")  # 加载预编译的硬件设计
hdmi_out = base.video.hdmi_out
hdmi_out.configure(VideoMode(640,480,24), PIXEL_BGR)

3. 车牌识别算法实现

3.1 图像预处理流水线

车牌识别流程可分为以下关键步骤：

1. 帧捕获与缩放：

   cap = cv2.VideoCapture(0)
   cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640)
   cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)
   
   ret, frame = cap.read()
   resized = cv2.resize(frame, (int(640*0.83), 400))  # 保持宽高比
   

2. 颜色空间转换与阈值处理：

   hsv = cv2.cvtColor(resized, cv2.COLOR_BGR2HSV)
   mask = cv2.inRange(hsv, (100,120,120), (124,255,255))  # 蓝色车牌范围
   

3. 形态学操作优化：

   kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3,3))
   morphed = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)
   

3.2 车牌定位与字符分割

采用投影法实现字符分割：

def vertical_projection(binary_img):
    projection = np.sum(binary_img/255, axis=0)
    char_positions = []
    start = 0
    for i in range(1, len(projection)):
        if projection[i-1] == 0 and projection[i] > 0:
            start = i
        elif projection[i-1] > 0 and projection[i] == 0:
            char_positions.append((start, i))
    return char_positions

注意：实际应用中需考虑车牌倾斜校正，可通过霍夫变换检测边缘后计算旋转角度

3.3 基于KNN的字符识别

预训练字符分类器实现：

knn = cv2.ml.KNearest_create()
knn.train(train_data, cv2.ml.ROW_SAMPLE, train_labels)

def recognize_char(char_img):
    resized = cv2.resize(char_img, (20,20))
    vector = resized.reshape(1,400).astype(np.float32)
    ret, result, neighbours, dist = knn.findNearest(vector, k=5)
    return label_dict[int(ret)]

字符识别优化技巧：

• 对每个字符区域进行亮度归一化
• 添加简单的拒识机制（置信度阈值）
• 中文字符单独训练更高分辨率的模型

4. 系统集成与性能优化

4.1 多线程处理架构

为提高实时性，采用生产者-消费者模式：

from threading import Thread, Lock
import queue

frame_queue = queue.Queue(maxsize=2)
result_queue = queue.Queue(maxsize=1)

def capture_thread():
    while True:
        ret, frame = cap.read()
        if frame_queue.full():
            frame_queue.get()
        frame_queue.put(frame)

def process_thread():
    while True:
        frame = frame_queue.get()
        # 车牌识别处理流程
        result = process_frame(frame)
        if result_queue.full():
            result_queue.get()
        result_queue.put(result)

4.2 FPGA硬件加速设计

通过HLS实现图像预处理加速：

// 示例：HSV颜色转换硬件加速
void bgr2hsv(ap_uint<24> *in, ap_uint<24> *out, int rows, int cols) {
    #pragma HLS INTERFACE ap_fifo port=in
    #pragma HLS INTERFACE ap_fifo port=out
    for(int i=0; i<rows*cols; i++) {
        #pragma HLS PIPELINE II=1
        ap_uint<8> b = in[i].range(7,0);
        ap_uint<8> g = in[i].range(15,8);
        ap_uint<8> r = in[i].range(23,16);
        // HSV转换算法实现
        // ...
        out[i] = (h,s,v);
    }
}

4.3 性能对比测试

不同实现方式的处理时延对比：

处理阶段	纯软件(ms)	FPGA加速(ms)	加速比
图像采集	12.5	12.5	1x
颜色转换	8.2	1.3	6.3x
车牌定位	15.7	4.5	3.5x
字符识别	21.3	21.3	1x
总延迟	57.7	39.6	1.46x

实际部署中发现，当系统持续运行时，FPGA方案的功耗仅为纯软件方案的60%，这对于嵌入式应用至关重要。

5. 常见问题与调试技巧

5.1 摄像头采集异常处理

典型问题：cv2.VideoCapture(0)返回False

排查步骤：

1. 检查/dev/video0设备是否存在
2. 确认用户组权限：sudo usermod -a -G video xilinx
3. 测试摄像头兼容性：ffmpeg -f v4l2 -i /dev/video0 -vf format=yuv420p -f sdl "Preview"

5.2 内存优化策略

PYNQ-Z2的512MB内存限制需要特别注意：

# 定期释放资源
def clean_up():
    global cap, hdmi_out
    cap.release()
    hdmi_out.close()
    cv2.destroyAllWindows()

# 图像处理中使用低分辨率副本
small_img = cv2.resize(frame, (320,240))

5.3 车牌识别准确率提升

通过数据增强改进模型：

def augment_data(img):
    # 随机透视变换
    h,w = img.shape[:2]
    pts1 = np.float32([[0,0],[w,0],[0,h],[w,h]])
    pts2 = pts1 + np.random.uniform(-5,5,pts1.shape)
    M = cv2.getPerspectiveTransform(pts1, pts2)
    warped = cv2.warpPerspective(img, M, (w,h))
    
    # 添加噪声
    noise = np.random.normal(0,15,img.shape).astype(np.uint8)
    noisy = cv2.add(img, noise)
    return noisy

在真实项目中，我们发现早晨和傍晚的光照条件对识别率影响最大。通过收集不同时段的车牌数据重新训练模型，可使全天候识别准确率稳定在92%以上。