引言

三维立体图（特别是随机点立体图SIRDS）是一种利用双眼视差原理，将三维信息编码在二维图像中的视觉艺术。九十年代风靡一时的“魔幻眼”图片就是典型代表。本文将带领大家使用C++和OpenCV，从零实现一个实时三维立体图生成器，支持摄像头、视频文件、图像作为输入，并可通过滑动条实时调整参数，最终输出可观看的立体图或录制视频。文章不仅提供完整代码，还会记录开发过程中遇到的典型错误及解决方案，希望能帮助读者深入理解立体视觉和OpenCV应用。

1. 原理简介

1.1 双眼视差与立体视觉

人眼之所以能感知深度，是因为左右眼观察同一物体时存在细微的位置差异（视差）。大脑将两幅略有差异的图像融合，产生立体感。随机点立体图正是通过人为制造这种视差，让大脑“看”到隐藏的三维形状。

1.2 随机点立体图（SIRDS）生成原理

SIRDS的核心思想：将一幅随机点图案作为背景，然后根据深度图中每个像素的深度值，对水平方向上的像素进行不同程度的偏移。偏移量越大，该点看起来越远；偏移量越小，看起来越近。这样，左右眼看到的图案虽然都是随机点，但由于偏移差异，大脑融合后就能感知到深度。

具体算法（以平行法观看为例）：

• 生成一张随机彩色点图作为基础纹理 pattern。

• 准备一张灰度深度图 depthMap，值域0~1，1表示最近，0表示最远。

• 对于输出图像的每一行，从左到右处理：

  • 将前 separation 列直接复制 pattern 的对应列（作为左眼参考）。

  • 对于后续列 x，根据深度值计算偏移量 offset = separation - depth * separation * 0.8，然后取 x - offset 处的像素值作为当前列的值。

  • 这样，深度越大的点偏移越小，与左眼基准列的差异越小，看起来越近。

2. 项目整体设计

2.1 功能需求

• 输入源：支持摄像头实时画面、视频文件、静态图像作为背景纹理。

• 深度源：支持程序生成的3D形状（球体、金字塔、双球、正弦波）和从外部文件加载的灰度深度图。

• 输出：实时显示生成的立体图，并可保存为PNG或录制为AVI视频。

• 交互：通过滑动条实时调整视差分离度、形状类型、随机点大小；通过快捷键控制录制、保存、重置等。

• 健壮性：处理输入源尺寸变化、文件不存在等异常。

2.2 模块划分

├── CMakeLists.txt          # 构建脚本
├── config.ini               # 可选配置文件
└── src/
    └── stereogram_advanced.cpp  # 主程序

3. 核心代码实现详解

3.1 CMakeLists.txt

cmake_minimum_required(VERSION 3.15)
project(AdvancedStereogram)

set(CMAKE_CXX_STANDARD 17)
find_package(OpenCV REQUIRED)

add_executable(stereogram_advanced src/stereogram_advanced.cpp)
target_link_libraries(stereogram_advanced ${OpenCV_LIBS})

set_target_properties(stereogram_advanced PROPERTIES
    RUNTIME_OUTPUT_DIRECTORY ${CMAKE_BINARY_DIR}/bin)

3.2 核心算法：generateStereogram

Mat generateStereogram(const Mat& pattern, const Mat& depthMap, int separation) {
    CV_Assert(pattern.size() == depthMap.size());
    int width = pattern.cols, height = pattern.rows;
    Mat stereogram = pattern.clone();

    for (int y = 0; y < height; y++) {
        vector<Vec3b> columnColors(width);
        // 初始化前separation列
        for (int x = 0; x < separation && x < width; x++)
            columnColors[x] = pattern.at<Vec3b>(y, x % pattern.cols);

        for (int x = separation; x < width; x++) {
            float depth = depthMap.at<float>(y, x);
            int offset = separation - (int)(depth * separation * 0.8f);
            offset = max(1, min(offset, separation));
            int srcX = x - offset;
            columnColors[x] = (srcX >= 0) ? columnColors[srcX] :
                               pattern.at<Vec3b>(y, (x + width) % pattern.cols);
        }
        for (int x = 0; x < width; x++)
            stereogram.at<Vec3b>(y, x) = columnColors[x];
    }
    return stereogram;
}

注意：当 srcX < 0 时采用回绕（wrap around）策略，避免访问越界，同时保持背景连续性。

3.3 深度图生成（程序化）

Mat generateDepthMap(int width, int height, int shapeType) {
    Mat depthMap = Mat::zeros(height, width, CV_32F);
    int cx = width/2, cy = height/2;
    int maxR = min(cx, cy) * 0.8;
    for (int y=0; y<height; y++) {
        for (int x=0; x<width; x++) {
            float depth = 0.0f;
            // 根据shapeType计算深度值（略）
            depthMap.at<float>(y,x) = depth;
        }
    }
    return depthMap;
}

支持四种形状：球体、金字塔、双球、正弦波。代码中采用距离函数计算归一化深度。

3.4 实时处理主循环

主函数 processRealtimeStereogram 负责打开输入源、创建窗口、处理键盘事件、循环读取帧并生成立体图。关键点：

• 尺寸同步：获取输入源实际尺寸 actualWidth/actualHeight，后续所有图像都缩放到此尺寸。

• 背景与深度选择：根据配置选择随机点背景或图像背景，深度图可以是外部文件或程序生成。

• 滑动条回调：使用OpenCV的 createTrackbar 创建三个滑动条，回调函数中更新全局变量。

• 录制功能：使用 VideoWriter 将显示画面写入视频文件。

尺寸不一致的陷阱：早期版本中，当摄像头实际分辨率与配置不符时，onShapeTypeChange 回调仍使用配置尺寸生成深度图，导致 pattern.size() != depthMap.size() 断言失败。修正方案是将实际尺寸存入全局变量，回调中据此生成。

// 全局变量
int g_actualWidth, g_actualHeight;

void onShapeTypeChange(int val, void*) {
    g_config.shapeType = val;
    if (g_config.depthFile.empty()) {
        g_depthMap = generateDepthMap(g_actualWidth, g_actualHeight, val);
    }
}

3.5 配置加载/保存

通过简单的 config.ini 文件保存常用参数，支持命令行覆盖。loadConfig 和 saveConfig 函数使用 ifstream/ofstream 解析键值对。

4. 遇到的错误及解决

4.1 错误1：OpenCV断言失败 pattern.size() == depthMap.size()

现象：运行时出现 OpenCV(4.7.0) error: (-215:Assertion failed) pattern.size() == depthMap.size() in function 'generateStereogram'。

原因：输入源实际分辨率（如摄像头支持640x480）与配置中指定的 width/height 可能不一致（例如摄像头只支持1280x720）。而深度图生成时使用了配置尺寸，导致与背景图尺寸不匹配。

解决：

• 在打开输入源后，通过 cap.get(CAP_PROP_FRAME_WIDTH/HEIGHT) 获取实际分辨率，并保存在全局变量中。

• 所有后续需要生成或调整尺寸的地方（如深度图生成、背景加载）都使用这个实际尺寸。

• 在 onShapeTypeChange 回调中，也使用实际尺寸生成深度图。

4.2 错误2：libv4l2: warning v4l2 mmap buffers still mapped on close()

现象：程序退出时终端显示此警告。

原因：这是Linux下V4L2驱动的正常警告，表示摄像头设备关闭时内存映射缓冲区未完全释放，通常不影响程序功能，但说明资源清理不够彻底。

解决：确保在程序退出前调用 cap.release() 释放摄像头资源，我们的代码已经包含。警告本身无害，可忽略。

4.3 其他可能问题及预防

• 摄像头打开失败：检查设备ID或权限，可在代码中添加重试机制。

• 文件不存在：加载图像或深度图前用 !img.empty() 判断，并给出明确错误提示。

• 内存泄漏：使用 Mat 的自动内存管理，避免手动 new/delete。

• 滑动条回调中访问未初始化变量：确保全局变量在使用前已赋值（如实际尺寸）。

5. 编译与运行指南

5.1 编译

mkdir build && cd build
cmake ..
make

5.2 运行

# 使用默认摄像头
./bin/stereogram_advanced

# 使用视频文件作为输入
./bin/stereogram_advanced --video input.mp4

# 加载外部深度图
./bin/stereogram_advanced --depth depth.png

# 使用固定背景图像，关闭随机点
./bin/stereogram_advanced --image background.jpg --random 0

# 查看所有命令行选项
./bin/stereogram_advanced --help

5.3 快捷键

按键	功能
ESC	退出
r	重新生成随机点背景
s	保存当前立体图为PNG
c	保存当前配置到 config_saved.ini
v	开始/停止录制输出视频
1-4	快速切换形状类型（仅程序生成深度有效）
+/-	调整分离度
滑动条	实时调节分离度、形状类型、点大小

6. 改进与扩展方向

1. 集成真实深度相机：可扩展为从Intel RealSense、Kinect等设备获取实时深度图，实现“摄像头画面变立体”。

2. GPU加速：核心循环可移植到CUDA/OpenCL，提升高分辨率下的实时性能。

3. 更多形状：在 generateDepthMap 中添加数学公式生成复杂3D形状，或加载3D模型。

4. 移动端适配：使用OpenCV的Java或Swift接口，打包成Android/iOS应用。

5. 立体视频播放器：将本程序改造为支持左右格式3D视频的播放器。

7. 总结

本文详细介绍了如何使用C++和OpenCV实现一个实时三维立体图生成器，涵盖了原理、设计、核心代码、错误排查及使用说明。通过这个项目，读者可以加深对立体视觉的理解，掌握OpenCV的图像处理、视频IO、GUI交互等技能。希望本文能为您的学习或项目开发提供帮助。