AI ISP:AI 摄像头开发板真正的分水岭,一块为开发者打造的开发板
一、好玩,而且便宜
如果你是一个喜欢捣鼓硬件的开发者,你可能对各种"能跑AI的板子"有个大概的心理价位。树莓派4B四百多,还没算摄像头和NPU——AI推理全靠CPU硬算,人脸检测个位数帧率。Jetson Nano性能够了,但千元起步,功耗7-15W,接电池基本别想。ESP32-CAM十几块钱,但那是MCU,没有Linux,没有NPU,所谓的AI基本只能推图到云端。
作为一个想玩AI摄像头的人,你大概希望有这么个东西:几百块、有NPU、能接Sensor、暗光下画面能看、SDK拿来就能跑。过去这个价位是空白的。ShiMetaPi Pico-G1是第一个踩在这个空白上的板子。
板子本身分两个版本:11A(128MB DDR)和12A(256MB DDR)。价格信息见文中配图。在这个预算下,你拿到的是——1.0T NPU、完整AI ISP管线、Linux系统、MIPI CSI摄像头接口。不是MCU级别的玩具,是一颗正经的IPC芯片做成的开发板。
二、技术亮点
AI ISP黑光全彩。 这是这块板子最值钱的部分。传统摄像头在暗光下的处理链路是:Bayer Raw → Demosaic(色彩插值)→ 白平衡 → 降噪。降噪排在最后——它面对的数据已经被Demosaic扩散了三通道噪声、被白平衡拉偏了增益。在极暗环境下,你只能在YUV域擦噪声的灰烬。Pico-G1搭载的AI_NR模块把顺序倒了过来:在Bayer Raw域——Sensor最原始的单通道数据,噪声还保持着规整的泊松+高斯混合分布——直接用NPU跑深度学习降噪。处理完的干净数据再进入硬件ISP流水线。
数据:AI_NR消耗NPU约0.5T算力,支持4M分辨率@15fps实时处理。信噪比提升8dB以上——每3dB噪声功率减半,8dB意味着噪声能量压到原来的不到六分之一。0.0001 Lux极暗环境输出彩色画面,比星光(约0.001 Lux)还暗一个数量级,不需要红外补光灯。

-
1.0T NPU,忙得过来。 0.5T给AI_NR做实时降噪,0.5T给你跑检测模型。不是"今天只能开一个,明天再开另一个"的排班制——是并行,夜间彩色画面和AI检测同时在线。
-
72×21mm,DDR封在芯片里。 GK7206V1芯片内置DDR颗粒,PCB上不需要外挂内存。四层板就能画,BOM精简——对想自己画底板、打样、做外壳的极客来说,门槛立减。
-
接Sensor,不是接USB摄像头。 树莓派接USB摄像头,画质全靠那个几十块的模组自研ISP。Pico-G1的MIPI CSI直接接入Sensor原始数据,ISP管线是芯片内置的——Sensor进来的是Bayer Raw,经过AI_NR降噪→3DNR→WDR→畸变校正→Demosaic→3A,出去的是一帧成品。这个画质基线是USB摄像头方案完全达不到的。
三、开发体验
极客玩板子,最怕的事情不是参数不够,是SDK靠不住——文档写着"支持Ubuntu 18.04",你拿着22.04上去依赖全崩。教程是三年前的,社区没人回帖。交叉编译器装了两天还没装好。make一下半屏红色error。
Pico-G1的SDK是一套围绕sample程序组织的体系。核心就四个:

环境搭建:Ubuntu 18.04或20.04,SDK解压后source build/env.sh配环境,make build -j全量编译,make sample编译示例程序。烧录用USB Type-C,FastBurn工具,首次按住BOOT键上电进入下载模式,2-3分钟完成。SSH登录,跑sample,在VLC里打开RTSP推流地址——看到画面的那一刻,整个链路验证完毕。环境顺畅的话30分钟。
板子出厂自带8个已训练的检测模型,从人形检测到烟火检测,.bin格式,加载即用。如果你有自己的模型要部署,SVP框架支持PyTorch→ONNX→量化→.bin的标准转换链路。

AI_NR工具链全开放。 对极客来说,这是区分"开发板"和"黑箱模组"的关键差异。六阶段[1]:Sensor噪声标定(五个高斯-泊松参数)→数据预处理(大模型蒸馏生成训练数据对)→浮点模型微调(五档网络2M_3g到8M_19g可选,建议60+ epoch)→INT8量化微调→推理验证→TVM编译导出.xmm。换Sensor不需要等原厂支持,你自己能走完。
四、上手路线
拿到板子之后,推荐按这个顺序走:
-
第一步:跑通画面。 sample_vio支持11种工作模式——VI在线+VPSS在线、WDR模式、双目拼接、LDC畸变矫正等——先用mode 0跑通最基本的Sensor→ISP→编码→RTSP推流,确认硬件链路没问题。
-
第二步:体验AI_NR。 sample_ainr跑起来,把灯调暗,看AI_NR开启后的画质变化。你眼睛就能感受到8dB提升意味着什么。
-
第三步:跑AI检测。 sample_svp加载人形检测模型,对着摄像头走两步,终端里打印检测框坐标和置信度,画面叠加标注框。
-
第四步:折腾编码。 sample_venc切H.265和H.264,对比同画质下的码率差距。配双码流——主码流高清存本地,子码流低分辨率推手机。
前三步走完,你就拥有一台会看、会认、暗光下画面干净的AI摄像头。后面是应用层的活——你是做安防报警、做门铃逻辑、做人流统计、还是纯拿来当监控用,代码是你自己的。

参考资料:
[1] AI降噪(AI_NR)技术文档(04 AI降噪 (AI_NR).docx),ShiMeta官方开发资料:
https://forum.shimetapi.cn/wiki/zh/shimeta-pi/pico/g1/introduction/ch01-Chip-Introduction.html
更多推荐

所有评论(0)