在智能设备不断走向“实时交互化”的今天，音视频能力正在成为门铃、摄像头、AI 终端与边缘设备的基础能力之一。从远程可视对讲到 AI 语音助手，从实时预览到云端推流，开发者面临的核心挑战已经从“是否能实现”转向“如何更快、更稳定、更低成本地实现”。

乐鑫信息科技 (688018.SH) 推出 ESP-WebRTC 音视频实时通信方案，面向 ESP32 系列 SoC，帮助开发者快速构建具备低延迟、高可靠性的音视频应用。

ESP-WebRTC 方案概览

ESP-WebRTC 音视频实时通信方案基于 WebRTC 标准能力构建，覆盖从设备端到云端的完整链路：

• 设备端音视频采集与处理
• 实时音视频传输与 Data Channel 通信
• 远端播放与交互控制
• 云端信令与服务接入

开发者可以直接基于官方示例工程进行快速验证，也可以根据产品需求在硬件配置、云端平台与交互逻辑上灵活扩展，从而显著降低从技术评估到产品落地的开发成本。

ESP-WebRTC 方案架构

ESP-WebRTC 采用模块化设计，将实时通信能力拆分为信令、连接、采集与渲染四大部分，实现从设备端采集到终端播放的完整音视频链路。

1. ESP-Signaling：负责信令交互与会话建立，支持多种云端服务接入；
2. ESP-Peer：提供 Peer Connection、媒体流与 Data Channel 能力，实现实时音视频与业务数据传输；
3. ESP-Capture：统一管理摄像头、麦克风等输入设备，完成媒体采集与预处理；
4. AV-Render：负责音视频解码、渲染与输出，实现终端侧播放体验。

通过模块化架构设计，开发者既可以快速搭建完整的实时音视频系统，也能够根据产品需求灵活组合不同组件，加速从原型验证到产品落地。

ESP-WebRTC 核心优势

1. 极低延迟：支持音频、视频与 Data Channel 实时传输，适用于可视对讲、远程预览与协同控制。
2. 稳定连接：集成 ICE、STUN、TURN、双角色 ICE 与候选优化机制，结合 DTLS-SRTP 对媒体面进行加密与完整性保护。
3. 广泛编解码支持：支持 H.264、MJPEG、OPUS、G.711A、G.711U 等主流音视频编解码格式，并可同步承载业务控制与事件类消息。
4. 轻量高效：采用多线程运行架构，对协议栈进行深度优化，兼顾性能、稳定性、代码体积与资源开销。
5. 灵活信令接入：支持 OpenAI、WHIP、AppRTC、KVS、Janus 及自定义信令，便于接入云端与 AI 服务。
6. 一站式集成：统一封装 Peer Connection、RTP、SCTP、信令、采集与播放能力，帮助开发者快速完成集成、验证与量产。

官方推荐开发板选择

立即体验 ESP-WebRTC 方案

开源的 ESP-WebRTC 方案为智能设备提供可复用的实时音视频底座，为 ESP32 系列 SoC 提供完整的实时音视频通信框架，覆盖媒体采集、对等连接、信令交互、渲染播放与示例应用，帮助开发者快速完成原型验证与产品集成。

未来，乐鑫也将持续优化实时音视频能力，为更多 AIoT 应用场景提供更高效的开发支持。如果您对 ESP32-S31、ESP32-P4 系列产品感兴趣，欢迎购买样品或联系乐鑫客户支持团队。