FunASR speaker diarization：多说话人识别技术详解

喻珺闽

2315人浏览 · 2026-05-19 16:36:03

喻珺闽 · 2026-05-19 16:36:03 发布

FunASR speaker diarization：多说话人识别技术详解

【免费下载链接】FunASR A Fundamental End-to-End Speech Recognition Toolkit and Open Source SOTA Pretrained Models, Supporting Speech Recognition, Voice Activity Detection, Text Post-processing etc. 项目地址: https://gitcode.com/GitHub_Trending/fun/FunASR

在会议记录、访谈转录等场景中，我们经常需要区分音频中不同说话人的发言内容。这就需要用到说话人识别（Speaker Diarization） 技术，它能自动将音频流分割成不同说话人的语音片段。FunASR作为一款开源的端到端语音识别工具包，提供了高效、准确的多说话人识别能力。本文将详细介绍FunASR中的说话人识别技术原理、实现细节及应用方法。

技术原理：从语音到说话人标签

核心流程

FunASR的说话人识别技术主要基于SOND（Speaker Overlap-aware Neural Diarization）模型，其核心流程包括：

语音特征提取：将原始音频转换为梅尔频谱特征
说话人嵌入（Speaker Embedding）：通过编码器生成说话人特征向量
相似度计算：比较语音片段与说话人嵌入的相似度
时间序列分类：预测每个时间帧的说话人标签

关键算法

XVector编码器：用于生成说话人嵌入向量，源码实现见funasr/models/xvector/e2e_sv.py
功率集编码（PSE）：处理说话人重叠场景，将多标签问题转换为单标签分类
在线说话人置换：通过随机置换说话人顺序增强模型泛化能力

代码实现：核心模块解析

XVector说话人编码器

XVector是一种广泛使用的说话人嵌入模型，在FunASR中的实现位于funasr/models/xvector目录。核心代码片段：

class ESPnetSVModel(FunASRModel):
    def __init__(self, vocab_size, encoder, pooling_layer, decoder, ...):
        self.encoder = encoder        # XVector编码器
        self.pooling_layer = pooling_layer  # 统计池化层
        # ...
        
    def encode(self, speech, speech_lengths):
        # 1. 特征提取与增强
        feats, feats_lengths = self._extract_feats(speech, speech_lengths)
        # 2. 编码器前向传播
        encoder_out, encoder_out_lens = self.encoder(feats, feats_lengths)
        # 3. 池化层计算说话人嵌入
        speaker_emb = self.pooling_layer(encoder_out, encoder_out_lens)
        return speaker_emb

SOND模型架构

SOND模型是处理重叠说话人的核心，实现于funasr/models/sond/e2e_diar_sond.py，其关键步骤包括：

class DiarSondModel(FunASRModel):
    def prediction_forward(self, speech, speech_lengths, profile, profile_lengths):
        # 1. 语音编码
        speech_enc, speech_len = self.encode_speech(speech, speech_lengths)
        # 2. 说话人编码
        spk_enc, spk_len = self.encode_speaker(profile, profile_lengths)
        # 3. 计算相似度矩阵
        ci_simi, cd_simi = self.calc_similarity(speech_enc, spk_enc)
        # 4. 分类预测
        logits = self.post_net_forward(torch.cat([cd_simi, ci_simi], dim=2), speech_len)
        return logits

实战应用：从音频到说话人标签

预处理流程

音频预处理模块funasr/utils/speaker_utils.py提供了完整的数据准备功能：

音频加载与格式转换：支持多种输入格式（文件路径、numpy数组）
特征标准化：计算梅尔频谱并进行均值归一化
语音分块：将长音频分割为1.5秒的语音块，重叠0.75秒

核心代码示例：

def sv_preprocess(inputs):
    output = []
    for inp in inputs:
        if isinstance(inp, str):
            # 文件读取
            file_bytes = File.read(inp)
            data, fs = sf.load(io.BytesIO(file_bytes), dtype="float32")
        elif isinstance(inp, np.ndarray):
            # 数组转换
            data = inp.astype("float32")
        data = torch.from_numpy(data)
        output.append(data)
    return output

后处理优化

为提高识别结果的可读性，后处理模块实现了：

标签校正：统一说话人ID编号
片段合并：合并连续相同说话人的片段
平滑处理：修正短时错误标签

def postprocess(segments, labels, embeddings):
    # 标签校正
    labels = correct_labels(labels)
    # 片段合并
    distribute_res = merge_seque(distribute_res)
    # 平滑处理
    distribute_res = smooth(distribute_res)
    return distribute_res

应用场景与性能评估

典型应用

会议记录：自动区分参会人发言
电话客服：分离客服与用户对话
语音监控：识别特定说话人出现时段

性能指标

FunASR的说话人识别性能主要通过DER（Diarization Error Rate） 评估，在标准数据集上的表现：

低重叠场景：DER < 5%
中等重叠场景：DER < 15%
高重叠场景：DER < 25%

快速开始：使用FunASR进行说话人识别

环境准备

# 克隆仓库
git clone https://gitcode.com/gh_mirrors/fu/FunASR
cd FunASR

# 安装依赖
pip install -r requirements.txt

基础用法

from funasr import AutoModel

# 加载模型
model = AutoModel(model="sond", model_revision="v2.0.4")

# 输入音频
audio_path = "test.wav"

# 执行说话人识别
result = model(audio_path)
print(result)
# 输出格式: [{"start": 0.0, "end": 3.5, "spk": 0}, ...]