I. 執行摘要與 xiaozhi-esp32-server TTS 生態系統簡介

xiaozhi-esp32-server 專案是為開源智能硬件專案 xiaozhi-esp32 提供後端服務的核心組件，由華南理工大學劉思源教授團隊主導研發 1。其總體目標是基於人機共生智能的理論與技術，構建一個全面的智能終端軟硬件體系，旨在幫助開發者快速搭建功能強大的 ESP32 設備控制伺服器 1。在眾多功能模組中，其語音交互系統，特別是文本轉語音（Text-to-Speech, TTS）子系統，展現了高度靈活與前瞻性的架構設計。

本報告旨在深入剖析 xiaozhi-esp32-server 專案在粵語（Cantonese）TTS 功能上的實現方式、技術選型及其架構優勢。分析顯示，該專案並未選擇開發一個單一、封閉的 TTS 引擎，而是採用了一種模組化、可插拔的供應商框架。此框架使其能夠無縫整合多種第三方雲端 API 服務與本地部署模型，為用戶提供了從成本、性能、延遲到功能豐富度的全方位選擇 1。支援的服務範圍廣泛，涵蓋了如 EdgeTTS、阿里雲 TTS、騰訊雲 TTS 等成熟的雲端平台，以及 FishSpeech、GPT_SOVITS 等可在本地運行的開源模型 1。

這種以供應商為中心的模組化架構，是該專案在語音合成領域的核心戰略優勢。它不僅賦予了終端用戶根據具體應用場景（例如，低成本的個人專案或低延遲的商業產品）選擇最合適 TTS 方案的自由，更重要的是，它確保了專案的技術前瞻性與可持續性。開發團隊無需重寫核心代碼，即可通過添加新的供應商實現來快速整合業界湧現的最新、最先進的語音合成技術。

進一步審視其支援的 TTS 供應商列表，可以發現這不僅僅是一份選項清單，更反映了語音合成技術的演進軌跡以及專案開發團隊深思熟慮的技術佈局。一方面，專案整合了如微軟 EdgeTTS/Azure 這類技術成熟、服務穩定、品質可靠的雲端服務，為系統提供了一個堅實的語音輸出基線 1。這些服務代表了目前市場上廣泛應用的標準化 TTS 技術，能夠滿足絕大多數常規應用需求 3。另一方面，專案積極地跟進並整合了如 CosyVoice 這類前沿的生成式語音模型 4。這類模型不僅在語音的自然度和情感表現力上有所突破，更帶來了零樣本聲音克隆（Zero-Shot Voice Cloning）等革命性功能，極大地擴展了語音交互的想像空間 6。從專案的更新日誌和程式碼貢獻記錄中可以觀察到，這些新技術的整合是持續進行的，體現了一種不斷迭代、追求卓越的開發模式 2。這種雙軌並行的策略——既提供穩定的基礎服務，又擁抱前沿創新——使得 xiaozhi-esp32-server 能夠同時滿足不同層次用戶的需求，為入門者提供易於上手的免費方案，也為專業開發者提供了探索最新 AI 技術的通道，展現了一種極具遠見且可持續的發展理念。

II. 深度剖析：已整合且支援粵語的 TTS 供應商

本章節將對 xiaozhi-esp32-server 專案中已整合且明確支援粵語的關鍵 TTS 供應商進行深入的技術剖析。每個小節將詳細闡述特定服務的技術特性、粵語支援能力及其在專案架構中的定位與作用。

A. Microsoft EdgeTTS / Azure 認知服務語音：可靠且易於接入的基線方案

Microsoft 的語音合成服務是 xiaozhi-esp32-server 專案中一個基礎且重要的選項。其整合證據明確，主要體現在專案的程式碼提交歷史中。Pull Request #785 的標題為「添加Azure TTS文本轉語音支持」，直接確認了對 Microsoft Azure 認知服務語音的官方支援 2。同時，專案的整體功能列表中也將 EdgeTTS 列為支援的 TTS 接口之一 1。考慮到 EdgeTTS 在技術底層上利用了 Azure 的語音服務後端，兩者在功能和語音品質上具有高度的相關性。

在粵語支援方面，Microsoft 提供了高品質的神經網絡語音。官方文檔詳細列出了針對「Cantonese (Traditional, Hong Kong SAR)」的語音選項，包括名為 Danny 的男聲和名為 Tracy 的女聲 3。在進行 API 調用時，對應的語言標籤為 zh-HK 7。這些語音經過專門訓練，發音準確、語調自然，足以滿足高品質的粵語語音輸出需求。

在專案的架構定位中，EdgeTTS 扮演著「入門級」和「高性價比」的角色。在官方推薦的配置方案中，它被明確標示為「入門全免費配置」中的首選 TTS 方案（在配置中可能以 LinkeraiTTS 的名稱出現）1。這一定位使其成為個人愛好者、教育用戶以及對成本敏感的開發專案的理想選擇。用戶無需支付額外費用，即可獲得穩定且品質優良的粵語語音合成能力。

從性能角度看，作為一個雲端 API 服務，EdgeTTS/Azure 的響應時間不可避免地會受到網絡延遲的影響。儘管其合成的語音品質很高，但在專案的推薦配置中，它並未被歸類為「流式配置」的首選。這暗示其更適用於非實時或對延遲要求不高的應用場景，例如定時播報、消息通知或非連續性的問答交互。對於需要即時、流暢對話體驗的應用，可能需要考慮其他流式傳輸方案。

B. FunAudioLLM CosyVoice：前沿的生成式語音合成引擎

CosyVoice 代表了 xiaozhi-esp32-server 專案在語音合成領域技術佈局的前沿。該模型的整合得到了專案程式碼庫和發行日誌的雙重確認。Pull Request #1214，標題為「tts增加cosyvoice」，標誌著 CosyVoice 功能的正式引入 2。此外，後續版本的發行說明中也多次提及對 CosyVoice 的增強，例如「增加阿里百煉CosyVoice流式TTS」，表明其已被深度整合並作為一個核心的高級功能進行推廣 5。

CosyVoice 對粵語提供了明確且高保真度的支援。其技術文檔指出，開發者可以通過在輸入文本中加入特定的語言提示標籤 <|yue|> 來指令模型生成粵語語音 6。這種基於提示的語言控制方式精確而高效。更值得注意的是，CosyVoice 的能力不僅限於粵語，它還廣泛支援多種其他中國方言，使其成為一個功能強大的多語言、多方言語音合成解決方案，適用於複雜的語言環境 6。

在專案架構中，CosyVoice 被定位為實現頂級語音交互體驗的核心組件，其關鍵特性包括：

• 流式傳輸性能：CosyVoice 是專案官方推薦的「流式配置」中的基石 1。流式 TTS 能夠在接收到文本後立即開始生成並傳輸音頻數據，極大地降低了用戶感知的延遲，這對於創建自然、實時的對話式 AI 體驗至關重要。

• 零樣本聲音克隆：這是 CosyVoice 最具顛覆性的功能。該技術允許模型僅憑一段短促的目標語音樣本（通常幾秒鐘即可），就能夠模仿該說話者的音色、韻律和風格，而無需針對該聲音進行任何額外的模型訓練 6。xiaozhi-esp32-server 專案充分利用了這一點，其發行日誌中明確提到用戶可以「在智控台可克隆音色」，意味著用戶可以通過後台管理界面上傳音頻樣本，輕鬆創建自訂的聲音 5。

• 跨語言合成：CosyVoice 具備強大的跨語言能力。例如，它可以分析一段英語的語音樣本來克隆說話者的聲音，然後用這個克隆出的聲音來說出流利的粵語 6。此功能對於需要跨越多個市場、同時保持品牌聲音一致性的應用場景具有極高的價值。

CosyVoice 的整合，標誌著 xiaozhi-esp32-server 的 TTS 能力發生了一次根本性的範式轉移。傳統的 TTS 系統，如前述的 EdgeTTS/Azure，提供的是一個固定的、預先製作好的高品質聲音菜單，用戶的角色是從「Danny」或「Tracy」等選項中進行選擇。在這種模式下，「聲音」是一種靜態的、可供挑選的資產。然而，CosyVoice 及其零樣本聲音克隆技術徹底打破了這一模式。聲音不再是從列表中選取的，而是可以根據任何提供的音頻樣本動態地、即時地被創造出來。專案後台管理界面提供的聲音克隆功能 5，正是這一轉變在產品層面的具體體現。這意味著設備的「聲音」從一個靜態的配置選項，演變成了一個可編程、可高度個人化的動態特徵。這一轉變所帶來的應用潛力是巨大的：用戶可以讓設備用自己的聲音說話，用家人的聲音播報提醒，或者為商業應用創建獨一無二的品牌聲音。這已經遠遠超出了簡單的工具性文本朗讀，進入了深度個性化、情感連接和品牌身份塑造的全新領域。這是選擇一個生成式模型而非傳統模型所帶來的深遠影響。

III. 其他已整合 TTS 供應商及其粵語合成潛力調查

除了 Microsoft 服務和 CosyVoice 之外，xiaozhi-esp32-server 還整合了其他多個 TTS 供應商。本章節將對這些供應商進行盤點，並基於行業普遍認知評估其支援粵語的可能性，同時明確指出在現有研究材料中缺乏直接證據，旨在為用戶提供一個完整的 TTS 生態系統視圖和進一步探索的方向。

雲端 API 供應商

• 阿里雲 TTS (AliyunTTS)、騰訊雲 (Tencent Cloud)、豆包 TTS (Huoshan Engine)：這些服務均被列在專案支援的功能列表中 1。作為中國市場領先的雲計算和人工智能服務提供商，它們的語音合成服務通常非常全面。考慮到粵語在中國南方及海外華人社區的廣泛使用，這些平台的高級或付費版 TTS 服務極有可能包含高品質的粵語語音選項。專案的推薦配置中特別提到了 HuoshanDoubleStreamTTS（火山雙流式語音合成）和 AliyunStreamTTS（阿里雲流式語音合成）作為高性能的流式方案 1，這表明它們在性能和延遲方面表現優異。然而，具體的粵語聲音選項、音質以及調用方式，需要用戶查閱這些平台的官方 API 文檔來最終確認。

本地/開源供應商

• FishSpeech、GPT_SOVITS：這兩個模型被列為可本地部署的服務選項 1。它們是功能強大的開源聲音克隆和語音合成框架，深受 AI 愛好者和研究人員的歡迎。與提供預製聲音的雲端服務不同，這類框架的核心價值在於其可訓練性。它們本身並不預裝特定的粵語聲音模型，但其設計目的就是讓用戶能夠使用自己的數據集來訓練和生成聲音。因此，如果用戶擁有足夠高品質的粵語語音數據，理論上可以利用這些框架訓練出一個完全個人化、音質極高且完全在本地運行的粵語 TTS 引擎。這條路徑代表了「專家級」的選擇，它提供了最大程度的控制權和私密性，但同時也要求用戶投入顯著的時間、計算資源和專業知識來進行數據準備和模型訓練。

用戶驗證指南

對於本章節中提到的所有潛在支援粵語的供應商，建議用戶在決定採用前，務必訪問其官方網站或開發者文檔。應重點核實以下信息：

1. 是否明確列出支援粵語（Cantonese / zh-HK）。

2. 提供哪些粵語聲音選項（男聲、女聲、童聲等）。

3. 是否提供試聽樣本以評估語音的自然度和清晰度。

4. API 的定價模式和免費額度。

5. 是否支援流式傳輸。

通過上述步驟，用戶可以做出最符合其專案需求的明智選擇。

IV. 實施與配置工作流程

本章節將綜合現有信息，為用戶提供一個在 xiaozhi-esp32-server 環境中啟用和配置粵語 TTS 的實踐操作指南。分析顯示，專案通過一個抽象的供應商層和一個用戶友好的管理界面，極大地簡化了配置流程。

「智控台」（Admin Console）的核心角色

專案的主要配置界面是其基於 Web 的「智控台」1。這個圖形化管理後台將底層不同 TTS 供應商的複雜性進行了封裝，用戶無需直接修改程式碼，即可完成大部分配置工作。

配置步驟

1. 步驟一：選擇供應商
   在登錄智控台後，用戶需要找到與語音合成（TTS）相關的系統配置部分。在這裡，系統會以一個下拉選單或列表的形式，展示所有已支援的 TTS 供應商，例如 EdgeTTS、CosyVoiceTTS、AzureTTS 等。用戶的第一步就是根據自己的需求選擇一個供應商。

2. 步驟二：憑證與端點配置
   選擇供應商後，界面會動態顯示出對應的配置項。對於雲端服務（如 Azure），用戶需要填寫從服務商處獲取的 API 金鑰（API Key）、服務區域（Region）等憑證信息。對於本地部署的模型（如自架的 CosyVoice 服務），則需要填寫服務的訪問地址（URL/Endpoint）。

3. 步驟三：語音參數指定
   這是啟用粵語的關鍵步驟，具體配置方式因供應商而異：

• 對於 EdgeTTS / AzureTTS：配置界面通常會要求用戶指定所要使用的具體「聲音名稱」（Voice Name）。根據 Microsoft 的文檔，用戶應在此處填入粵語的聲音標識符，例如 zh-HK-Tracy（女聲）或 zh-HK-Danny（男聲）3。

• 對於 CosyVoice：配置方式更為靈活。用戶可能需要在一個「語言標籤」或「提示詞」欄位中，設定模型在合成時使用的語言提示，即 <|yue|> 6。如果用戶希望使用聲音克隆功能，智控台應提供上傳參考音頻文件的界面，正如發行日誌中「克隆音色」功能所暗示的那樣 5。用戶上傳樣本後，系統會生成一個對應的聲音 ID，用戶在後續配置中直接使用該 ID 即可。

底層架構：供應商抽象層

xiaozhi-esp32-server 能夠如此流暢地在多個供應商之間切換，其背後的技術核心是一個設計精良的軟件抽象層。儘管無法直接查看源碼文件，但從專案的公開活動中可以清晰地推斷出其設計模式。在為 CosyVoice 添加支援的 Pull Request #1214 中，提交信息明確提到了「add TTSProvider class」（添加 TTSProvider 類），並且記錄了一次在 main/xiaozhi-server/core/providers/tts/base.py 文件中的合併衝突 4。

這一系列線索強烈地指向了以下架構設計：

1. 系統中存在一個名為 TTSProvider 的基類（Base Class）或接口（Interface）。這個基類定義了一套所有 TTS 供應商都必須遵守的通用方法，例如 synthesize()（合成音頻）、stream()（流式合成）等。

2. 每一個具體的 TTS 服務，例如 EdgeTTS、CosyVoice、AzureTTS，都是以一個獨立的 Python 類（例如 edgetts.py、cosyvoice.py）的形式實現的。這些類繼承自 TTSProvider 基類，並實現其定義的通用方法。

3. 用戶在智控台所做的配置，實質上是告訴系統的一個工廠（Factory）或服務定位器（Service Locator）模組，在運行時應該實例化哪一個具體的 TTSProvider 子類。

這種設計模式是實現系統高度可擴展性的關鍵。它將核心業務邏輯與具體的 TTS 實現細節解耦。對於希望添加一個目前尚未被官方支援的粵語 TTS 引擎（例如，某個新興的開源模型）的開發者而言，他們只需要參照現有供應商的實現，創建一個新的、同樣繼承自 TTSProvider 的類，並在其中完成對新引擎 API 的調用邏輯，即可將其無縫整合到整個系統中。

V. 比較分析與策略建議

為幫助用戶在不同的粵語 TTS 方案之間做出最優選擇，本章節將對已確認支援粵語的供應商進行全面的比較分析，並針對不同類型的用戶和應用場景，提出具體的策略建議。選擇 TTS 供應商不僅僅是語言支援問題，更是在語音品質、延遲、功能、成本和實施複雜度等多個維度之間的權衡。

決策驅動因素

• 語音品質與自然度：合成語音是否聽起來像真人，語調和情感是否豐富。

• 延遲：從發送文本到接收到音頻的響應時間，流式傳輸能力是關鍵。

• 功能集：是否支援聲音克隆、跨語言合成、語速/音調調整等高級功能。

• 成本：是免費、按量付費，還是需要投入硬件資源進行本地部署。

• 實施複雜度：配置過程是否簡單直觀。

供應商比較矩陣

下表將前述分析濃縮為一個直觀的比較矩陣，以幫助用戶快速評估各方案的優劣。

表 1：xiaozhi-esp32-server 中已確認的粵語 TTS 供應商比較矩陣

功能維度	Microsoft EdgeTTS / Azure	FunAudioLLM CosyVoice
主要整合依據	Pull Request #785 2	Pull Request #1214 4
粵語聲音選項	固定的神經網絡語音 (zh-HK-Danny, zh-HK-Tracy) 3	通過 `<
語音品質	高品質（專業級神經網絡語音）	頂尖水平（生成式模型，表現力強）
流式傳輸支援	否（在專案文檔中被歸為非流式方案）	是（核心功能，是「流式配置」的一部分） 1
高級功能	標準功能（語速、音高、音量調整）	零樣本聲音克隆、跨語言合成 5
成本/授權	免費方案 (EdgeTTS) / 按量付費 (Azure)	模型開源；成本在於本地或雲端 GPU 的計算/託管費用
主要應用場景	通用目的、成本敏感型應用、通知播報	實時對話代理、個性化助手、品牌專屬聲音

策略建議

基於上述比較分析，針對不同用戶群體提出以下建議：

• 推薦給個人愛好者與原型開發者：Microsoft EdgeTTS
  對於個人專案、學習用途或產品原型驗證階段，成本控制往往是首要考慮因素。EdgeTTS 提供了零成本的接入點，同時其神經網絡語音的品質已經非常出色，足以滿足非商業應用和功能驗證的需求。其配置簡單，無需管理複雜的本地服務，是快速實現粵語發聲功能的最佳入門選擇。

• 推薦給高性能對話式 AI 應用開發者：FunAudioLLM CosyVoice
  對於追求極致用戶體驗的商業產品或高級對話式 AI 應用，CosyVoice 是不二之選。其低延遲的流式傳輸能力是實現自然、流暢人機對話的基礎。更重要的是，其聲音克隆功能為產品差異化提供了強大的武器。開發團隊可以為其 AI 助手創建一個獨一無二的、符合品牌形象的聲音，或者允許終端用戶將助手的聲音設定為自己或家人的聲音，從而建立更深層次的情感連接。雖然這需要投入一定的計算資源進行部署和託管，但其帶來的體驗提升和商業價值是巨大的。

• 推薦給追求極致客製化與控制權的專家用戶：本地可訓練模型
  對於有特殊需求（例如，需要一種特定風格的粵語聲音，或對數據私密性有最高要求）的專家級用戶或研究機構，探索使用 FishSpeech 或 GPT_SOVITS 等開源框架進行本地模型訓練是最終極的解決方案。這條路徑賦予了用戶完全的控制權，可以從零開始打造一個完全符合自己需求的粵語 TTS 引擎。然而，這需要用戶具備深厚的 AI 專業知識、高質量的訓練數據集以及強大的計算能力，是一項資源密集型的工作。

VI. 結論：研究結果綜合與未來展望

本報告的深入分析表明，xiaozhi-esp32-server 專案為實現粵語文本轉語音（TTS）功能提供了強大、靈活且分層的支援。該專案的架構設計成功地滿足了從個人愛好者到專業開發者的廣泛用戶需求。用戶既可以利用免費、便捷的 Microsoft EdgeTTS 服務快速搭建基礎應用，也可以部署尖端的生成式模型 CosyVoice 來打造具有獨特聲音標識和卓越交互體驗的高級產品。

專案的架構卓越性體現在其模組化、供應商無關的設計理念上。這種設計不僅賦予了系統當前的靈活性，更為其未來的發展奠定了堅實的基礎。在語音合成技術日新月異的今天，一個能夠輕鬆接納新技術的開放框架，是確保專案長期保持活力和競爭力的關鍵。xiaozhi-esp32-server 的架構使其能夠與快速發展的語音合成領域保持同步，持續為用戶帶來最前沿的技術。

展望未來，專案對 CosyVoice 這類生成式模型的整合，清晰地揭示了其對未來語音交互發展趨勢的深刻洞察。未來的語音交互將不再滿足於單一、機械的聲音，而是朝著超個性化、情感豐富和動態聲音身份的方向發展。用戶將期望與更具「人性」和個性的 AI 進行交流。xiaozhi-esp32-server 憑藉其前瞻性的架構和對前沿技術的積極擁抱，不僅僅是當下構建智能設備的有力工具，更是一個為下一代智能語音交互設備做好了充分準備的先進平台。

引用的著作

1. xinnan-tech/xiaozhi-esp32-server: 本项目为xiaozhi-esp32提供后端服务，帮助您快速搭建ESP32设备控制服务器。Backend service for xiaozhi-esp32, helps you quickly build an ESP32 device control server. - GitHub, 檢索日期：10月 26, 2025， https://github.com/xinnan-tech/xiaozhi-esp32-server

2. Pull requests · xinnan-tech/xiaozhi-esp32-server - GitHub, 檢索日期：10月 26, 2025， https://github.com/xinnan-tech/xiaozhi-esp32-server/pulls

3. Appendix A: Supported languages and voices, 檢索日期：10月 26, 2025， https://support.microsoft.com/en-us/windows/appendix-a-supported-languages-and-voices-4486e345-7730-53da-fcfe-55cc64300f01

4. tts增加cosyvoice #1214 - xinnan-tech/xiaozhi-esp32-server - GitHub, 檢索日期：10月 26, 2025， https://github.com/xinnan-tech/xiaozhi-esp32-server/pull/1214

5. Releases · xinnan-tech/xiaozhi-esp32-server - GitHub, 檢索日期：10月 26, 2025， https://github.com/xinnan-tech/xiaozhi-esp32-server/releases

6. FunAudioLLM/CosyVoice2-0.5B - Hugging Face, 檢索日期：10月 26, 2025， https://huggingface.co/FunAudioLLM/CosyVoice2-0.5B

7. Language support for Immersive Reader - Azure AI services - Microsoft Learn, 檢索日期：10月 26, 2025， https://learn.microsoft.com/en-us/azure/ai-services/immersive-reader/language-support

8. CosyVoice 3: Towards In-the-wild Speech Generation via Scaling-up and Post-training, 檢索日期：10月 26, 2025， https://arxiv.org/html/2505.17589v2

9. CosyVoice TTS #2 | Open-source Base Model Voice Cloning & Cross-Lingual - YouTube, 檢索日期：10月 26, 2025， https://www.youtube.com/watch?v=ewm3K9EUlLo

10. CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models, 檢索日期：10月 26, 2025， https://funaudiollm.github.io/cosyvoice2/