一、轻量语音识别 + NLU 小模型(可本地 / 端侧跑)

1) 轻量 ASR(语音识别)

  • Vosk(最推荐)
    • 最小模型仅12MB,中文模型约50MB
    • 离线、跨平台(Windows/macOS/Linux/ 树莓派)
    • 开源免费(Apache 2.0),适合私有化部署
  • SenseVoiceSmall(阿里开源)
    • 300MB,显存占用 <1.2GB
    • 多语言 + 情感 + 事件检测,延迟低
  • Whisper-Tiny/Small(OpenAI)
    • Tiny 仅39M 参数,Small 约100MB
    • 量化后更小,适合边缘设备
  • GLM-ASR-Nano(智谱)
    • 1.5B 参数,中文 / 方言强,低音量识别好

2) 轻量 NLU(意图识别)

  • Qwen3-0.6B/1.8B(通义千问)
    • 模型 <1GB,CPU 可跑,意图识别准确率90%+
    • 提示词即可做意图分类,无需复杂微调
  • SiameseUniNLU
    • 390MB,CPU 响应 <420ms
    • 专注中文意图 / 实体抽取,适合业务指令解析
  • BERT-tiny/mini
    • 几十 MB,适合简单意图匹配(如 “打开 / 关闭 / 搜索”)

3) 一体化方案(ASR+NLU)

  • SenseVoiceSmall:自带基础语义理解,可直接输出结构化意图
  • Qwen3-Omni:语音→文本→语义端到端,轻量版0.6B

二、语音控制电脑 / 网页的核心技术

1) 控制电脑(系统 / 软件)

  • 模拟键鼠pynput/pyautogui(跨平台)、pywinauto(Windows)
  • 执行系统命令subprocess(Python)、Shell 脚本
  • 流程:语音→ASR 转文本→NLU 解析意图→触发对应操作

2) 控制网页(核心原理)

  • Web 自动化框架
    • Selenium:最主流,驱动 Chrome/Firefox,模拟点击 / 输入 / 滚动
    • Playwright:微软开源,更快更稳,支持异步
    • Puppeteer:Chrome 原生,适合 JS 生态
  • 浏览器原生 API
    • Web Speech API:浏览器内置语音识别(Chrome/Edge)
    • 浏览器扩展:如 Firefox Voice,直接在浏览器内解析指令并操作
  • AI 驱动网页 Agent
    • UI-TARS Desktop(字节开源):视觉 + 语音控制网页,抗界面变动
    • Browser-Use:语音 + AI 规划复杂网页任务(如订票、填表)

3) 完整链路(一句话看懂)

语音 → ASR(Vosk/SenseVoice)→ NLU(Qwen3/Siamese)→ 执行器(Selenium/Playwright/pynput)→ 操作网页 / 电脑


三、快速落地组合(推荐)

  • 极简版:Vosk(ASR)+ 规则匹配(简单 NLU)+ Selenium
  • 智能版:SenseVoiceSmall(ASR + 基础 NLU)+ Qwen3-0.6B(复杂意图)+ Playwright
  • 纯网页版:浏览器 Web Speech API + 前端 NLU + 浏览器扩展 API

东方仙盟:拥抱知识开源,共筑数字新生态


在全球化与数字化浪潮中,东方仙盟始终秉持开放协作、知识共享的理念,积极拥抱开源技术与开放标准。我们相信,唯有打破技术壁垒、汇聚全球智慧,才能真正推动行业的可持续发展。

开源赋能中小商户:通过将前端异常检测、跨系统数据互联等核心能力开源化,东方仙盟为全球中小商户提供了低成本、高可靠的技术解决方案,让更多商家能够平等享受数字转型的红利。
共建行业标准:我们积极参与国际技术社区,与全球开发者、合作伙伴共同制定开放协议与技术规范,推动跨境零售、文旅、餐饮等多业态的系统互联互通,构建更加公平、高效的数字生态。
知识普惠,共促发展:通过开源社区、技术文档与培训体系,东方仙盟致力于将前沿技术转化为可落地的行业实践,赋能全球合作伙伴,共同培育创新人才,推动数字经济  的普惠式增长

阿雪技术观

在科技发展浪潮中,我们不妨积极投身技术共享。不满足于做受益者,更要主动担当贡献者 。无论是分享代码、撰写技术博客,还是参与开源项目维护改进,每一个微小举动都可能蕴含推动技术进步的巨大能量。东方仙盟是汇聚力量的天地,我们携手在此探索硅基 生命,为科技进步添砖加瓦。

Hey folks, in this wild tech - driven world, why not dive headfirst into the whole tech - sharing scene? Don't just be the one reaping all the benefits; step up and be a contributor too. Whether you're tossing out your code snippets  , hammering out some tech blogs, or getting your hands dirty with maintaining and sprucing up open - source projects, every little thing you do might just end up being a massive force that pushes tech forward. And guess what? The Eastern FairyAlliance is this awesome place where we all come together. We're gonna team up and explore the whole silicon - based life thing, and in the process, we'll be fueling the growth of technology.

Logo

智能硬件社区聚焦AI智能硬件技术生态,汇聚嵌入式AI、物联网硬件开发者,打造交流分享平台,同步全国赛事资讯、开展 OPC 核心人才招募,助力技术落地与开发者成长。

更多推荐