跳转到内容
主站 新闻 控制台

推出 AnySpeechRecognizer 与 AnyDecisionModel:面向 Apple 平台的语音与决策开源模型

· Hugging Face
教程模型卡

语言模型能做的事情很多。它们可以写作、总结、翻译和调用工具。但这仅仅是机器学习所能实现能力的冰山一角。

假设有客户拨打了您的客服热线。首先,您需要了解他们说了什么(语音识别)。然后,您需要决定将他们转接至何处(决策)。你可以将这两项任务都交给语言模型处理,但针对各自场景专门构建的模型往往效果更好、速度更快且成本更低。

在我们的 AnyLanguageModel 1.0 回顾中,我们梳理了 Swift 中本地与托管模型一年的发展历程。随着 AnyLanguageModel 和 swift-huggingface 发布 1.x 版本,我们正将相同的设计思路扩展至语音与决策领域:提供熟悉的 Swift API,同时支持自由选择模型。

今天,我们正式发布两个软件包:

  • AnySpeechRecognizer 实现了 Apple 全新的语音转文本(speech-to-text)API,并支持自由选择识别引擎,包括在 Core ML 上本地运行的 NVIDIA Parakeet 和阿里巴巴的 Qwen3-ASR,同时还加入了说话人日志(speaker diarization)功能,用于追踪说话人身份及发言时段。
  • AnyDecisionModel 用于回答“是/否”、多项选择以及等级评分等问题,并返回类型化结果及对应概率。它直接根据模型的概率推导出每个答案,而非生成文本,支持通过设备端上的 MLX、Core AI 或 llama.cpp 运行模型,亦可使用来自 Jev 或 Ollama 的决策模型。

这两个软件包均支持从 Hugging Face Hub 下载开源模型并在端侧本地运行。

AnySpeechRecognizer

计算机进行语音转写已有数十年的历史,而在过去的几年里,这项技术的表现已经非常出色。Apple 平台此前就已提供相关 API。macOS 26 和 iOS 26 引入了 SpeechAnalyzer,这是 Apple 全新的语音转文本 API。你可以向分析器中添加如 SpeechTranscriber 和 SpeechDetector 等模块,传入音频文件或音频缓冲区流(audio buffer stream),并在异步序列(async sequences)生成结果时实时读取。AssetInventory 负责管理模型资产的安装,以便你的应用决定何时进行下载。

这是一套设计优良的 API,但其底层唯一的引擎是 Apple 官方引擎。AnySpeechRecognizer 沿用了这套 API,并允许你自由选择底层引擎:

import Speech
import AnySpeechRecognizer

该软件包映射了 SpeechAnalyzer、SpeechTranscriber、DictationTranscriber、SpeechDetector 和 AssetInventory,并以 Apple 的 Speech 框架作为默认引擎。如果你的代码使用的是这套通用 API,只需更改导入语句(import)即可。若要改用 Parakeet,只需修改转录器(transcriber)的创建方式:

let transcriber = SpeechTranscriber(
model: ParakeetSpeechModel(variant: .v3),
transcriptionOptions: [],
reportingOptions: [.volatileResults],
attributeOptions: [.audioTimeRange]
)

安装资源资产、运行分析器以及读取结果的步骤保持不变。README 中提供了一个完整的示例,并列出了与 Apple 框架的差异。

认识这些模型

Parakeet v3 是 NVIDIA 推出的 Parakeet TDT 0.6B v3。它是一个多语言通:支持识别 25 种欧洲语言,并能自动判断所听到的语言类型,因此无需传入区域设置(locale)。

Parakeet Ultra 是 Moondream 基于 v3 进行后训练(post-trained)的版本。在我们的绝大多数实测评估中,它的准确度都更高。

Parakeet Unified 是 NVIDIA 推出的仅支持英语的 Parakeet 版本。

这三款 Parakeet 模型均运行在软件包内置的 Core ML 运行时(runtime)上,支持音频文件和实时流输入、临时结果(volatile results)、词级时间戳(word timing)以及词级置信度(word confidence)。

Qwen3-ASR 是阿里巴巴的语音模型,提供 0.6B 和 1.7B 两种尺寸。它支持 30 种语言和 22 种中文方言,涵盖了 Parakeet 未覆盖的普通话、粤语、日语和韩语等。它可以自动检测语言,也支持手动指定:

let transcriber = SpeechTranscriber(
model: QwenSpeechModel(variant: .large, language: Locale.Language(identifier: "yue")),
transcr