跳转到内容
主站 新闻 控制台

深入解析 Phonon TTS:推出登顶基准测试的高质量端侧语音

· Hugging Face
教程模型卡

视频 1

两周前,我们开源了 Phonon——一款可在本地设备上运行的小型文本转语音(TTS)模型。它无需服务器,也无需网络连接,你所输入的文本内容完全保留在本地。

迄今为止获得的反响让我们倍感欣喜。在此,我们想分享本次发布背后的故事:我们为何打造 Phonon、它的能力、随附的演示案例(Demo),以及它在 Hugging Face 开源 TTS 排行榜(Open TTS Leaderboard)上的表现。

为什么语音模型应该运行在本地设备上

绝大多数语音 AI 都运行在云端:每一句话都需要在客户端与服务器之间往返传输。而 Phonon 则直接运行在你的设备本地。你的文本保留在本地,且语音功能在离网状态下亦可正常使用。此外,我们还开源了模型权重。Phonon 31M 采用 Apache 2.0 许可证,你可以免费将其用于商业产品中。其余模型则采用 CC BY-NC 许可证,对非商业项目免费开放;如果你想将这些模型用于商业产品,收费将基于用户数量,而非生成的语音时长。

让高品质的语音模型在小型设备上流畅运行一直是一大难题。模型体积做得足够小,音质往往不够理想;而如果追求极致音质,模型体积又无法塞入端侧设备。我们同时解决了这两个问题。

我们在四月份公布了 Phonon,并在接下来的六个月中与合作伙伴及早期用户共同打磨。他们的反馈帮助我们塑造了此次发布的版本:模型体积进一步缩减,新增了对更多语言的支持,并通过声音克隆(Voice Cloning)和声音设计(Voice Design)实现了自定义音色的支持。

Phonon 承袭自 Pocket TTS 系列,因此采用流匹配(Flow Matching)技术生成音频,这与其他 TTS 系统采用的建模技术截然不同。正是这项技术使我们能够在一个极小体积的模型中实现如此高水准的音质,但也为模型训练带来了全新挑战。训练初期曾出现数值不稳定的问题,我们通过多项技巧才在全部五种语言上取得了高质量的生成效果。

发布内容

Phonon 提供两种尺寸,体积分别约为 65 MB 和 75 MB。它们共同支持英语、法语、德语、西班牙语和葡萄牙语。模型内置了 100 多种声音,你也可以在 Gradium Studio 中定制专属音色。此外,Phonon 还能妥善处理大多数其他 TTS 系统经常出错的关键内容,如电话号码、日期和代码等。

它可以在手机、笔记本电脑、单板计算机(SBC)乃至浏览器标签页中直接运行,你现在就可以在线试听。Phonon 31M 支持英语并采用 Apache 2.0 许可证,开发者可自由基于其进行开发(包括商业产品)。Phonon 40M 则在非商业许可证下覆盖全部五种语言。

演示案例与首批项目

随本次发布一同推出的,还有来自社区伙伴及我们团队内部的一系列演示案例。在关闭 Wi-Fi 的 Apple Watch 上,Phonon 可以一步一步指导你冲泡咖啡;在无信号的 iPhone 上,它能帮你记录健身动作次数并为你加油打气;Autonomous 开发的机器人 Lamp 戴着分院帽,用特定的角色音进行对话;在浏览器中,离线恐龙快跑游戏摇身一变成为了由 Rex 主持的电台节目;此外,还有完全在玩家本地设备上配音的科幻游戏,以及逐页朗读的普鲁斯特著作。

Hugging Face 团队完成了 Transformers 集成,因此开发者从上线首日起便可在 Transformers 库中直接使用 Phonon。

开发者们也已经开始基于它进行构建。一个 ExecuTorch 转换版本可以在浏览器中直接调用访客的本地 GPU 运行 Phonon,[Micdrop](https