
细看 Phonon TTS:高质量端侧语音开源并登顶基准

Phonon 是 Gradium 开源的小型 TTS 模型,专门跑在端侧设备上,不需要服务器和网络。官方在发布两周后复盘了这次开放:为什么做、能力边界、演示、以及 Hugging Face 排行榜上的表现。模型基于 Pocket TTS 血统,使用 flow matching 生成音频,与常见 TTS 系统的建模方式不同。作者承认,训练初期数值不稳定,需要一些特殊技巧才能在全部五种语言上得到合格结果。
Phonon 提供两个尺寸,约 65 MB 和 75 MB,覆盖英语、法语、德语、西班牙语和葡萄牙语。内置超过 100 种声音,并可通过 Gradium Studio 创建自定义声音。其中 Phonon 31m 采用 Apache 2.0 许可,可免费用于商业产品;其他模型为 CC BY-NC,非商业项目免费,商业授权按用户数计费而非按生成的语音量。它能正确处理电话号码、日期、代码等大多数 TTS 系统容易出错的输入。模型可运行在手机、笔记本、单板电脑和浏览器标签页中。发布时附带了多个演示:Apple Watch 在 Wi-Fi 关闭时逐步讲解咖啡冲泡;iPhone 无信号时计数健身次数;机器人 Lamp 以角色口吻说话;离线恐龙跑酷变成电台节目等。Hugging Face 团队从第一天起就做了 Transformers 集成。社区也出现了 ExecuTorch 转换、Node.js 绑定等项目。Phonon 发布两周内下载超过 200,000 次。
在 Hugging Face 的 Open TTS Leaderboard 上,Phonon 在可懂度(输出词错误率)方面德语和西班牙语排名第一,在评估的所有语言中均进入前三,而对比的模型有比它大 100 倍的。速度方面,它在 CPU 流式基准的首次音频输出时间(time-to-first audio)上登顶。
推理方面,Gradium 为 Phonon 构建了新的推理框架 ptts,支持超过 10 种后端:CPU(Intel、Arm、WebAssembly)、GPU(CUDA、Vulkan、Metal、WebGPU)、NPU(Apple Core ML、Snapdragon)。Phonon 也作为参考 PyTorch 实现集成进 Transformers(v5.21 起)。ptts 面向端侧单流,Transformers 则面向 GPU 吞吐,支持批处理、torch.compile。代码示例展示,加载模型后打印参数为 30,788,354,音频 tokenizer 的参数为 10,305,313。
在 Transformers 中,Phonon 以自回归方式生成音频 latent,每个 latent 作为下一步输入。音频 tokenizer 把音频映射为 latent,扮演文本模型中 tokenizer 的角色。声音不是录音,而是 speaker latents 的张量,通过 chat template 把语音位置、文本和音频起始 token 组合起来,使用方式与其他多模态模型一致。
未来方向:Phonon 可以克隆任意声音(从短录音,需说话者同意),或在 Gradium Studio 中用文字描述新声音。官方也提供定制服务,包括更小的模型、增加韩语/阿拉伯语/日语、以及针对产品词汇微调。


