技术文章 4

当"温柔"变成语音:首次解析风格描述如何塑造 AI 语音生成的内部机制

风格描述TTS系统可用自然语言控制语音风格,但每个词如何影响输出一直是黑箱。本文首次将计算机视觉的交叉注意力归因方法迁移到语音扩散模型,分析3600组风格-内容组合,揭示风格词的全局调控特性、与声学参数的关联、以及在扩散早期和深层网络的影响力峰值。

PASQA:专注重音质量评估的语音评估新模型——用合成语音训练出听感黄金耳朵

PASQA是首个专门针对重音正确性的语音质量评估模型。现有MOS预测模型对重音错误不敏感,而PASQA利用重音可控TTS合成训练数据,结合音节条件融合、排序损失、辅助错误定位和说话人不变训练四大技术,实现了高精度的重音质量评估,已被INTERSPEECH 2026接收。

FlowEdit:用联想记忆实现TTS终身发音自适应,让语音合成不再念错名字

FlowEdit为冻结的流匹配TTS系统引入终身发音修正框架,通过在文本嵌入空间中学习token级扰动并存储在现代Hopfield网络中,实现内容可寻址的记忆检索。在312个多语言专有名词基准上,目标词音素错误率降低92.7%,单GPU修正仅需约15秒。

FlowEdit:用联想记忆实现TTS终身发音自适应,92.7%的音素错误率降低

Flow-matching文本转语音系统虽然在零样本场景下表现出色,但部署后对专有名词的发音错误无法自动修正。本文解读Singh等人提出的FlowEdit框架,该框架将发音修正编码为潜空间条件扰动而非权重更新,并利用现代Hopfield网络作为内容寻址的情景记忆存储修正。在跨18个语系的312个多语言专有名词基准测试上,FlowEdit将目标词音素错误率降低了92.7%,单GPU仅需约15秒完成修正。