AI最前沿 88Z.ai 4 月 1 日消息，美团LongCat团队发布LongCat-AudioDiT模型，实现零样本音色克隆SOTA性能。该模型直接在波形潜空间进行扩散生成，摒弃传统梅尔频谱中间表示以避免信息损失，并引入双重约束对齐和自适应投影引导技术解决训练推理不匹配及过饱和问题。
消息要点
- 直接在波形潜空间扩散生成，避免梅尔频谱信息损失
- 采用DCA和APG技术解决训练推理不匹配及过饱和问题
要点
美团LongCat团队正式推出语音合成模型LongCat-AudioDiT，该模型在零样本音色克隆任务中达到了业界领先的SOTA性能。与传统方法不同，LongCat-AudioDiT摒弃了梅尔频谱作为中间表示，直接在波形潜空间中进行扩散生成，从而有效避免了信息损失。 为确保生成质量，团队提出了双重约束对齐（DCA）和自适应投影引导（APG）两项关键技术。这些创新旨在修复训练与推理阶段的不匹配问题，同时缓解生成音频中的过饱和现象，显著提升了语音合成的自然度与稳定性。
资料来源与整理说明
本文由 AI最前沿通过 AI 辅助整理公开资料。产品能力与开放范围按发布方说明转述，未将其视为本站实测或独家采访结论。
- 龙猫LongCat原始资料发布于
以上日期为原始资料发布日期；标题下方日期为本文在 AI最前沿的发布时间。