AI最前沿 88Z.ai 6 月 1 日消息，小米大模型应用团队发布开源模型 ControlFoley，统一支持文本引导、文本控制及参考音频控制三类视频配音任务。该模型通过视觉编码与模态鲁棒训练等技术，解决控制弱与同步难问题，在多个基准测试中取得开源领域最佳表现。
消息要点
- ControlFoley 统一支持文本引导、文本控制及参考音频控制三类视频配音任务
- 通过视觉编码与解耦技术解决同步难题，在多个基准测试中达到开源 SOTA
要点
小米大模型应用团队正式开源可控视频音效生成模型 ControlFoley。该模型创新性地统一支持文本引导视频配音、文本控制视频配音以及参考音频控制视频配音这三类核心任务。针对现有方案中存在的文本控制能力较弱以及参考音频难以精准同步等痛点，ControlFoley 采用了联合视觉编码、时间-音色解耦以及模态鲁棒训练等先进技术手段进行优化。实验数据显示，该模型在 VGGSound-Test 等多个权威基准测试中均取得了开源领域的最佳表现，显著提升了视频音效生成的可控性与同步精度，为相关开发者和研究者提供了强有力的工具支持。
资料来源与整理说明
本文由 AI最前沿通过 AI 辅助整理公开资料。产品能力与开放范围按发布方说明转述，未将其视为本站实测或独家采访结论。
- 小米技术原始资料发布于
以上日期为原始资料发布日期；标题下方日期为本文在 AI最前沿的发布时间。