AI最前沿 88Z.ai 7 月 24 日消息,小红书 dots infra 团队开源多模态大模型训练框架 BigMac,通过嵌套流水线设计平衡计算效率与显存占用,训练速度显著提升且已用于生产。
消息要点
- BigMac 采用嵌套流水线设计,以 LLM 为主干嵌入编码与生成计算,解决效率与显存平衡难题。
- 训练速度较基线提升 1.08 至 1.9 倍且显存稳定,已应用于 dots 系列模型生产训练。

要点
小红书 dots infra 团队正式开源了面向多模态大模型的训练框架 BigMac。该框架旨在解决训练过程中计算效率与显存占用难以兼顾的技术痛点,创新性地提出了依赖安全的嵌套流水线设计方案。BigMac 以大型语言模型流水线为主干,将编码器与生成器的计算任务有序嵌入其中,从而优化整体资源调度。 实验数据表明,相较于基线方案,BigMac 能够将训练速度提升 1.08 至 1.9 倍,同时保持显存占用的稳定性。目前,这一高效训练框架已成功应用于小红书 dots 系列模型的生产环境训练中,验证了其在实际业务场景中的有效性与可靠性。
资料来源与整理说明
本文由 AI最前沿通过 AI 辅助整理公开资料。产品能力与开放范围按发布方说明转述,未将其视为本站实测或独家采访结论。
- 小红书技术REDtech原始资料发布于
以上日期为原始资料发布日期;标题下方日期为本文在 AI最前沿的发布时间。