快讯前沿资讯

小红书开源多模态 MoE 模型 dots3-note preview

约 1 分钟阅读

AI最前沿 88Z.ai 8 月 14 日消息,小红书 dots 模型实验室发布 dots3-note preview,这是 dots3 系列的首个开源版本。该模型拥有 280B 总参数和 16B 激活参数,支持 512K 超长上下文,具备文本、视觉与语音的多模态理解能力,并在多项基准测试中表现优异。

消息要点

  • dots3-note preview 是 dots3 系列首个开源模型,总参数 280B,激活参数 16B。
  • 支持 512K 上下文及文本、视觉、语音多模态理解,基准测试表现优异。
小红书开源多模态 MoE 模型 dots3-note preview 配图
小红书开源多模态 MoE 模型 dots3-note preview 配图

要点

小红书 dots 模型实验室正式开源 dots3-note preview,标志着 dots3 系列迎来首个公开版本。该模型采用混合专家架构,总参数量达 280B,其中激活参数为 16B,能够高效处理高达 512K 的超长上下文窗口。在功能层面,dots3-note preview 集成了文本、视觉与语音的多模态理解能力,并专门针对复杂推理任务、智能体应用以及多模态感知场景进行了深度优化。尽管激活参数规模相对精简,该模型在多项权威基准测试中的表现却可媲美参数量数倍于它的大型模型,展现出极高的性能效率与技术潜力。

资料来源与整理说明

本文由 AI最前沿通过 AI 辅助整理公开资料。产品能力与开放范围按发布方说明转述,未将其视为本站实测或独家采访结论。

  1. 机器之心原始资料发布于

以上日期为原始资料发布日期;标题下方日期为本文在 AI最前沿的发布时间。

相关阅读

全部资讯
Ai最前沿