AI最前沿 88Z.ai 11 月 11 日消息，百度发布ERNIE-5.5-Flash-Base基础模型，开放预训练终点权重。该模型为稀疏MoE架构，总参数280B，每token激活14B，基于33.5T tokens从零预训练。支持128K训练上下文及1M微调与推理上下文，权重未经中后训练，适用于领域适配、指令微调及强化学习。
消息要点
- ERNIE-5.5-Flash-Base为280B参数稀疏MoE模型，基于33.5T tokens从零预训练。
- 开放未经中后训练的权重，支持1M上下文，适用于领域适配与指令微调。
要点
百度正式推出最新基础模型ERNIE-5.5-Flash-Base，并同步开放其预训练终点权重。该模型采用稀疏混合专家（MoE）架构，总参数量达到2800亿，每个Token激活参数量为140亿。模型基于33.5万亿Token数据从零开始进行预训练，具备强大的基础语言能力。 在上下文处理方面，ERNIE-5.5-Flash-Base的训练上下文长度为128K，而在微调与推理阶段则支持高达1M的超长上下文。值得注意的是，此次开放的权重未经过中间训练或后训练处理，保持了原始预训练状态。这为开发者提供了灵活的起点，便于进行特定领域的适配、指令微调以及强化学习等后续优化工作。
资料来源与整理说明
本文由 AI最前沿通过 AI 辅助整理公开资料。产品能力与开放范围按发布方说明转述，未将其视为本站实测或独家采访结论。
- 文心大模型原始资料发布于
以上日期为原始资料发布日期；标题下方日期为本文在 AI最前沿的发布时间。