AI最前沿 88Z.ai 11 月 6 日消息，百度正式开源ERNIE-5.5-Flash-Base预训练基座模型，相关权重已上传至Hugging Face平台。该模型提供FP8与BF16两种精度版本，兼容SGLang和vLLM部署框架，并支持通过Megatron-Bridge进行微调。作为稀疏MoE架构模型，其总参数量达2800亿，每Token激活参数为140亿，基于33.5T Tokens数据从零预训练而成，支持长达1M的上下文窗口。
消息要点
- 模型总参数2800亿，每Token激活140亿，支持1M上下文
- 提供FP8/BF16版本，兼容SGLang、vLLM及Megatron-Bridge
要点
百度最新开源的ERNIE-5.5-Flash-Base预训练基座模型已在Hugging Face平台发布权重。为方便开发者使用，该模型提供了FP8和BF16两种精度版本，并全面支持SGLang与vLLM主流部署框架，同时允许通过Megatron-Bridge工具进行高效微调。 在架构设计上，该模型采用稀疏MoE技术，总参数量高达2800亿，但在推理时每Token仅激活140亿参数，兼顾了性能与效率。模型基于33.5T Tokens的高质量数据从零开始预训练，具备强大的语言理解能力，并在微调和推理阶段支持长达1M的超长上下文窗口，适用于处理复杂长文本任务。
资料来源与整理说明
本文由 AI最前沿通过 AI 辅助整理公开资料。产品能力与开放范围按发布方说明转述，未将其视为本站实测或独家采访结论。
- 文心大模型原始资料发布于
以上日期为原始资料发布日期；标题下方日期为本文在 AI最前沿的发布时间。