CoAI
新闻

百度开放AI模型“ERNIE-5.5-Flash-Base”权重:总参数2800亿的基础模型,作为继续训练的底座提供

中国的百度于2026年11月5日开放了AI模型“ERNIE-5.5-Flash-Base”的权重。该模型总参数2800亿,每个token激活140亿,是尚未进行指令遵循调整的“基础模型”。开发者可以将其作为底座,根据自己的用途进行继续训练。

2026年11月5日阅读约3分钟
ERNIE — ERNIE 5.5 Flash Base官方页面截图
ERNIE — ERNIE 5.5 Flash Base · 来源截图日期:2026年11月8日

截图展示拍摄日期的官方页面,可能与文章发布时不同。点击图片可放大。

中国IT巨头百度于2026年11月5日在Hugging Face上开放了AI模型“ERNIE-5.5-Flash-Base”的权重(构成模型的数据)。这是完成预训练(从海量文本中学习语言知识的第一阶段训练)时的模型,尚未进行回答问题或遵循指令方面的调整。百度表示,开放该模型是为了提供一个底座,让开发者无需承担大规模预训练的成本,就能针对自己的领域和目的开始继续训练。

什么是基础模型

像ChatGPT这样的AI助手,是在预训练之后,再叠加指令遵循调整和强化学习等额外训练而成的。ERNIE-5.5-Flash-Base是处于这之前阶段的模型。它直接使用时并不适合对话,而是以续写文本的方式运行。

百度列举了以这种形式开放的以下优点。

  • 开发者可以自由选择针对特定领域的调整方式,以及推理和智能体的训练方式
  • 在比较训练方法的研究中,可以作为共同的起点使用

百度表示,经过指令遵循调整的“ERNIE 5.5 Flash”将于日后发布。

架构与规模

ERNIE-5.5-Flash-Base采用名为“MoE”的架构,即从大量小型专门组件(专家)中只选择需要的部分运行。

  • 总参数:2800亿(每个token激活140亿)
  • 训练数据:33.5万亿token
  • 一次可处理的文本量:训练时最多12.8万token,继续训练和使用时为100万token
  • 权重格式:FP8和BF16两种

在43层中,有37层会把距离较远的文本压缩到原来的1/128后再参照,只有其余6层会细致地查看全部文本。通过这种设计,降低了处理长文本时的计算量和内存占用。百度表示,训练数据侧重于用于理解整个软件代码仓库的代码,以及长文本理解。

性能

百度公布了与同等规模、同样开放权重的基础模型在相同条件下的比较结果,比较对象为DeepSeek-V4-Flash-Base、腾讯的Hy3-preview-Base和小米的MiMo-V2.5-Base。均为百度自身的评测结果。

  • 考察广泛知识的MMLU-Pro:78.4(DeepSeek为69.2,腾讯为66.9,小米为65.7)
  • 编程评测LiveCodeBench:40.1(依次为31.9、33.5、32.4)
  • 研究生水平理科问题GPQA:60.2(依次为55.9、50.2、51.4)

在许多评测中,该模型的成绩在4个模型中最高,但在中文知识、长文本以及部分代码和推理等评测中,也有DeepSeek、腾讯等模型领先的项目。

许可证与可使用地区

许可证为百度自有的“ERNIE 5.5 Flash Base Model License Agreement v1.0”。主要条件如下。

  • 研究、教育、个人试用等非商业用途:免费
  • 相关产品或服务年收入在5000万美元以下的商业用途:免费,但需要向百度进行一次使用通知,并标注“Powered by ERNIE”
  • 年收入超过5000万美元的商业用途:需要获得百度的书面许可
  • 禁止将该模型或其输出用于改进其他AI模型

此外,许可证允许的地区为“除欧盟、英国和韩国以外的全球范围”。日本包括在内,但在欧盟、英国和韩国,不允许依据该许可证使用。

CoAI编辑部观点

中国的主要企业不仅发布完整的AI助手,还接连开放处于其前一阶段的基础模型权重。这次的比较对象同样是DeepSeek、腾讯和小米的基础模型,可以看出中国厂商之间围绕继续训练底座的竞争正在推进。

另一方面,基础模型无法直接用于聊天,继续训练需要相关知识和计算设备。此次开放并不面向普通用户,而是面向想要打造自有模型的企业和研究人员。与Apache 2.0等常见的开源许可证不同,它附带地区限制、收入门槛以及禁止用于改进其他模型等条件,使用前请务必确认许可证全文。

资料来源

本文提到的工具

返回资讯列表