
截图展示拍摄日期的官方页面,可能与文章发布时不同。点击图片可放大。
中国IT巨头百度于2026年11月5日在Hugging Face上开放了AI模型“ERNIE-5.5-Flash-Base”的权重(构成模型的数据)。这是完成预训练(从海量文本中学习语言知识的第一阶段训练)时的模型,尚未进行回答问题或遵循指令方面的调整。百度表示,开放该模型是为了提供一个底座,让开发者无需承担大规模预训练的成本,就能针对自己的领域和目的开始继续训练。
什么是基础模型
像ChatGPT这样的AI助手,是在预训练之后,再叠加指令遵循调整和强化学习等额外训练而成的。ERNIE-5.5-Flash-Base是处于这之前阶段的模型。它直接使用时并不适合对话,而是以续写文本的方式运行。
百度列举了以这种形式开放的以下优点。
- 开发者可以自由选择针对特定领域的调整方式,以及推理和智能体的训练方式
- 在比较训练方法的研究中,可以作为共同的起点使用
百度表示,经过指令遵循调整的“ERNIE 5.5 Flash”将于日后发布。
架构与规模
ERNIE-5.5-Flash-Base采用名为“MoE”的架构,即从大量小型专门组件(专家)中只选择需要的部分运行。
- 总参数:2800亿(每个token激活140亿)
- 训练数据:33.5万亿token
- 一次可处理的文本量:训练时最多12.8万token,继续训练和使用时为100万token
- 权重格式:FP8和BF16两种
在43层中,有37层会把距离较远的文本压缩到原来的1/128后再参照,只有其余6层会细致地查看全部文本。通过这种设计,降低了处理长文本时的计算量和内存占用。百度表示,训练数据侧重于用于理解整个软件代码仓库的代码,以及长文本理解。
性能
百度公布了与同等规模、同样开放权重的基础模型在相同条件下的比较结果,比较对象为DeepSeek-V4-Flash-Base、腾讯的Hy3-preview-Base和小米的MiMo-V2.5-Base。均为百度自身的评测结果。
- 考察广泛知识的MMLU-Pro:78.4(DeepSeek为69.2,腾讯为66.9,小米为65.7)
- 编程评测LiveCodeBench:40.1(依次为31.9、33.5、32.4)
- 研究生水平理科问题GPQA:60.2(依次为55.9、50.2、51.4)
在许多评测中,该模型的成绩在4个模型中最高,但在中文知识、长文本以及部分代码和推理等评测中,也有DeepSeek、腾讯等模型领先的项目。
许可证与可使用地区
许可证为百度自有的“ERNIE 5.5 Flash Base Model License Agreement v1.0”。主要条件如下。
- 研究、教育、个人试用等非商业用途:免费
- 相关产品或服务年收入在5000万美元以下的商业用途:免费,但需要向百度进行一次使用通知,并标注“Powered by ERNIE”
- 年收入超过5000万美元的商业用途:需要获得百度的书面许可
- 禁止将该模型或其输出用于改进其他AI模型
此外,许可证允许的地区为“除欧盟、英国和韩国以外的全球范围”。日本包括在内,但在欧盟、英国和韩国,不允许依据该许可证使用。
CoAI编辑部观点
中国的主要企业不仅发布完整的AI助手,还接连开放处于其前一阶段的基础模型权重。这次的比较对象同样是DeepSeek、腾讯和小米的基础模型,可以看出中国厂商之间围绕继续训练底座的竞争正在推进。
另一方面,基础模型无法直接用于聊天,继续训练需要相关知识和计算设备。此次开放并不面向普通用户,而是面向想要打造自有模型的企业和研究人员。与Apache 2.0等常见的开源许可证不同,它附带地区限制、收入门槛以及禁止用于改进其他模型等条件,使用前请务必确认许可证全文。
