CoAI
新聞

百度公開AI模型「ERNIE-5.5-Flash-Base」權重:總參數2,800億的基礎模型,作為延伸訓練的基底提供

中國的百度於2026年11月5日公開AI模型「ERNIE-5.5-Flash-Base」的權重。這款模型總參數2,800億,每個token啟用140億,是尚未經過指令遵循調整的「基礎模型」。開發者可以把它當作基底,依照自己的用途進行延伸訓練。

2026年11月5日閱讀約3分鐘
ERNIE — ERNIE 5.5 Flash Base官方頁面截圖
ERNIE — ERNIE 5.5 Flash Base · 來源截圖日期:2026年11月8日

截圖顯示拍攝日期的官方頁面,可能與文章發布時不同。點選圖片可放大。

中國科技大廠百度於2026年11月5日,在Hugging Face公開AI模型「ERNIE-5.5-Flash-Base」的權重(構成模型的資料)。這是完成預訓練(從大量文字中學習語言知識的第一階段訓練)時的模型,尚未針對回答問題或遵循指令進行調整。百度表示,公開這款模型是為了提供一個基底,讓開發者不必負擔大規模預訓練的成本,就能依自己的領域與目的開始延伸訓練。

什麼是基礎模型

像ChatGPT這樣的AI助理,是在預訓練之後,再加上指令遵循調整與強化學習等額外訓練打造而成。ERNIE-5.5-Flash-Base則是處於這之前階段的模型。直接使用時並不適合對話,而是以接續撰寫文字的方式運作。

百度舉出以這種形式公開的優點如下。

  • 開發者可自由選擇針對特定領域的調整方式,以及推理與代理的訓練方式
  • 在比較訓練方法的研究中,可作為共同的起點

百度表示,經過指令遵循調整的「ERNIE 5.5 Flash」將於日後公開。

架構與規模

ERNIE-5.5-Flash-Base採用稱為「MoE」的架構,從大量小型專門元件(專家)中只挑選需要的部分運作。

  • 總參數:2,800億(每個token啟用140億)
  • 訓練資料:33.5兆token
  • 一次可處理的文字量:訓練時最多12萬8,000 token,延伸訓練與使用時為100萬token
  • 權重格式:FP8與BF16兩種

在43層之中,有37層會將距離較遠的文字壓縮成1/128後再參照,只有其餘6層會仔細檢視整段文字。透過這種設計,壓低了處理長篇文字時的運算量與記憶體用量。百度表示,訓練資料著重於理解整個軟體儲存庫所需的程式碼,以及長篇文字的理解。

效能

百度公布了與同等規模、同樣公開權重的基礎模型在相同條件下的比較結果,比較對象為DeepSeek-V4-Flash-Base、騰訊的Hy3-preview-Base與小米的MiMo-V2.5-Base。皆為百度自身的評測結果。

  • 考驗廣泛知識的MMLU-Pro:78.4(DeepSeek為69.2、騰訊為66.9、小米為65.7)
  • 程式設計評測LiveCodeBench:40.1(依序為31.9、33.5、32.4)
  • 研究所程度理科問題GPQA:60.2(依序為55.9、50.2、51.4)

在多項評測中,這款模型的成績都是4個模型中最高,但在中文知識、長篇文字,以及部分程式碼與推理等評測中,也有DeepSeek、騰訊等模型領先的項目。

授權條款與可使用地區

授權條款為百度自訂的「ERNIE 5.5 Flash Base Model License Agreement v1.0」。主要條件如下。

  • 研究、教育、個人試用等非商業用途:免費
  • 相關產品或服務年營收在5,000萬美元以下的商業用途:免費,但須向百度提出一次使用通知,並標示「Powered by ERNIE」
  • 年營收超過5,000萬美元的商業用途:須取得百度的書面許可
  • 禁止將這款模型或其輸出用於改良其他AI模型

此外,授權條款允許的地區為「歐盟、英國與韓國以外的全球」。日本包含在內,但在歐盟、英國與韓國,不允許依據這份授權條款使用。

CoAI編輯部觀點

中國的主要企業不只推出完整的AI助理,也接連公開處於其前一階段的基礎模型權重。這次的比較對象同樣是DeepSeek、騰訊與小米的基礎模型,可以看出中國業者之間圍繞延伸訓練基底的競爭正在升溫。

另一方面,基礎模型無法直接用於聊天,延伸訓練需要相關知識與運算設備。這次公開並非針對一般使用者,而是針對想打造自有模型的企業與研究人員。與Apache 2.0等常見的開源授權不同,它附帶地區限制、營收門檻,以及禁止用於改良其他模型等條件,使用前請務必確認授權條款全文。

資料來源

本文介紹的工具

返回新聞列表