
截圖顯示拍攝日期的官方頁面,可能與文章發布時不同。點選圖片可放大。
中國科技大廠百度於2026年11月5日,在Hugging Face公開AI模型「ERNIE-5.5-Flash-Base」的權重(構成模型的資料)。這是完成預訓練(從大量文字中學習語言知識的第一階段訓練)時的模型,尚未針對回答問題或遵循指令進行調整。百度表示,公開這款模型是為了提供一個基底,讓開發者不必負擔大規模預訓練的成本,就能依自己的領域與目的開始延伸訓練。
什麼是基礎模型
像ChatGPT這樣的AI助理,是在預訓練之後,再加上指令遵循調整與強化學習等額外訓練打造而成。ERNIE-5.5-Flash-Base則是處於這之前階段的模型。直接使用時並不適合對話,而是以接續撰寫文字的方式運作。
百度舉出以這種形式公開的優點如下。
- 開發者可自由選擇針對特定領域的調整方式,以及推理與代理的訓練方式
- 在比較訓練方法的研究中,可作為共同的起點
百度表示,經過指令遵循調整的「ERNIE 5.5 Flash」將於日後公開。
架構與規模
ERNIE-5.5-Flash-Base採用稱為「MoE」的架構,從大量小型專門元件(專家)中只挑選需要的部分運作。
- 總參數:2,800億(每個token啟用140億)
- 訓練資料:33.5兆token
- 一次可處理的文字量:訓練時最多12萬8,000 token,延伸訓練與使用時為100萬token
- 權重格式:FP8與BF16兩種
在43層之中,有37層會將距離較遠的文字壓縮成1/128後再參照,只有其餘6層會仔細檢視整段文字。透過這種設計,壓低了處理長篇文字時的運算量與記憶體用量。百度表示,訓練資料著重於理解整個軟體儲存庫所需的程式碼,以及長篇文字的理解。
效能
百度公布了與同等規模、同樣公開權重的基礎模型在相同條件下的比較結果,比較對象為DeepSeek-V4-Flash-Base、騰訊的Hy3-preview-Base與小米的MiMo-V2.5-Base。皆為百度自身的評測結果。
- 考驗廣泛知識的MMLU-Pro:78.4(DeepSeek為69.2、騰訊為66.9、小米為65.7)
- 程式設計評測LiveCodeBench:40.1(依序為31.9、33.5、32.4)
- 研究所程度理科問題GPQA:60.2(依序為55.9、50.2、51.4)
在多項評測中,這款模型的成績都是4個模型中最高,但在中文知識、長篇文字,以及部分程式碼與推理等評測中,也有DeepSeek、騰訊等模型領先的項目。
授權條款與可使用地區
授權條款為百度自訂的「ERNIE 5.5 Flash Base Model License Agreement v1.0」。主要條件如下。
- 研究、教育、個人試用等非商業用途:免費
- 相關產品或服務年營收在5,000萬美元以下的商業用途:免費,但須向百度提出一次使用通知,並標示「Powered by ERNIE」
- 年營收超過5,000萬美元的商業用途:須取得百度的書面許可
- 禁止將這款模型或其輸出用於改良其他AI模型
此外,授權條款允許的地區為「歐盟、英國與韓國以外的全球」。日本包含在內,但在歐盟、英國與韓國,不允許依據這份授權條款使用。
CoAI編輯部觀點
中國的主要企業不只推出完整的AI助理,也接連公開處於其前一階段的基礎模型權重。這次的比較對象同樣是DeepSeek、騰訊與小米的基礎模型,可以看出中國業者之間圍繞延伸訓練基底的競爭正在升溫。
另一方面,基礎模型無法直接用於聊天,延伸訓練需要相關知識與運算設備。這次公開並非針對一般使用者,而是針對想打造自有模型的企業與研究人員。與Apache 2.0等常見的開源授權不同,它附帶地區限制、營收門檻,以及禁止用於改良其他模型等條件,使用前請務必確認授權條款全文。
