촬영일 기준 공식 페이지이며 기사 게시 당시와 다를 수 있습니다. 이미지를 선택하면 확대할 수 있습니다.
중국의 IT 대기업 Baidu(바이두)는 2026년 11월 5일 AI 모델 'ERNIE-5.5-Flash-Base'의 가중치(모델을 이루는 데이터)를 Hugging Face에 공개했습니다. 사전 학습(대량의 텍스트에서 언어 지식을 익히는 첫 학습)을 마친 시점의 모델로, 질문에 답하거나 지시를 따르기 위한 조정은 하지 않았습니다. Baidu는 개발자가 대규모 사전 학습 비용을 들이지 않고도 자신의 분야와 목적에 맞춘 추가 학습을 시작할 수 있는 토대로 공개했다고 설명했습니다.
기반 모델이란
ChatGPT 같은 AI 어시스턴트는 사전 학습 뒤에 지시를 따르도록 하는 조정이나 강화 학습 같은 추가 학습을 거듭해 만들어집니다. ERNIE-5.5-Flash-Base는 그 이전 단계의 모델입니다. 그대로는 대화에 적합하지 않고, 텍스트의 뒷부분을 이어 쓰는 방식으로 작동합니다.
Baidu는 이런 형태로 공개하는 장점으로 다음을 들었습니다.
- 특정 분야에 맞춘 조정, 추론이나 에이전트 훈련을 개발자가 자유롭게 선택할 수 있다
- 학습 기법을 비교하는 연구에서 공통 출발점으로 쓸 수 있다
지시를 따르도록 조정한 'ERNIE 5.5 Flash'는 나중에 공개할 예정이라고 밝혔습니다.
구조와 규모
ERNIE-5.5-Flash-Base는 수많은 작은 전문 부품(엑스퍼트) 가운데 필요한 것만 골라 작동시키는 'MoE'라는 구성입니다.
- 총 파라미터: 2,800억 개(토큰당 작동하는 것은 140억 개)
- 학습 데이터: 33조 5,000억 토큰
- 한 번에 다룰 수 있는 텍스트의 양: 학습 시 최대 12만 8,000토큰, 추가 학습과 이용 시 100만 토큰
- 가중치 형식: FP8과 BF16 두 가지
43개 층 가운데 37개 층은 멀리 떨어진 텍스트를 128분의 1로 압축해 참조하고, 나머지 6개 층만 전체를 세밀하게 보는 설계입니다. 이렇게 해서 긴 텍스트를 다룰 때의 계산량과 메모리를 줄였습니다. 학습 데이터에서는 소프트웨어 저장소 전체를 이해하기 위한 코드와 긴 텍스트 이해를 중시했다고 합니다.
성능
Baidu는 비슷한 규모로 가중치가 공개된 기반 모델인 DeepSeek-V4-Flash-Base, Tencent의 Hy3-preview-Base, Xiaomi의 MiMo-V2.5-Base와 같은 조건에서 비교한 결과를 발표했습니다. 모두 Baidu 자체 평가입니다.
- 폭넓은 지식을 묻는 MMLU-Pro: 78.4(DeepSeek 69.2, Tencent 66.9, Xiaomi 65.7)
- 프로그래밍 평가 LiveCodeBench: 40.1(같은 순서로 31.9, 33.5, 32.4)
- 대학원 수준의 과학 문제 GPQA: 60.2(같은 순서로 55.9, 50.2, 51.4)
많은 평가에서 네 모델 가운데 가장 높은 성적을 냈지만, 중국어 지식, 긴 텍스트, 코드와 추론의 일부 등에서는 DeepSeek과 Tencent 등의 모델이 앞선 항목도 있습니다.
라이선스와 이용 가능 지역
라이선스는 Baidu 자체의 'ERNIE 5.5 Flash Base Model License Agreement v1.0'입니다. 주요 조건은 다음과 같습니다.
- 연구, 교육, 개인적인 시험 사용 등 비상업적 이용: 무료
- 관련 제품이나 서비스의 연 매출이 5,000만 달러 이하인 상업적 이용: 무료. 단, Baidu에 대한 1회 이용 통지와 'Powered by ERNIE' 표시가 필요
- 연 매출이 5,000만 달러를 넘는 상업적 이용: Baidu의 서면 허가가 필요
- 이 모델이나 그 출력을 다른 AI 모델 개선에 쓰는 것은 금지
또한 라이선스가 인정하는 지역은 'EU, 영국, 한국을 제외한 전 세계'로 되어 있습니다. 일본은 대상에 포함되지만, EU, 영국, 한국에서는 이 라이선스에 따른 이용이 인정되지 않습니다. 즉 한국의 개발자와 기업은 이 라이선스로는 이 모델을 쓸 수 없습니다.
CoAI 편집부의 시각
중국의 주요 기업들은 완성된 AI 어시스턴트뿐 아니라 그 이전 단계인 기반 모델의 가중치도 잇달아 공개하고 있습니다. 이번 비교 상대도 DeepSeek, Tencent, Xiaomi의 기반 모델로, 추가 학습의 토대를 둘러싼 경쟁이 중국 업체들 사이에서 진행되고 있음을 알 수 있습니다.
한편 기반 모델은 그대로는 채팅에 쓸 수 없고, 추가 학습에 필요한 지식과 컴퓨팅 설비가 있어야 합니다. 일반 사용자용이 아니라 자사용 모델을 만들려는 기업과 연구자를 위한 공개입니다. Apache 2.0 같은 일반적인 오픈소스 라이선스와 달리 지역 제한, 매출 기준, 다른 모델 개선에의 이용 금지 같은 조건이 있으므로, 쓰기 전에 라이선스 전문을 확인하세요.