Ảnh chụp hiển thị trang chính thức vào ngày chụp và có thể khác với thời điểm xuất bản bài viết. Chọn ảnh để phóng to.
Công ty AI Trung Quốc Moonshot AI (月之暗面) đã công bố trọng số (dữ liệu tạo nên "ruột" của mô hình) của mô hình AI "Kimi K3.1 Pro" ra mắt hồi tháng 10, trên Hugging Face trước thời hạn 4/11 đã báo trước. Theo ghi nhận của Hugging Face, nơi lưu trữ (kho mã) được tạo vào ngày 2/11 (giờ UTC). Người dùng không cần đăng ký hay nộp đơn, ai cũng có thể tải xuống. CoAI đã đưa tin về kế hoạch này khi mô hình ra mắt hồi tháng 10, và lần công bố này diễn ra trong thời hạn đó.
Mô hình được công bố
Theo phần mô tả mô hình trên Hugging Face, cấu trúc như sau.
- Cấu trúc: MoE với tổng 2,8 nghìn tỷ tham số, 104 tỷ tham số hoạt động trên mỗi token (cơ chế chọn 16 trong số 896 chuyên gia để sử dụng)
- Độ dài ngữ cảnh: khoảng 1 triệu token
- Đầu vào: văn bản và hình ảnh (phần đọc hình ảnh khoảng 400 triệu tham số)
- Định dạng: trọng số ở dạng 4 bit (MXFP4), các giá trị trung gian trong tính toán ở dạng 8 bit (MXFP8), và mô hình được huấn luyện dựa trên định dạng này
- Dung lượng: chia thành 96 tệp, tổng cộng khoảng 1,56 TB
- Engine suy luận được hỗ trợ: vLLM, SGLang, TokenSpeed
Có thể chọn độ sâu suy nghĩ theo 3 mức "low", "high" và "max", mặc định là max. Ngày 5/11, một bản sửa đã loại bỏ thiết lập không dùng được (medium).
Điều kiện giấy phép
Trọng số không đi kèm giấy phép mã nguồn mở thông dụng mà là "Kimi K3.1 Pro License", giấy phép riêng của Moonshot AI. Việc sử dụng thương mại nhìn chung được cho phép, nhưng các dịch vụ quy mô lớn phải tuân theo những điều kiện sau.
- Doanh nghiệp kinh doanh cung cấp mô hình AI cho bên ngoài (MaaS) có tổng doanh thu, tính cả công ty liên kết, vượt 20 triệu USD trong bất kỳ 12 tháng liên tiếp nào, phải ký hợp đồng riêng với Moonshot AI trước khi sử dụng cho mục đích thương mại
- Với sản phẩm hoặc dịch vụ có hơn 100 triệu người dùng mỗi tháng hoặc doanh thu hàng tháng vượt 20 triệu USD, phải hiển thị nổi bật dòng chữ "Kimi K3.1-Pro" trên giao diện
Việc sử dụng nội bộ trong công ty, cũng như sử dụng thông qua sản phẩm chính thức của Moonshot AI hoặc dịch vụ suy luận được chứng nhận, không thuộc phạm vi các điều kiện này.
Về khả năng tấn công mạng
Trong thông báo hồi tháng 10, Moonshot AI giải thích rằng ở phiên bản công bố trọng số, dữ liệu liên quan đến tấn công mạng đã bị loại bỏ khỏi cả hai giai đoạn huấn luyện. Theo đánh giá nội bộ, tỷ lệ giải được các bài toán liên quan đến tấn công đã giảm từ 90,5% xuống 81,0%.
Góc nhìn của ban biên tập CoAI
Kimi K3.1 Pro là mô hình được Moonshot AI quảng bá là "mô hình trọng số mở cỡ 3 nghìn tỷ tham số có hiệu năng cao nhất từ trước đến nay", và việc công bố trong thời hạn đã báo trước giúp củng cố niềm tin. Tuy nhiên, dung lượng 1,56 TB không phải quy mô có thể chạy trên máy tính cá nhân. Để thực sự chạy được, cần máy chủ trang bị nhiều GPU hiệu năng cao.
Với nhiều doanh nghiệp, lợi ích chính của việc công bố trọng số là có thể chạy trên máy chủ của mình mà không đưa dữ liệu ra ngoài, và có thể tự kiểm chứng hiệu năng. Giấy phép khó trở thành ràng buộc lớn nếu không phải dịch vụ quy mô lớn, nhưng điều kiện khác với mã nguồn mở thông thường. Trước khi sử dụng, hãy đọc kỹ toàn văn giấy phép.
