Tangkapan layar menampilkan halaman resmi pada tanggal pengambilan dan mungkin berbeda dari saat artikel diterbitkan. Pilih gambar untuk memperbesar.
Perusahaan AI asal Tiongkok, Moonshot AI (月之暗面), merilis bobot (data yang menjadi isi model) dari model AI "Kimi K3.1 Pro" yang diluncurkan pada Oktober, di Hugging Face paling lambat 4 November sesuai tenggat yang telah diumumkan. Menurut catatan Hugging Face, tempat penyimpanannya (repositori) dibuat pada 2 November (UTC). Pengguna tidak perlu mendaftar atau mengajukan permohonan, dan siapa pun bisa mengunduhnya. CoAI telah melaporkan rencana ini saat peluncuran pada Oktober, dan rilis kali ini dilakukan dalam tenggat tersebut.
Model yang dirilis
Menurut deskripsi model di Hugging Face, susunannya adalah sebagai berikut.
- Arsitektur: MoE dengan total 2,8 triliun parameter dan 104 miliar yang aktif per token (mekanisme yang memilih 16 dari 896 pakar untuk digunakan)
- Panjang konteks: sekitar 1 juta token
- Input: teks dan gambar (bagian pembaca gambar sekitar 400 juta parameter)
- Format: bobot dalam 4-bit (MXFP4) dan nilai antara saat komputasi dalam 8-bit (MXFP8), dan model dilatih dengan mengandaikan format ini
- Ukuran: terbagi ke dalam 96 file dengan total sekitar 1,56 TB
- Mesin inferensi yang didukung: vLLM, SGLang, TokenSpeed
Kedalaman berpikir bisa dipilih dalam 3 tingkat, yaitu "low", "high", dan "max", dengan max sebagai bawaan. Pada 5 November, ada perbaikan yang menghapus pengaturan yang tidak bisa dipakai (medium).
Syarat lisensi
Bobot ini tidak memakai lisensi open source yang umum, melainkan "Kimi K3.1 Pro License" yang khusus dibuat Moonshot AI. Penggunaan komersial secara umum diizinkan, tetapi layanan berskala besar dikenai syarat berikut.
- Perusahaan yang menjalankan bisnis penyediaan model AI ke pihak luar (MaaS) dengan total pendapatan, termasuk perusahaan afiliasi, lebih dari 20 juta dolar AS dalam 12 bulan berturut-turut, wajib membuat kontrak terpisah dengan Moonshot AI sebelum menggunakannya secara komersial
- Untuk produk atau layanan dengan lebih dari 100 juta pengguna bulanan atau pendapatan bulanan lebih dari 20 juta dolar AS, wajib menampilkan "Kimi K3.1-Pro" secara mencolok di layar
Penggunaan internal di dalam perusahaan, serta penggunaan melalui produk resmi Moonshot AI atau layanan inferensi bersertifikat, tidak termasuk dalam syarat-syarat ini.
Soal kemampuan serangan siber
Dalam pengumuman bulan Oktober, Moonshot AI menjelaskan bahwa pada versi yang bobotnya dirilis, data yang terkait dengan serangan siber telah dihapus dari dua tahap pelatihan. Menurut evaluasi internal, tingkat keberhasilan menyelesaikan soal yang terkait dengan serangan turun dari 90,5% menjadi 81,0%.
Pandangan Redaksi CoAI
Kimi K3.1 Pro adalah model yang disebut Moonshot AI sebagai "model open-weight kelas 3 triliun parameter dengan performa tertinggi sejauh ini", dan perilisannya dalam tenggat yang diumumkan meningkatkan kepercayaan. Namun, ukuran 1,56 TB bukan skala yang bisa dijalankan di komputer pribadi. Untuk benar-benar menjalankannya, diperlukan server yang dilengkapi banyak GPU berperforma tinggi.
Bagi banyak perusahaan, manfaat utama rilis bobot adalah bisa menjalankannya di server sendiri tanpa mengeluarkan data, serta bisa menguji performanya sendiri. Lisensinya cenderung tidak menjadi batasan besar selama bukan layanan berskala besar, tetapi syaratnya berbeda dari open source pada umumnya. Sebelum memakainya, pastikan Anda membaca teks lengkap lisensinya.
