Le schermate mostrano le pagine ufficiali alla data indicata e possono differire da quelle alla pubblicazione. Seleziona un’immagine per ingrandirla.
L'azienda cinese di IA Moonshot AI (月之暗面) ha pubblicato su Hugging Face, entro la scadenza del 4 novembre che aveva annunciato, i pesi (i dati che costituiscono il modello vero e proprio) di "Kimi K3.1 Pro", il modello di IA presentato a ottobre. Dai registri di Hugging Face risulta che lo spazio di archiviazione (il repository) è stato creato il 2 novembre (UTC). Non servono registrazione né richieste di accesso: chiunque può scaricarli. In occasione del lancio di ottobre CoAI aveva riportato questa pubblicazione come prevista, e la scadenza è stata rispettata.
Il modello pubblicato
Secondo la scheda del modello su Hugging Face, la configurazione è la seguente.
- Architettura: MoE con 2.800 miliardi di parametri totali, di cui 104 miliardi attivi per token (un meccanismo che sceglie 16 esperti su 896)
- Lunghezza del contesto: circa 1 milione di token
- Input: testo e immagini (la parte di lettura delle immagini ha circa 400 milioni di parametri)
- Formato: pesi a 4 bit (MXFP4) e valori intermedi di calcolo a 8 bit (MXFP8), con un addestramento che presuppone questo formato
- Dimensione: suddivisa in 96 file, per un totale di circa 1,56 TB
- Motori di inferenza supportati: vLLM, SGLang, TokenSpeed
La profondità di ragionamento si può scegliere su tre livelli, "low", "high" e "max", e il valore predefinito è max. Il 5 novembre è stata applicata una correzione che ha rimosso un'impostazione non utilizzabile (medium).
Le condizioni della licenza
I pesi non sono distribuiti con una comune licenza open source, ma con la "Kimi K3.1 Pro License", propria di Moonshot AI. L'uso commerciale è in linea di massima consentito, ma per i servizi di grandi dimensioni valgono le seguenti condizioni.
- Le aziende che gestiscono un'attività di fornitura di modelli di IA a terzi (MaaS) e i cui ricavi complessivi, incluse le società collegate, superano i 20 milioni di dollari in un qualsiasi periodo di 12 mesi consecutivi devono stipulare un contratto separato con Moonshot AI prima dell'uso commerciale
- Per i prodotti o servizi con più di 100 milioni di utenti mensili o con ricavi mensili superiori a 20 milioni di dollari, occorre mostrare "Kimi K3.1-Pro" in modo ben visibile sullo schermo
L'uso interno all'azienda e l'uso tramite i prodotti ufficiali di Moonshot AI o servizi di inferenza certificati non sono soggetti a queste condizioni.
Le capacità di attacco informatico
Nell'annuncio di ottobre, Moonshot AI aveva spiegato che nella versione con pesi pubblici aveva rimosso da due fasi dell'addestramento i dati legati agli attacchi informatici. Secondo la sua valutazione interna, la percentuale di problemi legati agli attacchi che il modello riesce a risolvere è scesa dal 90,5% all'81,0%.
Il punto di vista di CoAI
Kimi K3.1 Pro è il modello che Moonshot AI presenta come "il suo modello open-weight della classe dei 3.000 miliardi di parametri più capace finora", e pubblicarlo entro la scadenza annunciata ha rafforzato la fiducia nell'azienda. Con 1,56 TB, però, non è un modello che si possa far girare su un computer personale. Per eseguirlo servono server dotati di molte GPU ad alte prestazioni.
Per molte aziende, i principali vantaggi della pubblicazione dei pesi sono la possibilità di eseguirlo sui propri server senza far uscire i dati e di verificarne da sé le prestazioni. La licenza difficilmente rappresenterà un vincolo importante, a meno che non si tratti di servizi su larga scala, ma le sue condizioni sono diverse da quelle dell'open source comune. Prima di usarlo, conviene leggere il testo completo della licenza.
