Las capturas muestran las páginas oficiales en la fecha indicada y pueden diferir de las de la publicación. Selecciona una imagen para ampliarla.
La empresa china de IA Moonshot AI (月之暗面) publicó en Hugging Face, antes del 4 de noviembre, el plazo que había anunciado, los pesos (los datos que constituyen el modelo en sí) de "Kimi K3.1 Pro", el modelo de IA que presentó en octubre. Según los registros de Hugging Face, el espacio de almacenamiento (el repositorio) se creó el 2 de noviembre (UTC). No hace falta registrarse ni solicitar acceso: cualquiera puede descargarlos. En CoAI informamos de esta publicación como algo previsto cuando se presentó el modelo en octubre, y se ha cumplido dentro del plazo.
El modelo publicado
Según la ficha del modelo en Hugging Face, su configuración es la siguiente.
- Arquitectura: MoE con 2,8 billones de parámetros en total, de los que se activan 104.000 millones por token (un mecanismo que elige 16 de 896 expertos)
- Longitud de contexto: alrededor de 1 millón de tokens
- Entrada: texto e imágenes (la parte de lectura de imágenes tiene unos 400 millones de parámetros)
- Formato: los pesos están en 4 bits (MXFP4) y los valores intermedios de cálculo en 8 bits (MXFP8), y el modelo se ha entrenado partiendo de este formato
- Tamaño: dividido en 96 archivos, con un total de unos 1,56 TB
- Motores de inferencia compatibles: vLLM, SGLang, TokenSpeed
Se puede elegir la profundidad de razonamiento entre tres niveles, "low", "high" y "max", y el valor predeterminado es max. El 5 de noviembre se aplicó una corrección que eliminó un ajuste que no se podía usar (medium).
Condiciones de la licencia
Los pesos no llevan una licencia de código abierto habitual, sino la "Kimi K3.1 Pro License", propia de Moonshot AI. El uso comercial está permitido en líneas generales, pero los servicios de gran escala están sujetos a las siguientes condiciones.
- Las empresas que gestionan un negocio de oferta de modelos de IA a terceros (MaaS) y cuyos ingresos totales, incluidas sus filiales, superen los 20 millones de dólares en cualquier periodo de 12 meses consecutivos deben firmar un contrato aparte con Moonshot AI antes de usarlo con fines comerciales
- En los productos o servicios con más de 100 millones de usuarios mensuales o con ingresos mensuales superiores a 20 millones de dólares, hay que mostrar "Kimi K3.1-Pro" de forma destacada en la pantalla
El uso interno en la empresa y el uso a través de productos oficiales de Moonshot AI o de servicios de inferencia certificados no están sujetos a estas condiciones.
Sobre la capacidad de ciberataque
En su anuncio de octubre, Moonshot AI explicó que en la versión con pesos publicados había eliminado de dos fases del entrenamiento los datos relacionados con ciberataques. Según su evaluación interna, la proporción de problemas relacionados con ataques que el modelo logra resolver bajó del 90,5 % al 81,0 %.
El punto de vista de CoAI
Kimi K3.1 Pro es el modelo que Moonshot AI presenta como "su modelo de pesos abiertos de la clase de los 3 billones de parámetros más capaz hasta la fecha", y publicarlo dentro del plazo anunciado refuerza la confianza en la empresa. Sin embargo, con 1,56 TB no es un modelo que se pueda ejecutar en un ordenador personal. Para hacerlo funcionar se necesitan servidores equipados con muchas GPU de alto rendimiento.
Para muchas empresas, las principales ventajas de que se publiquen los pesos son poder ejecutarlo en sus propios servidores sin que los datos salgan de la empresa y poder verificar el rendimiento por su cuenta. Aunque la licencia difícilmente supondrá una gran restricción salvo para servicios de gran escala, sus condiciones no son las de una licencia de código abierto habitual. Antes de usarlo, conviene leer el texto completo de la licencia.
