As capturas mostram as páginas oficiais na data indicada e podem diferir das páginas na publicação. Selecione uma imagem para ampliá-la.
A empresa chinesa de IA Moonshot AI (月之暗面) publicou no Hugging Face, até o prazo de 4 de novembro que havia anunciado, os pesos (os dados que formam o modelo em si) do "Kimi K3.1 Pro", modelo de IA lançado em outubro. Pelos registros do Hugging Face, o espaço de armazenamento (o repositório) foi criado em 2 de novembro (UTC). Não é preciso cadastro nem pedido de acesso: qualquer pessoa pode baixá-los. O CoAI havia noticiado essa publicação como prevista no lançamento de outubro, e ela saiu dentro do prazo.
O modelo publicado
Segundo a página do modelo no Hugging Face, a configuração é a seguinte.
- Arquitetura: MoE com 2,8 trilhões de parâmetros no total, dos quais 104 bilhões são ativados por token (um mecanismo que escolhe 16 de 896 especialistas)
- Tamanho do contexto: cerca de 1 milhão de tokens
- Entrada: texto e imagens (a parte de leitura de imagens tem cerca de 400 milhões de parâmetros)
- Formato: pesos em 4 bits (MXFP4) e valores intermediários de cálculo em 8 bits (MXFP8), com treinamento feito pressupondo esse formato
- Tamanho: dividido em 96 arquivos, com cerca de 1,56 TB no total
- Motores de inferência compatíveis: vLLM, SGLang, TokenSpeed
A profundidade de raciocínio pode ser escolhida em três níveis, "low", "high" e "max", e o padrão é max. Em 5 de novembro, uma correção removeu uma configuração que não podia ser usada (medium).
Condições da licença
Os pesos não usam uma licença de código aberto comum, e sim a "Kimi K3.1 Pro License", própria da Moonshot AI. O uso comercial é permitido de modo geral, mas serviços de grande porte estão sujeitos às condições a seguir.
- Empresas que operam um negócio de fornecimento de modelos de IA a terceiros (MaaS) e cuja receita total, incluindo empresas afiliadas, passe de US$ 20 milhões em qualquer período de 12 meses consecutivos precisam firmar um contrato à parte com a Moonshot AI antes do uso comercial
- Em produtos ou serviços com mais de 100 milhões de usuários mensais ou receita mensal acima de US$ 20 milhões, é preciso exibir "Kimi K3.1-Pro" de forma destacada na tela
O uso interno na empresa e o uso por meio de produtos oficiais da Moonshot AI ou de serviços de inferência certificados não estão sujeitos a essas condições.
Sobre a capacidade de ataques cibernéticos
No anúncio de outubro, a Moonshot AI explicou que, na versão com pesos publicados, removeu de duas etapas do treinamento os dados ligados a ataques cibernéticos. Segundo a avaliação interna da empresa, a taxa de problemas ligados a ataques que o modelo consegue resolver caiu de 90,5% para 81,0%.
A visão do CoAI
O Kimi K3.1 Pro é o modelo que a Moonshot AI apresenta como "seu modelo de pesos abertos da classe dos 3 trilhões de parâmetros mais capaz até hoje", e publicá-lo dentro do prazo anunciado reforçou a confiança na empresa. Com 1,56 TB, porém, não é um modelo que se possa rodar em um computador pessoal. Para executá-lo, são necessários servidores com muitas GPUs de alto desempenho.
Para muitas empresas, as principais vantagens da publicação dos pesos são poder rodar o modelo nos próprios servidores sem que os dados saiam da empresa e poder verificar o desempenho por conta própria. A licença dificilmente será uma grande restrição, a não ser para serviços de grande escala, mas suas condições são diferentes das do código aberto comum. Antes de usar, leia o texto completo da licença.
