da JetBrains
Explore o Mellum, uma família de modelos rápidos de linguagem, incluindo um modelo de próxima geração para inferência com latência ultrabaixa e alto desempenho.
O LLM de código aberto da JetBrains, otimizado para fluxos de trabalho de desenvolvimento no mundo real, nos quais a latência e o desempenho sejam os pontos mais importantes.
O Mellum compreende o código, o contexto e a intenção, e vai além da mera complementação de código para dar suporte a tarefas tanto de linguagem natural quanto de programação.
Uma arquitetura de "mistura de especialistas" ("mixture of experts", MoE) entrega inferência com latência ultrabaixa e alto fluxo de saída, até duas vezes mais rápida que com modelos de tamanho semelhante, mas trazendo a capacidade da MoE para uma classe de modelos muito menores.
O Mellum alcança uma alta qualidade de programação, reduzindo à metade os custos de inferência, graças a menos parâmetros ativos por solicitação e a um uso eficiente dos recursos de computação.
O Mellum foi treinado com dados transparentes, é alinhado para consistência, pode passar por ajustes finos e ser implantado localmente ou na nuvem, dando a você total controle sobre o desempenho, a privacidade e a infraestrutura.
O Mellum foi criado para engenheiros e pesquisadores de IA e aprendizado de máquina e opera em cargas de trabalho eficientes de IA no mundo real, desde a complementação de código até tarefas mais amplas de linguagens e programação, com suporte à implementação tanto local quanto na nuvem.
Um modelo de "mistura de especialistas", de código aberto e com 12 bilhões de parâmetros, projetado para fluxos de trabalho em tempo real e combinando recursos robustos de programação e linguagens com uma eficiência excepcional.
Um modelo de programação de código aberto, criado para uma ampla compreensão do código e para complementação em várias linguagens.
Analise os prompts de entrada e selecione o modelo certo para cada tarefa, para ter um roteamento rápido e inteligente entre modelos, com base no caso de uso e nos requisitos.
Recupere informações relevantes e use o Mellum para rapidamente resumir e gerar respostas, mantendo os sistemas de resposta a perguntas rápidos e responsivos.
Divida pipelines com agentes em etapas, tais como obtenção, planejamento e validação do contexto, e use o Mellum para executar tarefas especializadas rapidamente, em vez de depender de um único modelo grande.
Mantenha o código e os dados totalmente sob o seu controle, com implantação local ou auto-hospedada, para casos de uso de IA privado e independente.
Criamos o Mellum porque nem toda tarefa precisa dos maiores ou mais complexos modelos. Ao nos concentrarmos no desempenho, latência e custo, criamos um modelo projetado para desenvolvedores e equipes em transição da experimentação para a produção.
O JetBrains Mellum é uma família de modelos rápidos de linguagem, projetados para cargas de trabalho eficientes com IA no mundo real. O que começou como um modelo voltado para a programação evoluiu para dar suporte a tarefas tanto de programação quanto de linguagem natural, permitindo inferência rápida e com bom custo/benefício em uma grande variedade de casos de uso.
O mais novo modelo do Mellum introduz uma arquitetura de "mistura de especialistas", otimizada para desempenho e eficiência. Ele vai além da complementação de código e dá suporte a tarefas mais amplas de linguagens e programação, e foi projetado para casos de uso de baixa latência em tempo real e para a implantação em produção.
Modelos grandes são poderosos, mas são caros e executados mais lentamente em escala.
O Mellum foi projetado para cenários em que:
A última geração do Mellum foi pré-treinada do zero com uma mistura de dados de linguagem natural e de código, concentrando-se nos domínios matemático e de programação. Depois, melhoramos ainda mais a qualidade do modelo através de um pós-treinamento, para torná-lo competitivo com outros LLMs pequenos de código aberto.
Pré-treinamos o Mellum2 com mais de 10 trilhões de tokens de código com licenças permissivas, textos da Web e matemática. O pré-treinamento consiste de três etapas: primeiro, treinamos o modelo com cerca de 6 trilhões de tokens, principalmente de dados da Web. Depois, usamos 2,8 trilhões de tokens de dados de alta qualidade, com uma forte concentração em programação. Por fim, treinamos o modelo com 1,7 trilhão de tokens de dados da mais alta qualidade, em que mais de 50% dos tokens consistem em código.
Isto é seguido por um pós-treinamento em grande escala: primeiro, um ajuste fino supervisionado (SFT) em 50 bilhões de tokens de dados de seguimento de instruções; depois, um aprendizado de reforço com recompensas verificáveis (RLVR) em diversos ambientes de programação, matemática e raciocínio.
Juntos, esses estágios de amplo pré-treinamento, concentração progressiva em código e matemática, e pós-treinamento direcionado com SFT e RLVR garantem que o Mellum2 seja compacto e um forte concorrente dos LLMs pequenos de código aberto.
Se você quiser saber mais sobre como o Mellum1 foi treinado, leia esta postagem no blog.
O Mellum entrega um desempenho robusto em várias tarefas de programação e linguagens, mantendo baixa latência e um alto fluxo de saída. Sua arquitetura possibilita uma qualidade comparável à de modelos de tamanho semelhante (ou até melhor), com eficiência significativamente maior no uso em tempo real.
Saiba mais:
O Mellum usa o método da "mistura de especialistas" apenas com um pequeno subconjunto dos parâmetros ativos a cada solicitação, reduzindo os recursos de computação e mantendo uma alta qualidade da saída. Em uma GPU, a VRAM tem que conter tanto os pesos do modelo quanto o cache de KV, que cresce a cada solicitação paralela e token de contexto. Projetamos o Mellum deliberadamente com um uso compacto do cache de KV para cada solicitação, para que uma única GPU possa atender a mais usuários simultâneos sem esgotar a memória. Isso permite uma implantação altamente eficiente em GPUs H100/H200, além das novas B200 e B300 — mesmo em uma única GPU.
Mellum2: uso geral da interface de chat em inglês e todas as principais linguagens de programação.
Mellum1: Java, Kotlin, Python, Go, PHP, C, C++, C#, JavaScript, TypeScript, CSS, HTML, Rust e Ruby.
Sim. O Mellum é distribuído sob a licença Apache 2.0, com pesos abertos disponíveis no Hugging Face.
Você também pode experimentar o Mellum da forma como é distribuído:
Execute o Mellum localmente ou na nuvem. Ele foi criado para sistemas em tempo real, inferência eficiente e desenvolvimento moderno com IA.