Mellum

da JetBrains

Explore o Mellum, uma família de modelos rápidos de linguagem, incluindo um modelo de próxima geração para inferência com latência ultrabaixa e alto desempenho.

O LLM de código aberto da JetBrains, otimizado para fluxos de trabalho de desenvolvimento no mundo real, nos quais a latência e o desempenho sejam os pontos mais importantes.

Benefícios

Criado para fluxos de trabalho e tarefas de programação com IA no mundo real

O Mellum compreende o código, o contexto e a intenção, e vai além da mera complementação de código para dar suporte a tarefas tanto de linguagem natural quanto de programação.

Projetado para ser ultrarrápido

Uma arquitetura de "mistura de especialistas" ("mixture of experts", MoE) entrega inferência com latência ultrabaixa e alto fluxo de saída, até duas vezes mais rápida que com modelos de tamanho semelhante, mas trazendo a capacidade da MoE para uma classe de modelos muito menores.

Alto desempenho, menor custo

O Mellum alcança uma alta qualidade de programação, reduzindo à metade os custos de inferência, graças a menos parâmetros ativos por solicitação e a um uso eficiente dos recursos de computação.

Confiável e flexível

O Mellum foi treinado com dados transparentes, é alinhado para consistência, pode passar por ajustes finos e ser implantado localmente ou na nuvem, dando a você total controle sobre o desempenho, a privacidade e a infraestrutura.

O Mellum foi criado para engenheiros e pesquisadores de IA e aprendizado de máquina e opera em cargas de trabalho eficientes de IA no mundo real, desde a complementação de código até tarefas mais amplas de linguagens e programação, com suporte à implementação tanto local quanto na nuvem.

Modelos do Mellum

Mellum2

Melhor para inferência com baixa latência e alto desempenho

Um modelo de "mistura de especialistas", de código aberto e com 12 bilhões de parâmetros, projetado para fluxos de trabalho em tempo real e combinando recursos robustos de programação e linguagens com uma eficiência excepcional.

Mellum1

Melhor para geração de código eficiente e de alta qualidade

Um modelo de programação de código aberto, criado para uma ampla compreensão do código e para complementação em várias linguagens.

Modelos rápidos, criados para impacto real

Roteie e orquestre cargas de trabalho de IA

Analise os prompts de entrada e selecione o modelo certo para cada tarefa, para ter um roteamento rápido e inteligente entre modelos, com base no caso de uso e nos requisitos.

Pipelines de RAG de baixa latência

Recupere informações relevantes e use o Mellum para rapidamente resumir e gerar respostas, mantendo os sistemas de resposta a perguntas rápidos e responsivos.

Ative subagentes rápidos em fluxos de trabalho complexos

Divida pipelines com agentes em etapas, tais como obtenção, planejamento e validação do contexto, e use o Mellum para executar tarefas especializadas rapidamente, em vez de depender de um único modelo grande.

Possibilite o uso privativo e local de IA

Mantenha o código e os dados totalmente sob o seu controle, com implantação local ou auto-hospedada, para casos de uso de IA privado e independente.

Criamos o Mellum porque nem toda tarefa precisa dos maiores ou mais complexos modelos. Ao nos concentrarmos no desempenho, latência e custo, criamos um modelo projetado para desenvolvedores e equipes em transição da experimentação para a produção.

Perguntas frequentes

O JetBrains Mellum é uma família de modelos rápidos de linguagem, projetados para cargas de trabalho eficientes com IA no mundo real. O que começou como um modelo voltado para a programação evoluiu para dar suporte a tarefas tanto de programação quanto de linguagem natural, permitindo inferência rápida e com bom custo/benefício em uma grande variedade de casos de uso.

O mais novo modelo do Mellum introduz uma arquitetura de "mistura de especialistas", otimizada para desempenho e eficiência. Ele vai além da complementação de código e dá suporte a tarefas mais amplas de linguagens e programação, e foi projetado para casos de uso de baixa latência em tempo real e para a implantação em produção.

Modelos grandes são poderosos, mas são caros e executados mais lentamente em escala.

O Mellum foi projetado para cenários em que:

  • Você precise de respostas rápidas (em milissegundos, não em segundos), como no roteamento inteligente e no pré-/pós-processamento de modelos de ponta
  • Você lide com altos volumes de solicitações
  • Você queira custos mais baixos e previsíveis

A última geração do Mellum foi pré-treinada do zero com uma mistura de dados de linguagem natural e de código, concentrando-se nos domínios matemático e de programação. Depois, melhoramos ainda mais a qualidade do modelo através de um pós-treinamento, para torná-lo competitivo com outros LLMs pequenos de código aberto.

Pré-treinamos o Mellum2 com mais de 10 trilhões de tokens de código com licenças permissivas, textos da Web e matemática. O pré-treinamento consiste de três etapas: primeiro, treinamos o modelo com cerca de 6 trilhões de tokens, principalmente de dados da Web. Depois, usamos 2,8 trilhões de tokens de dados de alta qualidade, com uma forte concentração em programação. Por fim, treinamos o modelo com 1,7 trilhão de tokens de dados da mais alta qualidade, em que mais de 50% dos tokens consistem em código.

Isto é seguido por um pós-treinamento em grande escala: primeiro, um ajuste fino supervisionado (SFT) em 50 bilhões de tokens de dados de seguimento de instruções; depois, um aprendizado de reforço com recompensas verificáveis (RLVR) em diversos ambientes de programação, matemática e raciocínio.

Juntos, esses estágios de amplo pré-treinamento, concentração progressiva em código e matemática, e pós-treinamento direcionado com SFT e RLVR garantem que o Mellum2 seja compacto e um forte concorrente dos LLMs pequenos de código aberto.

Se você quiser saber mais sobre como o Mellum1 foi treinado, leia esta postagem no blog.

O Mellum entrega um desempenho robusto em várias tarefas de programação e linguagens, mantendo baixa latência e um alto fluxo de saída. Sua arquitetura possibilita uma qualidade comparável à de modelos de tamanho semelhante (ou até melhor), com eficiência significativamente maior no uso em tempo real.

Saiba mais:

O Mellum usa o método da "mistura de especialistas" apenas com um pequeno subconjunto dos parâmetros ativos a cada solicitação, reduzindo os recursos de computação e mantendo uma alta qualidade da saída. Em uma GPU, a VRAM tem que conter tanto os pesos do modelo quanto o cache de KV, que cresce a cada solicitação paralela e token de contexto. Projetamos o Mellum deliberadamente com um uso compacto do cache de KV para cada solicitação, para que uma única GPU possa atender a mais usuários simultâneos sem esgotar a memória. Isso permite uma implantação altamente eficiente em GPUs H100/H200, além das novas B200 e B300 — mesmo em uma única GPU.

Mellum2: uso geral da interface de chat em inglês e todas as principais linguagens de programação.

Mellum1: Java, Kotlin, Python, Go, PHP, C, C++, C#, JavaScript, TypeScript, CSS, HTML, Rust e Ruby.

Sim. O Mellum é distribuído sob a licença Apache 2.0, com pesos abertos disponíveis no Hugging Face.

Você também pode experimentar o Mellum da forma como é distribuído:

  • Execute-o localmente, com apenas dois comandos, usando o Ollama.
  • Use-o como um modelo local no JetBrains AI Assistant. Confira o guia de uso de modelos personalizados.
  • Implantação através de plataformas de inferência compatíveis.

Modelos de alto desempenho
para sistemas do mundo real

Execute o Mellum localmente ou na nuvem. Ele foi criado para sistemas em tempo real, inferência eficiente e desenvolvimento moderno com IA.

More from JetBrains

Discover jetbrains air, one system for building software with agents.

Saiba mais