Mellum

par JetBrains

Découvrez Mellum, une gamme de modèles de langage rapides, dont un modèle de nouvelle génération pour une inférence à très faible latence extrêmement performante.

Le LLM open source de JetBrains, optimisé pour des workflows de développement concrets où la latence et les performances sont prioritaires.

Avantages

Conçu pour les workflows et les tâches de programmation utilisant l'IA dans le monde réel

Mellum comprend le code, le contexte et l'intention. Il dépasse la simple saisie semi-automatique de code pour prendre en charge à la fois les tâches de langage naturel et celles de programmation.

Conçu pour être ultrarapide

Une architecture Mixture-of-Experts (MoE) fournit une inférence à très faible latence et un débit élevé, souvent deux fois plus rapide que des modèles de taille similaire, tout en apportant des capacités MoE à une classe de modèles beaucoup plus petits.

Hautes performances, faibles couts

Mellum permet d'obtenir une excellente qualité de code en réduisant de moitié les couts d'inférence, grâce à un nombre réduit de paramètres actifs par requête et à une utilisation efficace des ressources de calcul.

Fiable et flexible

Entraîné sur des données transparentes et aligné pour plus de cohérence, Mellum peut être ajusté et déployé localement ou dans le cloud. Vous bénéficiez ainsi d'un contrôle total sur les performances, la confidentialité et l'infrastructure.

Conçu pour les ingénieurs et les chercheurs en IA/ML, Mellum permet de gérer efficacement les charges de travail d'IA dans le monde réel, de la saisie semi-automatique du code aux tâches de langage et de programmation plus larges. Il prend en charge les déploiements locaux et dans le cloud.

Modèles Mellum

Mellum2

Idéal pour une inférence à faible latence extrêmement performante

Un modèle open source de type MoE à 12 milliards de paramètres, conçu pour des workflows en temps réel, combinant de fortes capacités de programmation et de langage à une efficacité exceptionnelle.

Mellum1

Idéal pour une génération de code efficace et de haute qualité

Un modèle de programmation open source conçu pour une saisie semi-automatique du code et une compréhension étendues dans plusieurs langages.

Des modèles rapides bâtis pour un impact réel

Routez et orchestrez les charges de travail d'IA

Analysez les prompts entrants et sélectionnez le modèle approprié pour chaque tâche afin de bénéficier d'un routage rapide et intelligent entre les modèles en fonction du cas d'utilisation et des exigences.

Pipelines RAG à faible latence

Récupérez les informations pertinentes et utilisez Mellum pour les résumer et générer des réponses rapidement, afin que les systèmes de questions-réponses restent rapides et réactifs.

Des sous-agents rapides dans des workflows complexes

Décomposez les pipelines d'agents en plusieurs étapes, comme la collecte du contexte, la planification et la validation, et utilisez Mellum pour les tâches rapides et spécialisées au lieu de vous contenter d'un seul grand modèle.

Autorisez une utilisation d'IA locale et privée

Gardez le contrôle du code et des données avec un déploiement local ou autohébergé pour les cas d'utilisation d'IA privée et souveraine.

Nous avons créé Mellum parce que toutes les tâches ne requièrent pas les modèles les plus grands ou les plus complexes. En nous concentrant sur les performances, la latence et le cout, nous avons créé un modèle conçu pour les développeurs et les équipes qui passent de l'expérimentation à la production.

Questions fréquentes

JetBrains Mellum est une gamme de modèles de langage rapides conçus pour des charges de travail d'IA efficaces dans le monde réel. Ce qui a commencé comme un modèle axé sur le code a évolué pour prendre en charge à la fois les tâches de programmation et de langage naturel, ce qui permet une inférence rapide et économique dans un large éventail de cas d'utilisation.

Le dernier modèle de Mellum introduit une nouvelle architecture MoE (Mixture-of-Experts) optimisée pour les performances et l'efficacité. Il dépasse le cadre de la saisie semi-automatique du code pour prendre en charge des tâches plus larges de langage et de programmation, et il est conçu pour des cas d'utilisation en temps réel à faible latence et pour un déploiement en production.

Les grands modèles sont puissants, mais onéreux, et ils se montrent lents à grande échelle.

Mellum est conçu pour les scénarios suivants :

  • Vous avez besoin de réponses rapides (en millisecondes et non en secondes), comme dans le cas du routage intelligent et du pré/post-traitement pour les modèles de pointe
  • Vous traitez des volumes de requêtes importants
  • Vous voulez des couts prévisibles et réduits

La dernière génération de Mellum est pré-entraînée à partir de zéro à l'aide d'un mélange de données en langage naturel et de code. Elle se concentre sur les domaines de la programmation et des mathématiques. Nous peaufinons ensuite la qualité du modèle à l'étape du post-entraînement pour le rendre compétitif par rapport aux autres petits LLM open source.

Nous pré-entraînons Mellum2 sur plus de 10 000 milliards de jetons de code, de texte du web et de contenus mathématiques sous licence permissive. Le pré-entraînement se fait en trois étapes : tout d'abord, nous entraînons le modèle sur environ 6 000 milliards de jetons de données principalement web ; ensuite, nous enchaînons avec 2 800 milliards de jetons de données de haute qualité, en mettant l'accent sur la programmation. Enfin, nous entraînons le modèle sur 1 700 milliards jetons de données de la plus haute qualité, où le code représente plus de 50 % des jetons.

Cette étape est suivie d'un post-entraînement à grande échelle : tout d'abord, un ajustement supervisé (SFT ou Supervised Fine-Tuning) sur 50 milliards de jetons de données de suivi d'instructions, puis un apprentissage par renforcement avec récompenses vérifiables (RLVR) dans divers environnements de programmation, de mathématiques et de raisonnement.

Ensemble, ces étapes de pré-entraînement général, de concentration progressive sur le code et les mathématiques, et de post-entraînement ciblé avec le SFT et le RLVR permettent à Mellum2 de rester compact et en font un concurrent sérieux parmi les petits LLM open source.

Pour en savoir plus sur l'entraînement de Mellum1, consultez cet article de blog.

Mellum offre d'excellentes performances pour les tâches de programmation et de langage, en maintenant une faible latence et un débit élevé. Son architecture permet une qualité comparable (ou supérieure) à des modèles de taille similaire, avec une efficacité nettement améliorée pour une utilisation en temps réel.

En savoir plus:

Mellum utilise une conception MoE (Mixture-of-Experts) avec seulement un petit sous-ensemble de paramètres actifs par requête, ce qui réduit les besoins de calcul, mais préserve une qualité élevée en sortie. Sur un GPU, la VRAM doit contenir à la fois les pondérations du modèle et le cache KV, dont la taille augmente à chaque requête parallèle et à chaque jeton de contexte. Nous avons délibérément conçu Mellum avec une empreinte compacte de cache KV par requête. Un seul GPU peut ainsi servir bien plus d'utilisateurs simultanés sans manquer de mémoire. Cela permet un déploiement très efficace sur les GPU H100/H200 ainsi que sur le matériel plus récent tel que les B200 et B300, même sur un seul GPU.

Mellum2 : utilisation générale de l'interface de chat en anglais et dans les principaux langages de programmation.

Mellum1 : Java, Kotlin, Python, Go, PHP, C, C++, C#, JavaScript, TypeScript, CSS, HTML, Rust et Ruby.

Oui. Mellum est publié sous la licence Apache 2.0, avec des pondérations ouvertes disponibles sur Hugging Face.

Vous pouvez également essayer Mellum tel quel :

  • Exécutez-le localement avec seulement deux commandes en utilisant Ollama.
  • Utilisez-le comme modèle local dans JetBrains AI Assistant. Consultez le guide sur l'utilisation des modèles personnalisés.
  • Déployez à l'aide des plateformes d'inférence compatibles.

Des modèles hautement performants
pour des systèmes concrets

Exécutez Mellum localement ou dans le cloud. Il est conçu pour des systèmes en temps réel, une inférence efficace et un développement moderne utilisant l'IA.

More from JetBrains

Discover jetbrains air, one system for building software with agents.

En savoir plus