por JetBrains
Explore Mellum, una familia de modelos de lenguaje rápidos, incluido un modelo de próxima generación para una inferencia de latencia ultrabaja y alto rendimiento.
El LLM de código abierto de JetBrains, optimizado para los flujos de trabajo de desarrollo en el mundo real donde la latencia y el rendimiento son lo que más importa.
Mellum entiende el código, el contexto y la intención, y va más allá de la mera finalización de código para dar soporte tanto al lenguaje natural como a las tareas de programación.
Una arquitectura de mezcla de expertos (MoE) ofrece una inferencia de latencia ultrabaja y un alto rendimiento, a menudo el doble de rápido que los modelos de tamaño similar, al tiempo que aporta las capacidades de MoE a una clase de modelos mucho más pequeños.
Mellum logra una gran calidad de codificación a la vez que reduce a la mitad los costes de inferencia, gracias a un menor número de parámetros activos por solicitud y a una utilización eficiente de la computación.
Entrenado con datos transparentes y alineado para garantizar la coherencia, Mellum puede ajustarse y desplegarse de forma local o en la nube, lo que le proporciona un control total sobre el rendimiento, la privacidad y la infraestructura.
Creado para ingenieros e investigadores de IA y ML, Mellum impulsa cargas de trabajo de IA eficientes y reales, desde la finalización de código hasta tareas más amplias de lenguaje y programación, y admite un despliegue tanto local como en la nube.
Un modelo de mezcla de expertos de código abierto de 12 000 millones de parámetros, diseñado para flujos de trabajo en tiempo real, que combina una gran capacidad de codificación y lenguaje con una eficacia excepcional.
Un modelo de codificación de código abierto creado para una amplia comprensión y finalización del código en varios lenguajes.
Analice las peticiones entrantes y seleccione el modelo adecuado para cada tarea, para un enrutamiento rápido e inteligente entre modelos basado en el caso de uso y los requisitos.
Recupere información relevante y utilice Mellum para resumir y generar respuestas rápidamente, manteniendo los sistemas de respuesta a preguntas rápidos y receptivos.
Divida los procesos de los agentes en pasos, tales como la recopilación de contexto, la planificación y la validación, y utilice Mellum para tareas rápidas y especializadas en lugar de depender de un único modelo de gran tamaño.
Mantenga el código y los datos totalmente bajo su control con un despliegue local o autoalojado para casos de uso de IA privados e independientes.
Creamos Mellum porque no todas las tareas requieren los modelos más grandes o complejos. Centrados en el rendimiento, la latencia y el coste, creamos un modelo diseñado para desarrolladores y equipos que pasan de la experimentación a la producción.
JetBrains Mellum es una familia de modelos de lenguaje rápidos diseñados para cargas de trabajo de IA eficientes y reales. Lo que comenzó como un modelo centrado en el código ha evolucionado para respaldar tanto tareas de programación como de lenguaje natural, lo que permite una inferencia rápida y rentable en una amplia gama de casos de uso.
El modelo más reciente de Mellum incorpora una nueva arquitectura de mezcla de expertos optimizada para el rendimiento y la eficiencia. Se expande más allá de la finalización de código para dar soporte a tareas más amplias de lenguaje y programación, y está diseñado para casos de uso de baja latencia, en tiempo real y despliegue en producción.
Los grandes modelos son potentes, pero caros, y funcionan más lentamente a gran escala.
Mellum está diseñado para escenarios en los que:
La generación más reciente de Mellum está preentrenada desde cero utilizando una combinación de datos de lenguaje natural y de código, con especial atención a los dominios de la codificación y las matemáticas. A continuación, mejoramos aún más la calidad del modelo mediante el postentrenamiento para hacerlo competitivo frente a otros LLM de código abierto más pequeños.
Preentrenamos Mellum2 con más de 10 billones de tokens de texto web, matemáticas y código con licencia permisiva. El preentrenamiento consta de tres etapas: en primer lugar, entrenamos el modelo con unos 6 billones de tokens de datos web en su mayoría; a continuación, seguimos con 2,8 billones de tokens de datos de alta calidad con un fuerte enfoque en la codificación. Por último, entrenamos con 1,7 billones de tokens de los datos de la mayor calidad, donde el código representa más del 50 % de los tokens.
A esto le sigue un postentrenamiento a gran escala: primero, un ajuste fino supervisado (SFT) sobre 50 000 millones de tokens de datos de seguimiento de instrucciones; después, un aprendizaje de refuerzo con recompensas verificables (RLVR) en diversos entornos de codificación, matemáticas y razonamiento.
Juntas, estas etapas de preentrenamiento amplio, concentración progresiva en código y matemáticas, y postentrenamiento específico con SFT y RLVR garantizan que Mellum2 sea compacto y un fuerte contendiente entre los LLM de código abierto de tamaño reducido.
Si desea saber más sobre cómo se entrenó a Mellum1, lea el artículo del blog.
Mellum ofrece un sólido desempeño en todas las tareas de codificación y lenguaje, al tiempo que mantiene una baja latencia y un alto rendimiento. Su arquitectura permite una calidad comparable (o superior) a la de modelos de tamaño similar, con una eficiencia significativamente mejorada para su uso en tiempo real.
Más información:
Mellum utiliza un diseño de mezcla de expertos con solo un pequeño subconjunto de parámetros activos por solicitud, lo que reduce los requisitos de computación al tiempo que mantiene una alta calidad del resultado. En una GPU, la VRAM tiene que contener tanto los pesos del modelo como la caché KV, que crece con cada solicitud paralela y cada token de contexto. Hemos diseñado Mellum deliberadamente con una huella compacta de caché KV por solicitud, de modo que una sola GPU pueda atender a muchos más usuarios concurrentes sin quedarse sin memoria. Esto permite una implantación muy eficiente en las GPU H100/H200, así como en el hardware más reciente B200 y B300, incluso en una sola GPU.
Mellum2: uso general de la interfaz de chat en inglés y los principales lenguajes de programación.
Mellum1: Java, Kotlin, Python, Go, PHP, C, C++, C#, JavaScript, TypeScript, CSS, HTML, Rust y Ruby.
Sí. Mellum se publica con la licencia Apache 2.0, con pesos abiertos disponibles en Hugging Face.
También puede probar Mellum sin necesidad de configuraciones previas:
Ejecute Mellum de forma local o en la nube. Está diseñado para sistemas en tiempo real, inferencias eficientes y desarrollo moderno con IA.