Mellum

от JetBrains

Познакомьтесь с Mellum — семейством быстрых языковых моделей, включая модель нового поколения, созданную для сверхбыстрого отклика и высокой производительности при выполнении запросов.

LLM от JetBrains с открытым исходным кодом, оптимизированная для реальных процессов разработки, где особенно важны низкая задержка и высокая производительность.

Преимущества

Создана для реальных ИИ-процессов и задач программирования

Mellum понимает код, контекст и намерения пользователя — модель не ограничивается автодополнением, а поддерживает работу как с естественным языком, так и с задачами программирования.

Сверхбыстрая за счет архитектуры

Архитектура Mixture-of-Experts (MoE) обеспечивает генерацию ответов со сверхнизкой задержкой и высокую пропускную способность — часто вдвое быстрее моделей сопоставимого размера — и делает возможности MoE доступными для более компактного класса моделей.

Высокая производительность при меньших затратах

Mellum обеспечивает высокое качество кода и при этом вдвое снижает стоимость генерации благодаря меньшему числу активных параметров на запрос и эффективному использованию вычислительных ресурсов.

Надежность и гибкость

Модель обучена на прозрачных данных и настроена на стабильную работу. Ее можно дообучать и развертывать локально или в облаке, полностью контролируя производительность, приватность и инфраструктуру.

Mellum разработана для ИИ/ML-инженеров и исследователей. Она эффективно справляется с реальными ИИ-нагрузками — от автодополнения кода до более широких языковых и программных задач — и поддерживает локальное и облачное развертывание.

Модели Mellum

Mellum2

Для высокопроизводительного инференса с низкой задержкой

MoE-модель с открытым исходным кодом на 12 млрд параметров, созданная для систем реального времени. Она сочетает сильные возможности работы с кодом и естественным языком с исключительной эффективностью.

Mellum1

Для эффективной и качественной генерации кода

Модель с открытым исходным кодом для программирования, рассчитанная на глубокое понимание и автодополнение кода на разных языках.

Быстрые модели для реальных результатов

Маршрутизация и оркестрация ИИ-нагрузок

Анализируйте входящие промпты и выбирайте подходящую модель для каждой задачи, чтобы быстро и с умом перенаправлять запросы между моделями с учетом сценария и требований.

RAG-пайплайны с низкой задержкой

Mellum позволяет быстро находить нужную информацию, делать выжимки и формировать ответы, благодаря чему справочные системы работают четко и с минимальным временем отклика.

Быстрые субагенты для сложных процессов

Разбивайте пайплайны агентов на этапы — например, сбор контекста, планирование и валидацию — и поручайте Mellum быстрые узкие задачи вместо того, чтобы полагаться на одну большую модель.

Локальное и приватное использование ИИ

Локальное развертывание или размещение на собственных серверах позволяет полностью контролировать код и данные, что необходимо для обеспечения конфиденциальности и технологической независимости при использовании ИИ.

Мы создали Mellum, потому что не для каждой задачи нужна самая большая или самая сложная модель. Сфокусировавшись на высокой производительности, быстром отклике и низкой стоимости, мы представили модель для разработчиков и команд, которые переходят от экспериментов к продакшену.

Вопросы и ответы

JetBrains Mellum — семейство быстрых языковых моделей для эффективной работы в реальных сценариях. Модель, которая изначально разрабатывалась исключительно для работы с кодом, со временем эволюционировала и теперь поддерживает как программирование, так и задачи на естественном языке. Это обеспечивает быстрое и экономичное выполнение запросов в самых разных сценариях использования.

В новой версии Mellum появилась архитектура Mixture-of-Experts, оптимизированная для скорости и эффективности. Она выходит за рамки обычного автодополнения кода и поддерживает более широкий спектр языковых и программных задач. Модель разработана для сценариев работы в реальном времени с низкой задержкой и полностью готова к развертыванию в рабочей среде.

Большие модели умеют многое, но при масштабировании обходятся дорого и работают медленнее.

Mellum подходит, если:

  • вам нужны ответы за миллисекунды, а не за секунды — например, для умной маршрутизации или пре- и постобработки при работе с frontier-моделями;
  • у вас большой поток запросов;
  • для вас важны снижение и предсказуемость затрат.

Новое поколение Mellum обучено с нуля на комбинации текстов на естественном языке и исходного кода, с особым упором на программирование и математику. Затем качество модели дополнительно улучшается в процессе постобучения, что позволяет ей успешно конкурировать с другими небольшими LLM с открытым исходным кодом.

Мы предварительно обучили Mellum2 на более чем 10 триллионах токенов кода под свободными лицензиями, веб-текстов и математических данных. Процесс предварительного обучения состоял из трех этапов. Сначала модель обучалась примерно на 6 триллионах токенов, состоящих преимущественно из веб-страниц. Затем обучение продолжилось на 2,8 триллиона токенов высококачественных данных с сильным упором на программирование. На финальном этапе использовались 1,7 триллиона токенов данных наивысшего качества, в которых код составлял более 50% от общего объема.

Затем проводится масштабное постобучение: сначала — контролируемое дообучение (SFT) на 50 миллиардах токенов данных с инструкциями, а затем — обучение с подкреплением на основе проверяемых вознаграждений (RLVR) в различных средах для программирования, математики и логических рассуждений.

Благодаря сочетанию всех этих этапов — масштабного предварительного обучения, постепенного упора на код и математику, а также целевого постобучения с помощью SFT и RLVR — Mellum2 остается компактной и уверенно конкурирует с другими небольшими LLM с открытым исходным кодом.

О том, как мы обучали Mellum1, читайте в нашем блоге.

Mellum отлично справляется как с кодом, так и с текстом, демонстрируя минимальное время отклика и высокую скорость работы. Благодаря своей архитектуре она не уступает по качеству моделям аналогичного размера (а часто и превосходит их), но при этом работает гораздо эффективнее в реальном времени.

Подробнее:

Mellum использует архитектуру Mixture-of-Experts: для каждого запроса активируется лишь небольшая часть параметров. Это снижает потребность в вычислительных ресурсах, сохраняя высокое качество ответов. На GPU видеопамять нужна и для весов модели, и для KV-кэша, который увеличивается с каждым параллельным запросом и каждым токеном контекста. Поэтому мы сделали KV-кэш Mellum компактным на уровне отдельного запроса: один GPU может обслуживать значительно больше пользователей одновременно без риска упереться в память. Благодаря этому Mellum эффективно развертывается на H100/H200, а также на новых B200 и B300 — даже на одном GPU.

Mellum2: общение в чате на английском языке и все основные языки программирования.

Mellum1: Java, Kotlin, Python, Go, PHP, C, C++, C#, JavaScript, TypeScript, CSS, HTML, Rust и Ruby.

Да. Mellum распространяется под лицензией Apache 2.0, а открытые веса доступны на Hugging Face.

Вы также можете попробовать ее в деле прямо сейчас:

  • Запустите модель локально всего двумя командами через Ollama.
  • Используйте ее как локальную модель в JetBrains AI Assistant. Подробности — в руководстве по использованию кастомных моделей</0>.
  • Разверните модель на любой из поддерживаемых платформ

Высокопроизводительные модели
для реальных систем

Запускайте Mellum локально или в облаке. Модель создана для систем реального времени, эффективного инференса и современной ИИ-разработки.

More from JetBrains

Discover jetbrains air, one system for building software with agents.

Подробнее