от JetBrains
Познакомьтесь с Mellum — семейством быстрых языковых моделей, включая модель нового поколения, созданную для сверхбыстрого отклика и высокой производительности при выполнении запросов.
LLM от JetBrains с открытым исходным кодом, оптимизированная для реальных процессов разработки, где особенно важны низкая задержка и высокая производительность.
Mellum понимает код, контекст и намерения пользователя — модель не ограничивается автодополнением, а поддерживает работу как с естественным языком, так и с задачами программирования.
Архитектура Mixture-of-Experts (MoE) обеспечивает генерацию ответов со сверхнизкой задержкой и высокую пропускную способность — часто вдвое быстрее моделей сопоставимого размера — и делает возможности MoE доступными для более компактного класса моделей.
Mellum обеспечивает высокое качество кода и при этом вдвое снижает стоимость генерации благодаря меньшему числу активных параметров на запрос и эффективному использованию вычислительных ресурсов.
Модель обучена на прозрачных данных и настроена на стабильную работу. Ее можно дообучать и развертывать локально или в облаке, полностью контролируя производительность, приватность и инфраструктуру.
Mellum разработана для ИИ/ML-инженеров и исследователей. Она эффективно справляется с реальными ИИ-нагрузками — от автодополнения кода до более широких языковых и программных задач — и поддерживает локальное и облачное развертывание.
MoE-модель с открытым исходным кодом на 12 млрд параметров, созданная для систем реального времени. Она сочетает сильные возможности работы с кодом и естественным языком с исключительной эффективностью.
Модель с открытым исходным кодом для программирования, рассчитанная на глубокое понимание и автодополнение кода на разных языках.
Анализируйте входящие промпты и выбирайте подходящую модель для каждой задачи, чтобы быстро и с умом перенаправлять запросы между моделями с учетом сценария и требований.
Mellum позволяет быстро находить нужную информацию, делать выжимки и формировать ответы, благодаря чему справочные системы работают четко и с минимальным временем отклика.
Разбивайте пайплайны агентов на этапы — например, сбор контекста, планирование и валидацию — и поручайте Mellum быстрые узкие задачи вместо того, чтобы полагаться на одну большую модель.
Локальное развертывание или размещение на собственных серверах позволяет полностью контролировать код и данные, что необходимо для обеспечения конфиденциальности и технологической независимости при использовании ИИ.
Мы создали Mellum, потому что не для каждой задачи нужна самая большая или самая сложная модель. Сфокусировавшись на высокой производительности, быстром отклике и низкой стоимости, мы представили модель для разработчиков и команд, которые переходят от экспериментов к продакшену.
JetBrains Mellum — семейство быстрых языковых моделей для эффективной работы в реальных сценариях. Модель, которая изначально разрабатывалась исключительно для работы с кодом, со временем эволюционировала и теперь поддерживает как программирование, так и задачи на естественном языке. Это обеспечивает быстрое и экономичное выполнение запросов в самых разных сценариях использования.
В новой версии Mellum появилась архитектура Mixture-of-Experts, оптимизированная для скорости и эффективности. Она выходит за рамки обычного автодополнения кода и поддерживает более широкий спектр языковых и программных задач. Модель разработана для сценариев работы в реальном времени с низкой задержкой и полностью готова к развертыванию в рабочей среде.
Большие модели умеют многое, но при масштабировании обходятся дорого и работают медленнее.
Mellum подходит, если:
Новое поколение Mellum обучено с нуля на комбинации текстов на естественном языке и исходного кода, с особым упором на программирование и математику. Затем качество модели дополнительно улучшается в процессе постобучения, что позволяет ей успешно конкурировать с другими небольшими LLM с открытым исходным кодом.
Мы предварительно обучили Mellum2 на более чем 10 триллионах токенов кода под свободными лицензиями, веб-текстов и математических данных. Процесс предварительного обучения состоял из трех этапов. Сначала модель обучалась примерно на 6 триллионах токенов, состоящих преимущественно из веб-страниц. Затем обучение продолжилось на 2,8 триллиона токенов высококачественных данных с сильным упором на программирование. На финальном этапе использовались 1,7 триллиона токенов данных наивысшего качества, в которых код составлял более 50% от общего объема.
Затем проводится масштабное постобучение: сначала — контролируемое дообучение (SFT) на 50 миллиардах токенов данных с инструкциями, а затем — обучение с подкреплением на основе проверяемых вознаграждений (RLVR) в различных средах для программирования, математики и логических рассуждений.
Благодаря сочетанию всех этих этапов — масштабного предварительного обучения, постепенного упора на код и математику, а также целевого постобучения с помощью SFT и RLVR — Mellum2 остается компактной и уверенно конкурирует с другими небольшими LLM с открытым исходным кодом.
О том, как мы обучали Mellum1, читайте в нашем блоге.
Mellum отлично справляется как с кодом, так и с текстом, демонстрируя минимальное время отклика и высокую скорость работы. Благодаря своей архитектуре она не уступает по качеству моделям аналогичного размера (а часто и превосходит их), но при этом работает гораздо эффективнее в реальном времени.
Подробнее:
Mellum использует архитектуру Mixture-of-Experts: для каждого запроса активируется лишь небольшая часть параметров. Это снижает потребность в вычислительных ресурсах, сохраняя высокое качество ответов. На GPU видеопамять нужна и для весов модели, и для KV-кэша, который увеличивается с каждым параллельным запросом и каждым токеном контекста. Поэтому мы сделали KV-кэш Mellum компактным на уровне отдельного запроса: один GPU может обслуживать значительно больше пользователей одновременно без риска упереться в память. Благодаря этому Mellum эффективно развертывается на H100/H200, а также на новых B200 и B300 — даже на одном GPU.
Mellum2: общение в чате на английском языке и все основные языки программирования.
Mellum1: Java, Kotlin, Python, Go, PHP, C, C++, C#, JavaScript, TypeScript, CSS, HTML, Rust и Ruby.
Да. Mellum распространяется под лицензией Apache 2.0, а открытые веса доступны на Hugging Face.
Вы также можете попробовать ее в деле прямо сейчас:
Запускайте Mellum локально или в облаке. Модель создана для систем реального времени, эффективного инференса и современной ИИ-разработки.