Mellum

JetBrains 提供

超低遅延と高性能な推論能力を実現する次世代モデルを含む高速な言語モデルファミリーの「Mellum」をお試しください。

速度と性能が最重要視される現場の開発ワークフローに最適化された JetBrains のオープンソース LLM です。

利点

現場の AI ワークフローやコーディングに対応

Mellum はコード、コンテキスト、開発者の意図を理解します。単なるコード補完にとどまらず、自然言語タスクにもプログラミングタスクにも対応します。

超高速を実現する設計

混合専門家(MoE)アーキテクチャにより、超低遅延の推論能力と高いスループットを提供します。MoE の機能をはるかに小さなモデルクラスに取り込みながら、多くの場合は同等サイズのモデルの最大 2 倍の速度を確保できます。

高性能、低コスト

Mellum はリクエストごとの有効パラメーター数を削減し、計算リソースを効率的に活用します。これにより、推論コストを半減させると同時に優れたコーディング品質を実現します。

高い信頼性と優れた柔軟性

透明性の高いデータセットでトレーニングされ、アライメントによって一貫性が確保された Mellum はファインチューニングとローカル・クラウド両方へのデプロイに対応しており、ユーザーが性能、プライバシー、インフラストラクチャを自由に管理できるようになっています。

AI/ML エンジニアや研究者向けに開発された Mellum はコード補完から広範な言語・プログラミングのタスクに至る現場の AI ワークロードを効率化し、ローカルとクラウドのどちらの環境にもデプロイ可能です。

Mellum モデル

Mellum2

超低遅延で高性能な推論に最適

120 億個のパラメーターを持つオープンソースの混合専門家(MoE)モデルはリアルタイムのワークフローを想定した設計になっており、極めて少ない負荷で強力なコーディング能力と言語処理能力を実現します。

Mellum1

効率的で高品質のコード生成に最適

複数言語にわたる広範なコードの理解と補完を目的にビルドされたオープンソースのコーディングモデルです。

大きな効果を生む高速なモデル

AI ワークロードのルーティングと調整

入力プロンプトを解析して個々のタスクに最適なモデルを選択することで、モデル間での迅速かつインテリジェントなルーティングをユースケースや要件に基づいて実行します。

低遅延の RAG パイプライン

関連情報を取得し、Mellum を使用してすぐに要約と回答を生成することで、質疑応答システムの速度と応答性を維持できます。

複雑なワークフローでの高速なサブエージェント

エージェントのパイプラインを「コンテキスト収集」「計画」「検証」といったステップに分解し、速度が求められる専門性の高いタスクには 1 つの大型モデルの代わりに Mellum を使用します。

非公開のローカル環境で AI を使用可能

ローカルまたはセルフホスト環境にデプロイしてコードとデータを完全に管理下に置くことで、非公開かつ主導権を持って AI を使用するユースケースを実現できます。

すべてのタスクに巨大で複雑なモデルが必要なわけではありません。だからこそ私たちは Mellum を開発しました。性能、遅延、コストに的を絞ることで、実験運用から本番運用へ移行する開発者やチームに最適なモデルを開発することに成功しました。

よくある質問

JetBrains の Mellum は現場の AI ワークロードを効率化するように設計された高速な言語モデルのファミリーです。当初はコードに特化したモデルが自然言語タスクにもプログラミングタスクにも対応するように進化し、幅広いユースケースで高速かつコスト効率に優れた推論を実現できるようになりました。

最新の Mellum モデルは優れた性能と効率を提供するように最適化された新しい混合専門家(MoE)アーキテクチャを導入しています。単なるコード補完にとどまらず、より広範な言語タスクとプログラミングタスクの両方に対応しており、低遅延でリアルタイムの処理が求められるユースケースや本番環境へのデプロイを想定して設計されています。

大型モデルは強力ですが、コストが高い上に運用規模が拡大するほど処理速度が低下します。

Mellum は以下の状況を想定した設計になっています。

  • フロンティアモデルのスマートなルーティングと前処理・後処理などで(秒単位ではなくミリ秒単位の)高速な応答が必要である
  • 大量のリクエストを処理している
  • 予測可能かつ低コストを望んでいる

最新世代の Mellum は自然言語とコードの両方を含むデータを使用し、コーディングと数学の領域に的を絞ってゼロから事前トレーニングされています。さらには事後トレーニングを通してモデル品質の改善を行うことで、他の小型オープンソース LLM との競争力を維持しています。

Mellum2 は 10 兆を超えるパーミッシブライセンスのコード、ウェブテキスト、および数学データのトークンでゼロから事前トレーニングされています。このプロセスは 3 段階構成となっており、第 1 段階では主に約 6 兆のウェブデータのトークンで、続く第 2 段階では 2.8 兆のコーディングに的を絞った高品質なデータのトークンでトレーニングされます。最終段階では、コードが 50% 以上を占める 1.7 兆の最高品質のデータのトークンでトレーニングされています。

その後は大規模な事後トレーニングが続きます。まずは 500 億の指示追従データのトークンで教師ありファインチューニング(SFT)が行われ、多様なコーディング・数学・論理的思考環境で検証可能な報酬を伴う強化学習(RLVR)がその後に行われています。

このような広範な事前トレーニング、コードや数学への段階的な重点化、SFT と RLVR による的を絞った事後トレーニングからなる段階を経ることで、Mellum2 をコンパクトでありながらも強い競争力を持つ小型オープンソース LLM にしています。

Mellum1 がどのようにトレーニングされていたかを知るには、こちらのブログ記事をお読みください。

Mellum は低遅延と高いスループットを維持しながら、コーディングタスクと言語処理タスクの両方で優れた性能を発揮します。そのアーキテクチャは同等サイズのモデルに匹敵する(あるいはそれを上回る)品質を実現し、リアルタイムな用途での処理効率を大幅に向上させます。

詳細情報:

Mellum はリクエストごとに少数の有効パラメーターのみを使用する混合専門家(MoE)設計を採用することで、高い出力品質を維持しながら計算負荷を最小限に抑えます。GPU では VRAM にモデルの重みも KV キャッシュも格納する必要があり、後者は並列リクエストとトークンのコンテキストに比例して増大します。Mellum は意図的にリクエストごとの KV キャッシュのフットプリントをコンパクトに抑える設計になっているため、単一の GPU でより多くのユーザーにメモリを枯渇させることなく対応できます。そのため、H100/H200 GPU と比較的新しい B200/B300 ハードウェアの単一 GPU でも非常に効率的なデプロイが可能です。

Mellum2: 英語での一般的なチャットインターフェースの使用とすべての主要プログラミング言語がサポートされています。

Mellum1: Java、Kotlin、Python、Go、PHP、C、C++、C#、JavaScript、TypeScript、CSS、HTML、Rust、および Ruby がサポートされています。

はい。Mellum は Apache 2.0 ライセンスの下でリリースされており、Hugging Face にてオープンウェイトが公開されています。

また、初期状態で Mellum を試すことも可能です。

  • Ollama を使用することで、2 つのコマンドだけでローカルで実行できます。
  • JetBrains AI Assistant のローカルモデルとして使用できます。カスタムモデルの使用方法については、こちらのガイドをご覧ください。
  • サポート対象の推論プラットフォーム経由でデプロイします。

現場のシステムに耐える
高性能モデル

Mellum はローカルでもクラウドでも実行可能です。リアルタイムシステム、効率的な推論、モダンな AI 開発を想定した作りになっています。

More from JetBrains

Discover jetbrains air, one system for building software with agents.

詳細情報