速度と性能が最重要視される現場の開発ワークフローに最適化された JetBrains のオープンソース LLM です。
Mellum はコード、コンテキスト、開発者の意図を理解します。単なるコード補完にとどまらず、自然言語タスクにもプログラミングタスクにも対応します。
混合専門家(MoE)アーキテクチャにより、超低遅延の推論能力と高いスループットを提供します。MoE の機能をはるかに小さなモデルクラスに取り込みながら、多くの場合は同等サイズのモデルの最大 2 倍の速度を確保できます。
Mellum はリクエストごとの有効パラメーター数を削減し、計算リソースを効率的に活用します。これにより、推論コストを半減させると同時に優れたコーディング品質を実現します。
透明性の高いデータセットでトレーニングされ、アライメントによって一貫性が確保された Mellum はファインチューニングとローカル・クラウド両方へのデプロイに対応しており、ユーザーが性能、プライバシー、インフラストラクチャを自由に管理できるようになっています。
AI/ML エンジニアや研究者向けに開発された Mellum はコード補完から広範な言語・プログラミングのタスクに至る現場の AI ワークロードを効率化し、ローカルとクラウドのどちらの環境にもデプロイ可能です。
120 億個のパラメーターを持つオープンソースの混合専門家(MoE)モデルはリアルタイムのワークフローを想定した設計になっており、極めて少ない負荷で強力なコーディング能力と言語処理能力を実現します。
複数言語にわたる広範なコードの理解と補完を目的にビルドされたオープンソースのコーディングモデルです。
入力プロンプトを解析して個々のタスクに最適なモデルを選択することで、モデル間での迅速かつインテリジェントなルーティングをユースケースや要件に基づいて実行します。
関連情報を取得し、Mellum を使用してすぐに要約と回答を生成することで、質疑応答システムの速度と応答性を維持できます。
エージェントのパイプラインを「コンテキスト収集」「計画」「検証」といったステップに分解し、速度が求められる専門性の高いタスクには 1 つの大型モデルの代わりに Mellum を使用します。
ローカルまたはセルフホスト環境にデプロイしてコードとデータを完全に管理下に置くことで、非公開かつ主導権を持って AI を使用するユースケースを実現できます。
すべてのタスクに巨大で複雑なモデルが必要なわけではありません。だからこそ私たちは Mellum を開発しました。性能、遅延、コストに的を絞ることで、実験運用から本番運用へ移行する開発者やチームに最適なモデルを開発することに成功しました。
JetBrains の Mellum は現場の AI ワークロードを効率化するように設計された高速な言語モデルのファミリーです。当初はコードに特化したモデルが自然言語タスクにもプログラミングタスクにも対応するように進化し、幅広いユースケースで高速かつコスト効率に優れた推論を実現できるようになりました。
最新の Mellum モデルは優れた性能と効率を提供するように最適化された新しい混合専門家(MoE)アーキテクチャを導入しています。単なるコード補完にとどまらず、より広範な言語タスクとプログラミングタスクの両方に対応しており、低遅延でリアルタイムの処理が求められるユースケースや本番環境へのデプロイを想定して設計されています。
大型モデルは強力ですが、コストが高い上に運用規模が拡大するほど処理速度が低下します。
Mellum は以下の状況を想定した設計になっています。
最新世代の Mellum は自然言語とコードの両方を含むデータを使用し、コーディングと数学の領域に的を絞ってゼロから事前トレーニングされています。さらには事後トレーニングを通してモデル品質の改善を行うことで、他の小型オープンソース LLM との競争力を維持しています。
Mellum2 は 10 兆を超えるパーミッシブライセンスのコード、ウェブテキスト、および数学データのトークンでゼロから事前トレーニングされています。このプロセスは 3 段階構成となっており、第 1 段階では主に約 6 兆のウェブデータのトークンで、続く第 2 段階では 2.8 兆のコーディングに的を絞った高品質なデータのトークンでトレーニングされます。最終段階では、コードが 50% 以上を占める 1.7 兆の最高品質のデータのトークンでトレーニングされています。
その後は大規模な事後トレーニングが続きます。まずは 500 億の指示追従データのトークンで教師ありファインチューニング(SFT)が行われ、多様なコーディング・数学・論理的思考環境で検証可能な報酬を伴う強化学習(RLVR)がその後に行われています。
このような広範な事前トレーニング、コードや数学への段階的な重点化、SFT と RLVR による的を絞った事後トレーニングからなる段階を経ることで、Mellum2 をコンパクトでありながらも強い競争力を持つ小型オープンソース LLM にしています。
Mellum1 がどのようにトレーニングされていたかを知るには、こちらのブログ記事をお読みください。
Mellum はリクエストごとに少数の有効パラメーターのみを使用する混合専門家(MoE)設計を採用することで、高い出力品質を維持しながら計算負荷を最小限に抑えます。GPU では VRAM にモデルの重みも KV キャッシュも格納する必要があり、後者は並列リクエストとトークンのコンテキストに比例して増大します。Mellum は意図的にリクエストごとの KV キャッシュのフットプリントをコンパクトに抑える設計になっているため、単一の GPU でより多くのユーザーにメモリを枯渇させることなく対応できます。そのため、H100/H200 GPU と比較的新しい B200/B300 ハードウェアの単一 GPU でも非常に効率的なデプロイが可能です。
Mellum2: 英語での一般的なチャットインターフェースの使用とすべての主要プログラミング言語がサポートされています。
Mellum1: Java、Kotlin、Python、Go、PHP、C、C++、C#、JavaScript、TypeScript、CSS、HTML、Rust、および Ruby がサポートされています。
はい。Mellum は Apache 2.0 ライセンスの下でリリースされており、Hugging Face にてオープンウェイトが公開されています。
また、初期状態で Mellum を試すことも可能です。