von JetBrains
Entdecken Sie Mellum, eine Familie von schnellen Sprachmodellen, darunter ein Modell der neuesten Generation für Inferenzen mit extrem geringer Latenz und hoher Performance.
Das Open-Source-LLM von JetBrains, optimiert für reale Entwicklungsabläufe, bei denen Latenz und Leistung im Vordergrund stehen.
Mellum versteht Ihren Code, Ihren Kontext und Ihre Absicht und geht über die reine Code-Completion hinaus, um sowohl die Programmierung als auch in natürlicher Sprache formulierte Aufgaben zu unterstützen.
Die Mixture-of-Experts-Architektur (MoE) ermöglicht Inferenzen mit extrem geringer Latenz und hohem Durchsatz – oft doppelt so schnell wie bei anderen Modellen ähnlicher Größe – und stellt MoE-Fähigkeiten für eine wesentlich kleinere Modellklasse bereit.
Dank einer geringeren Anzahl aktiver Parameter pro Anfrage und einer effizienten Rechenauslastung erzielt Mellum eine hohe Codequalität bei halbierten Inferenzkosten.
Mellum wurde mit transparenten Daten trainiert und auf Konsistenz ausgelegt. Es lässt sich individuell anpassen und lokal oder in der Cloud bereitstellen, sodass Sie die volle Kontrolle über Leistung, Datenschutz und Infrastruktur haben.
Mellum wurde speziell für KI-/ML-Entwickler*innen und -Forscher*innen entwickelt und ermöglicht die effiziente Bearbeitung praxisnaher KI-Aufgaben von der Code-Completion bis hin zu allgemeineren Sprach- und Programmieraufgaben. Das Modell kann sowohl lokal als auch in der Cloud bereitgestellt werden.
Ein quelloffenes Mixture-of-Experts-Modell mit 12 Milliarden Parametern, das für Echtzeit-Workflows entwickelt wurde und herausragende Programmierungs- und Sprachfähigkeiten mit außergewöhnlicher Effizienz verbindet.
Ein quelloffenes, auf Programmierung ausgerichtetes Modell, das für ein umfassendes Codeverständnis und Completion in mehreren Sprachen entwickelt wurde.
Analysieren Sie eingehende Prompts und wählen Sie für jede Aufgabe das passende Modell aus, um je nach Anwendungsfall und Anforderungen ein schnelles und intelligentes Modell-Routing zu gewährleisten.
Erstellen Sie reaktionsschnelle Frage-Antwort-Systeme, indem Sie relevante Informationen abrufen und Mellum für schnelle Zusammenfassungen und die Generierung von Antworten verwenden.
Gliedern Sie die Agent-Pipelines in einzelne Schritte, z. B. Kontexterfassung, Planung und Validierung, und nutzen Sie Mellum für schnelle, spezialisierte Aufgaben, anstatt sich auf ein einzelnes großes Modell zu beschränken.
Behalten Sie die vollständige Kontrolle über Code und Daten durch ein lokales oder selbst gehostetes Deployment für die private und selbstbestimmte KI-Nutzung.
Wir haben Mellum entwickelt, weil nicht für jede Aufgabe die größten oder komplexesten Modelle erforderlich sind. Mit einem Fokus auf Leistung, Latenz und Kosten haben wir ein Modell gebaut, das speziell auf Entwickler*innen und Teams zugeschnitten ist, die den Schritt vom Experimentieren zum Produktiveinsatz vollziehen.
JetBrains Mellum ist eine Familie von schnellen Sprachmodellen, die für den effizienten praktischen KI-Einsatz entwickelt wurden. Das ursprünglich auf Code ausgerichtete Modell wurde weiterentwickelt und unterstützt nun sowohl Programmieraufgaben als auch Aufgaben in natürlicher Sprache. Die schnellen und kosteneffizienten Inferenzen eignen sich für eine Vielzahl von Anwendungsfällen.
Das neueste Mellum-Modell führt eine neue Mixture-of-Experts-Architektur ein, die für Leistung und Effizienz optimiert ist. Das Modell geht über Code-Completion hinaus und unterstützt umfassendere Sprach- und Programmieraufgaben. Konzipiert ist es für Echtzeitanwendungen mit geringer Latenz sowie für den Produktiveinsatz.
Große Modelle sind leistungsstark – sie sind aber auch teuer und werden beim Skalieren langsamer.
Mellum ist für folgende Szenarien konzipiert:
Die neueste Mellum-Generation wurde mit einer Mischung aus Code und natürlicher Sprache von Grund auf neu vortrainiert. Der Schwerpunkt lag dabei auf Programmierung und Mathematik. Darauf aufbauend verbessern wir die Modellqualität durch ein Nachtrainingsverfahren weiter, um mit anderen kleinen Open-Source-LLMs gleichzuziehen.
Das Vortraining von Mellum2 umfasst mehr als 10 Billionen Token aus frei lizenziertem Code, Webtexten und mathematischen Daten. Das Vortraining besteht aus drei Phasen: Zunächst trainieren wir das Modell mit etwa 6 Billionen Token, die überwiegend aus Webdaten bestehen; Anschließend folgen 2,8 Billionen Token an hochwertigen Daten mit einem starken Schwerpunkt auf Programmierung. Schließlich trainieren wir das Modell mit 1,7 Billionen Token an Daten höchster Qualität, davon mehr als 50% Code.
Darauf folgt ein umfangreiches Nachtraining: zunächst eine überwachte Feinabstimmung (supervised fine-tuning, SFT) mit 50 Milliarden Token zur Befolgung von Anweisungen, anschließend Verstärkungslernen mit verifizierbaren Belohnungen (reinforcement learning with verifiable rewards, RLVR) in verschiedenen Umgebungen für Programmierung, Mathematik und logisches Denken.
Zusammen sorgen diese Phasen – umfassendes Vortraining, zunehmende Konzentration auf Programmierung und Mathematik sowie gezieltes Nachtraining mit SFT und RLVR – dafür, dass Mellum2 kompakt bleibt und sich als starker Konkurrent unter den kleinen Open-Source-LLMs behauptet.
Weitere Informationen zum Training von Mellum1 finden Sie in diesem Blogartikel.
Mellum bietet eine hohe Leistung bei Programmier- und Sprachaufgaben und zeichnet sich dabei durch eine geringe Latenz und einen hohen Durchsatz aus. Dank seiner Architektur bietet es im Vergleich zu anderen Modellen ähnlicher Größe eine ähnliche (oder höhere) Qualität bei deutlich verbesserter Effizienz im Echtzeiteinsatz.
Mehr erfahren:
Mellum nutzt ein Mixture-of-Experts-Modell, bei dem pro Anfrage nur eine kleine Untermenge der Parameter zum Einsatz kommt. Dadurch wird der Rechenaufwand reduziert und gleichzeitig eine hohe Ergebnisqualität gewährleistet. In einer GPU müssen im VRAM sowohl die Modellgewichte als auch der KV-Cache untergebracht werden, dessen Größe jedoch mit jeder parallelen Anforderung und jedem Kontexttoken zunimmt. Wir haben Mellum bewusst so konzipiert, dass der KV-Cache pro Anfrage nur wenig Speicher beansprucht, sodass eine einzelne GPU viel mehr parallele Anfragen bedienen kann, ohne dass der Speicher knapp wird. Dies ermöglicht einen äußerst effizienten Einsatz sowohl auf H100-/H200-GPUs als auch auf neuerer B200- und B300-Hardware – selbst bei einer einzelnen GPU.
Mellum2: Allgemeine Chat-Schnittstelle für Englisch und alle gängigen Programmiersprachen.
Mellum1: Java, Kotlin, Python, Go, PHP, C, C++, C#, JavaScript, TypeScript, CSS, HTML, Rust und Ruby.
Ja. Mellum wird unter der Apache-2.0-Lizenz veröffentlicht; die offenen Gewichte sind auf Hugging Face verfügbar.
Sie können Mellum auch „out of the box“ ausprobieren:
Sie können Mellum lokal oder in der Cloud ausführen. Das Modell wurde für Echtzeitsysteme, effiziente Inferenz und moderne KI-gestützte Entwicklung konzipiert.