Mellum

jetBrains 제공

지연이 짧은 고성능 추론을 지원하는 차세대 모델을 포함한 고속 언어 모델 제품군 Mellum을 살펴보세요.

JetBrains의 오픈 소스 LLM으로, 지연 시간과 성능이 중요한 실제 개발 워크플로에 최적화되어 있습니다.

이점

실제 AI 워크플로와 코딩 작업을 위해 설계

Mellum은 코드, 컨텍스트, 의도를 이해하며, 단순한 코드 완성을 넘어 자연어 작업과 프로그래밍 작업을 모두 지원합니다.

초고속을 고려한 설계

Mixture-of-Experts(MoE) 아키텍처는 지연이 짧은 추론과 높은 처리량을 제공하며, 유사한 규모의 모델보다 최대 2배 빠른 성능을 구현하는 동시에 훨씬 작은 모델에 MoE 기능을 제공합니다.

높은 성능, 더 낮은 비용

Mellum은 요청당 활성화되는 매개변수 수를 줄이고 컴퓨팅 자원을 효율적으로 활용하여, 추론 비용을 절반 수준으로 낮추면서도 뛰어난 코드 품질을 제공합니다.

신뢰성 및 유연성

투명한 데이터로 트레이닝되고 일관성을 갖추도록 조정된 Mellum은 로컬 또는 클라우드 환경에서 세부 조정 및 배포할 수 있으며 성능, 개인정보 보호, 인프라에 대한 완전한 통제권을 제공합니다.

AI/ML 엔지니어와 연구자를 위해 설계된 Mellum은 코드 완성부터 광범위한 언어 및 프로그래밍 작업에 이르기까지 실제 AI 워크로드를 효율적으로 지원하며, 로컬 및 클라우드 배포를 모두 지원합니다.

Mellum 모델

Mellum2

지연이 짧은 고성능 추론에 탁월

실시간 워크플로를 위해 설계된 120억 개 매개변수 규모의 오픈 소스 Mixture-of-Experts(MoE) 모델로, 뛰어난 효율성과 강력한 코딩 및 언어 처리 성능을 제공합니다.

Mellum1

효율적인 고품질 코드 생성

여러 언어 전반에서 폭넓은 코드 이해와 자동 완성을 지원하도록 설계된 오픈 소스 코딩 모델입니다.

실제 성과를 내도록 설계된 고속 모델

AI 워크로드 라우팅 및 오케스트레이션

입력된 프롬프트를 분석하고 사용 사례와 요구 사항에 따라 각 작업에 가장 적합한 모델을 선택하여 모델 간 빠르고 지능적인 라우팅을 수행합니다.

저지연 RAG 파이프라인

관련 정보를 검색하고 Mellum을 활용해 빠르게 요약하고 응답을 생성하여 질의응답 시스템의 속도와 응답성을 유지합니다.

복잡한 워크플로에서 빠른 서브 에이전트 지원

컨텍스트 수집, 계획 수립, 검증과 같은 단계로 에이전트 파이프라인을 세분화하여, 대규모 모델 하나에만 의존하지 않고 Mellum을 활용해 빠르고 전문화된 작업을 처리하세요.

프라이빗 로컬 AI 활용 지원

프라이빗 AI 및 소버린 AI를 사용하는 경우 로컬 또는 자체 호스팅 배포를 통해 코드와 데이터를 완전히 통제할 수 있습니다.

Mellum이 개발된 이유는 모든 작업에 복잡한 대규모 모델이 필요한 것은 아니기 때문입니다. Mellum은 성능, 지연 시간, 비용에 집중하여 실험 단계에서 프로덕션 단계로 나아가는 개발자와 팀을 위한 모델로 개발되었습니다.

자주 하는 질문

JetBrains Mellum은 효율적인 실제 AI 워크로드를 위해 설계된 고속 언어 모델 제품군입니다. 코드 중심 모델로 시작한 Mellum은 프로그래밍 작업과 자연어 작업을 모두 지원하도록 발전했으며, 다양한 사용 사례에서 빠르고 경제적인 추론을 제공합니다.

최신 Mellum 모델은 성능과 효율성에 최적화된 새로운 Mixture-of-Experts(MoE) 아키텍처를 사용합니다. 코드 완성을 넘어 더 폭넓은 언어 및 프로그래밍 작업을 지원하며, 저지연 실시간 사용 사례와 프로덕션 배포를 위해 설계되었습니다.

대규모 모델은 강력하지만 비용이 많이 들고 규모가 커질수록 처리 속도가 느려집니다.

Mellum은 다음과 같은 상황을 위해 설계되었습니다.

  • 프런티어 모델의 스마트 라우팅 및 전처리 및 후처리와 같이 초 단위가 아닌 밀리초 단위의 빠른 응답이 필요한 경우
  • 높은 요청 처리량이 필요한 경우
  • 예측 가능하고 더 낮은 비용이 필요한 경우

최신 세대의 Mellum은 코딩 및 수학 분야에 중점을 두고 자연어 데이터와 코드 데이터를 혼합해 처음부터 사전 트레이닝됩니다. 이후 후속 트레이닝을 통해 모델 품질을 향상하여 다른 소형 오픈 소스 LLM 대비 우수합니다.

Mellum2는 허용된 라이선스의 코드, 웹 텍스트, 수학 데이터를 포함한 10조 개 이상의 토큰으로 사전 트레이닝됩니다. 사전 트레이닝은 세 단계로 구성됩니다. 먼저 대부분 웹 데이터로 이루어진 약 6조 개 토큰으로 트레이닝한 뒤, 코딩에 중점을 둔 고품질 데이터 2.8조 개 토큰으로 추가 트레이닝을 합니다. 마지막으로 코드 비중이 50%를 넘는 최고 품질 데이터 1.7조 개 토큰으로 트레이닝합니다.

이후에는 대규모 사후 트레이닝이 이어집니다. 먼저 500억 토큰 규모의 지시 수행 데이터에 대해 지도 기반 세부 조정(SFT)을 수행한 뒤, 다양한 코딩, 수학 및 추론 환경에서 검증 가능한 보상 기반 강화 학습(RLVR)을 진행합니다.

이렇듯 광범위한 사전 트레이닝, 코드 및 수학에 대한 점진적 집중, SFT 및 RLVR 기반의 목표 지향적 사후 트레이닝 단계를 거치면서 Mellum2는 크기는 작아지고 소형 오픈 소스 LLM 가운데 강력한 경쟁력을 갖추게 됩니다.

Mellum1의 트레이닝 방식에 대해 자세히 알아보려면 블로그 글을 읽어보세요.

Mellum은 짧은 지연 시간과 높은 처리량을 유지하면서 코딩 및 언어 작업 전반에서 우수한 성능을 제공합니다. 또한 아키텍처를 통해 유사한 규모의 모델과 동등하거나 더 높은 품질을 구현하면서, 실시간 활용에 필요한 효율성을 크게 향상합니다.

자세히 알아보기:

Mellum은 요청마다 일부 활성 매개변수만 사용하는 Mixture-of-Experts(MoE) 설계를 채택해 높은 출력 품질을 유지하면서 컴퓨팅 요구 사항을 줄입니다. GPU에서는 모델 가중치와 KV 캐시를 모두 메모리에 유지해야 하며, KV 캐시는 병렬 요청 수와 컨텍스트 토큰 수에 따라 증가합니다. Mellum은 요청당 KV 캐시 사용량을 작게 유지하도록 설계되어, 단일 GPU에서도 메모리 부족 없이 훨씬 더 많은 동시 사용자를 처리할 수 있습니다. 이를 통해 H100/H200 GPU는 물론 최신 B200 및 B300 하드웨어에서도 단일 GPU 기반의 고효율 배포가 가능합니다.

Mellum2: 영어 기반의 일반 채팅 인터페이스 사용 및 주요 프로그래밍 언어 모두 지원

Mellum1: Java, Kotlin, Python, Go, PHP, C, C++, C#, JavaScript, TypeScript, CSS, HTML, Rust 및 Ruby 지원

예. Mellum은 Apache 2.0 라이선스로 공개되며, 오픈 웨이트는 Hugging Face에서 제공됩니다.

다음 방법으로 별도의 설정 없이 Mellum을 사용해 보세요.

  • Ollama를 사용하여 단 2개의 명령어로 로컬에서 실행하세요.
  • JetBrains AI Assistant에서 로컬 모델로 사용합니다. 사용자 지정 모델 사용에 관한 가이드를 확인하세요.
  • 지원되는 추론 플랫폼을 통해 배포합니다.

실제 시스템을 위한
고성능 모델

Mellum을 로컬 또는 클라우드에서 실행하세요. Mellum은 실시간 시스템, 효율적인 추론, 현대적인 AI 개발 환경을 위해 설계되었습니다.

More from JetBrains

Discover jetbrains air, one system for building software with agents.

자세히 알아보기