JetBrains veröffentlicht Mellum2: 12B Mixture-of-Experts Modell
JetBrains hat Mellum2 vorgestellt, ein 12 Milliarden Parameter starkes Mixture-of-Experts (MoE) Sprachmodell. Das Modell wurde speziell für Code-Aufgaben entwickelt und soll Entwicklern bei der Programmierung helfen.
Einordnung
Die Veröffentlichung von Mellum2 zeigt JetBrains' strategischen Schritt von reinen Entwicklungstools hin zu KI-gestützten Programmierassistenten. Als etablierter Anbieter von IDEs wie IntelliJ und PyCharm besitzt JetBrains umfangreiche Expertise in Entwickler-Workflows, was ihnen einen Vorteil bei der Optimierung von Code-Modellen verschaffen könnte.
Die Mixture-of-Experts-Architektur ermöglicht es, trotz 12 Milliarden Parametern nur einen Bruchteil davon pro Inferenz zu aktivieren, was zu besserer Effizienz führt. Dies positioniert Mellum2 als potenzielle Alternative zu größeren Modellen wie Codex oder Code Llama, insbesondere für Unternehmen, die auf lokale oder private Deployments setzen.