DeepMind stellt Decoupled DiLoCo vor: Neue Methode für verteiltes KI-Training
DeepMind hat Decoupled DiLoCo entwickelt, eine neue Architektur für das Training von LLMs über geografisch verteilte Datenzentren mit geringer Bandbreite und höherer Hardware-Resilienz. Das System teilt das Training in entkoppelte 'Inseln' auf, die asynchron kommunizieren und bei Ausfällen selbstheilend funktionieren.
Einordnung
Diese Forschung adressiert eine der größten Herausforderungen beim Training zukünftiger Frontier-Modelle: die Skalierung über geografisch verteilte Infrastrukturen hinweg. Während bisherige Ansätze auf eng gekoppelte Systeme angewiesen waren, ermöglicht Decoupled DiLoCo eine flexiblere und ausfallsichere Architektur. Die erfolgreichen Tests mit Gemma 4-Modellen und die drastische Reduktion der benötigten Bandbreite (um Größenordnungen geringer) zeigen das praktische Potenzial.
Die Bedeutung liegt nicht nur in der technischen Innovation, sondern auch in der strategischen Vorbereitung auf die nächste Generation von KI-Modellen. Mit steigenden Rechenressourcen wird die geografische Verteilung unvermeidlich, und Decoupled DiLoCo könnte der Schlüssel sein, um die Training-Infrastruktur entsprechend zu skalieren. Dies könnte DeepMind einen erheblichen Vorteil im Rennen um zukünftige Frontier-Modelle verschaffen.