非結合型DiLoCo:低帯域幅でのデータセンター間における耐障害性のある分散トレーニング

Google DeepMindは、Decoupled DiLoCo（分散低通信）に関する論文を発表しました。これは、計算を非同期に通信する独立した「学習ユニット」に分離する分散トレーニングアーキテクチャです。これにより、従来の同期型アプローチよりもはるかに低い帯域幅要件で、地理的に分散したデータセンター間で大規模モデルをトレーニングできます。

主な詳細

• 2つの先行技術を基盤としています：Pathways（非同期データフローシステム）とDiLoCo（データセンター間の帯域幅削減）。
• トレーニングは、分離された学習ユニット（独立した計算アイランド）に分割されます。1つのユニットでチップ障害が発生しても、他のユニットには影響しません。システムは自己修復型で、ハードウェア障害により学習ユニット全体が失われても、トレーニングは継続され、ユニットが回復するとシームレスに再統合されます。
• カオスエンジニアリングで検証済み—トレーニング実行中に人工的なハードウェア障害を注入。Decoupled DiLoCoは高い「グッドプット」（有用なトレーニング時間）を維持しましたが、従来の手法では障害発生時に性能が急落しました。
• 異なる米国4地域にわたって120億パラメータモデルを、2〜5 Gbpsの広域ネットワーク（データセンター間の既存のインターネット接続で実現可能）を使用してトレーニングしました。
• 従来のトレーニング手法と同じベンチマークML性能（Gemma 4モデルでテスト）を達成しました。
• 従来の同期手法と比較して20倍以上高速であると報告されています。これは、通信が計算と重複され、ブロッキングのボトルネックを回避するためです。

アーキテクチャ概要

このシステムは、すべてのチップ間での同期型オールリデュースを必要とする代わりに、より長い計算期間に通信を組み込みます。これにより、システムの一部が他を待つ必要がある「ブロッキング」を回避します。結果として、どこにでもある未使用の計算リソースを活用できる、耐障害性のあるトレーニングが実現し、遊休リソースを有用な容量に変えます。

対象読者

複数のデータセンターにわたって大規模言語モデルやその他の最先端モデルをトレーニングするチームで、カスタムネットワークインフラを必要とせず、性能を犠牲にせずに耐障害性を求める方。