Homa: AIクラスタネットワーキングのためのTCP代替

Homaは、データセンターやAIクラスタネットワークにおいてTCPを置き換えるために設計されたトランスポートプロトコルです。そこでは、マイクロ秒スケールのテールレイテンシがバイトストリームのセマンティクスよりも重要になります。この動画では、その設計と動機を解説します。

HomaがTCPと異なる点

TCPは広域インターネット向けに作られており、長期間存続するフロー間での帯域幅と公平性を最適化します。Homaは受信者駆動型です。送信者が容量を探る代わりに、受信者が送信者にクレジットを付与し、SRPT（最短残り処理時間優先）を用いて受信メッセージをスケジュールします。短いメッセージ——AIトレーニングにおけるRPCや集団操作で一般的なケース——は、大きなバルク転送よりも優先されます。

これがAIクラスタにとって重要な理由

AIトレーニングと推論のトラフィックはバースト的でメッセージ指向です。AllReduce、パラメータサーバー更新、KVキャッシュ転送はすべて、少数の長いバイトストリームではなく、多数の小さなメッセージのように見えます。TCPのフローごとの輻輳制御と順序通りのバイト配信は、ヘッドオブラインブロッキングとキュイング遅延を追加し、大規模でのジョブ完了時間を悪化させます。

Ousterhoutらによる元のUSENIX ATC '21論文が中核的な参考文献です。これは、データセンターのワークロード下でTCPベースのスタックと比較して、99パーセンタイルのメッセージレイテンシが桁違いに削減されること、および多数の短いメッセージがファブリックを共有する場合のスループット向上を報告しています。

現在の状況

リンクされたLWNの記事は、HomaのようなスケジューリングをLinuxネットワークスタックに導入する進行中の取り組みを扱っています——TCPを拡張するか、新しいトランスポートを追加するか、カーネルモジュールとして構築するかについての長期にわたる議論です。The Registerの記事は、スタンフォードプロジェクトの観点を扱っています。

GPUクラスタを構築または運用していて、ジョブ完了時間がコンピュートではなくネットワークのテールレイテンシに支配されているなら、これは追跡する価値があります。論文は設計を理解する最速の方法であり、LWNスレッドはカーネル統合が実際にどのようになるかを示しています。