Homa: Reemplazando TCP para redes de clústeres de IA

Homa es un protocolo de transporte diseñado para reemplazar TCP en redes de centros de datos y clústeres de IA, donde la latencia de cola a escala de microsegundos importa más que la semántica de flujo de bytes. Este vídeo recorre el diseño y su motivación.

Qué cambia Homa respecto a TCP

TCP se creó para la internet de área amplia: optimiza el ancho de banda y la equidad entre flujos de larga duración. Homa está dirigido por el receptor. En lugar de que los emisores sondeen la capacidad, el receptor concede crédito a los emisores y planifica los mensajes entrantes usando SRPT (primero el de menor tiempo de procesamiento restante). Los mensajes cortos —el caso común en RPC y operaciones colectivas en entrenamiento de IA— tienen prioridad sobre las transferencias masivas.

Por qué esto importa para los clústeres de IA

El tráfico de entrenamiento e inferencia de IA es a ráfagas y orientado a mensajes. AllReduce, las actualizaciones del servidor de parámetros y las transferencias de caché KV se parecen más a muchos mensajes pequeños que a unos pocos flujos largos de bytes. El control de congestión por flujo y la entrega ordenada de bytes de TCP añaden bloqueo de cabeza de línea y retardo de encolamiento que perjudican el tiempo de finalización de trabajos a escala.

El artículo original de USENIX ATC '21 de Ousterhout et al. es la referencia principal. Reporta reducciones de órdenes de magnitud en la latencia del percentil 99 de mensajes en comparación con pilas basadas en TCP bajo cargas de centros de datos, además de mayor rendimiento cuando muchos mensajes cortos comparten la red.

Dónde está ahora

El artículo de LWN enlazado cubre el esfuerzo en curso para llevar una planificación similar a Homa a la pila de red de Linux —la larga discusión sobre si extender TCP, añadir un nuevo transporte o construirlo como módulo del kernel. La pieza de The Register cubre el ángulo del proyecto de Stanford.

Si estás construyendo u operando clústeres de GPU y los tiempos de finalización de tus trabajos están dominados por la latencia de cola de la red en lugar de por el cómputo, vale la pena seguir esto. El artículo es la forma más rápida de entender el diseño; el hilo de LWN muestra cómo sería realmente la integración en el kernel.