GPUs en Kubernetes · Lección 09
¿Por qué la topología de interconexión entre múltiples GPUs dentro del mismo nodo (como NVLink) es relevante para un entrenamiento distribuido que usa varias GPUs simultáneamente?
GPUs conectadas mediante NVLink (una interconexión de alta velocidad) pueden comunicarse entre sí mucho más rápido que a través del bus PCIe estándar, mejorando significativamente el rendimiento de entrenamientos que requieren sincronización frecuente entre GPUs
La topología de interconexión no tiene ningún impacto real en el rendimiento del entrenamiento distribuido
NVLink solo funciona si las GPUs están en nodos físicos completamente distintos y separados
Solo es relevante si el entrenamiento usa exactamente una única GPU en total
GPUs en Kubernetes · Lección 09
Completa el código
NVLink ofrece un ancho de banda significativamente mayor que el bus
Revisa: ofrece un ancho de banda significativamente mayor que el bus PCIe estándar.
GPUs en Kubernetes · Lección 09
¿Por qué un scheduler consciente de la topología de GPU (que coloca un Pod multi-GPU en GPUs conectadas por NVLink, en vez de GPUs dispersas sin esa conexión rápida) puede mejorar significativamente el rendimiento de un entrenamiento distribuido?
Pista: un entrenamiento distribuido con múltiples GPUs requiere sincronizar constantemente los gradientes entre ellas; si esas GPUs están conectadas por una interconexión lenta (en vez de NVLink de alta velocidad), esa comunicación frecuente se convertiría en un cuello de botella que ralentiza todo el proceso de entrenamiento, algo que un scheduler consciente de topología ayuda a evitar.
✓
¡Lección completada!
Topología de GPU — NVLink y afinidad
0
XP ganado
3
Vidas restantes