GPUs en Kubernetes · Lección 11
¿Qué problema de eficiencia busca resolver compartir una misma GPU física entre múltiples cargas de trabajo distintas?
Muchas cargas de trabajo (especialmente de inferencia con tráfico bajo o moderado) no utilizan la capacidad completa de una GPU dedicada, dejando recursos desperdiciados que podrían aprovecharse por otras cargas simultáneas
Compartir GPU elimina por completo la necesidad de tener más de una GPU física en todo el cluster
Solo tiene sentido si el cluster tiene exactamente una única carga de trabajo total en ejecución
Elimina por completo cualquier tipo de aislamiento entre las cargas que comparten esa GPU
GPUs en Kubernetes · Lección 11
Completa el código
Una GPU infrautilizada representa un desperdicio de capacidad
Revisa: representa un desperdicio de capacidad costosa que podría aprovecharse mejor.
GPUs en Kubernetes · Lección 11
¿Por qué un modelo de inferencia pequeño que solo usa el 20% de la capacidad de una GPU dedicada representa una oportunidad clara para aplicar alguna estrategia de compartición de GPU?
Pista: si ese modelo solo consume el 20% de la capacidad total de la GPU, el 80% restante permanecería completamente ocioso mientras esa GPU está dedicada exclusivamente a esa única carga; compartirla con otra carga complementaria permitiría aprovechar esa capacidad desperdiciada.
✓
¡Lección completada!
Por qué compartir GPUs entre workloads
0
XP ganado
3
Vidas restantes