GPUs en Kubernetes · Lección 26
¿Qué diferencia clave de patrón de uso hay entre una carga de inferencia y una carga de entrenamiento en cuanto a cómo utilizan una GPU?
El entrenamiento típicamente satura la GPU de forma sostenida durante períodos largos, mientras la inferencia suele tener picos de uso más cortos e intermitentes según llegan las peticiones, siendo mejor candidata para compartición de GPU
Ambos tipos de carga tienen exactamente el mismo patrón de utilización de GPU sin ninguna diferencia real
El entrenamiento nunca requiere GPU bajo ninguna circunstancia, solo la inferencia la necesita
La inferencia siempre requiere más capacidad de GPU que el entrenamiento del mismo modelo en cualquier escenario
GPUs en Kubernetes · Lección 26
Completa el código
La inferencia con patrón intermitente es mejor candidata para estrategias de
Revisa: es mejor candidata para estrategias de compartición de GPU como time-slicing o MIG.
GPUs en Kubernetes · Lección 26
¿Por qué dedicar una GPU completa a una carga de entrenamiento sostenido tiene más sentido económico que a una carga de inferencia con picos intermitentes de tráfico?
Pista: si el entrenamiento satura consistentemente la GPU durante todo su período de ejecución, dedicarla por completo aprovecha esa capacidad al máximo sin desperdicio; en cambio, una carga de inferencia con picos intermitentes dejaría la GPU ociosa durante los períodos de baja demanda si se le dedicara en exclusiva, siendo más eficiente compartirla con otras cargas.
✓
¡Lección completada!
GPUs en cargas de inferencia vs entrenamiento
0
XP ganado
3
Vidas restantes