GPUs en Kubernetes · Lección 27
¿Por qué el checkpointing periódico es especialmente importante en un job de entrenamiento largo que usa GPUs costosas y puede tardar días o semanas en completarse?
Permite reanudar el entrenamiento desde el último punto guardado en caso de una interrupción (fallo de hardware, mantenimiento del nodo, instancia spot revocada), evitando perder todo el progreso computacional ya invertido desde el inicio
El checkpointing elimina por completo la necesidad de tener GPUs reales ejecutando el entrenamiento
Solo es relevante si el job de entrenamiento dura menos de 1 minuto en total
Requiere detener por completo el proceso de entrenamiento cada vez que se guarda un checkpoint
GPUs en Kubernetes · Lección 27
Completa el código
Sin checkpointing, una interrupción forzaría a reiniciar el entrenamiento desde
Revisa: forzaría a reiniciar el entrenamiento completo desde cero.
GPUs en Kubernetes · Lección 27
¿Por qué perder días de progreso de entrenamiento acumulado (por no tener checkpointing configurado) representa un costo mucho mayor que el overhead de tiempo que toma guardar periódicamente el estado del entrenamiento?
Pista: el tiempo adicional que toma guardar un checkpoint periódicamente es mínimo comparado con el costo real de tener que reiniciar días o semanas completas de entrenamiento desde cero (con el gasto de GPU ya invertido completamente perdido) si ocurriera una interrupción inesperada sin ningún punto de recuperación guardado.
✓
¡Lección completada!
Checkpointing y tolerancia a fallos en jobs con GPU
0
XP ganado
3
Vidas restantes