GPUs en Kubernetes · Lección 25
¿Qué estrategia de costos es relevante considerar para cargas de entrenamiento de ML tolerantes a interrupciones, en un proveedor cloud que ofrece instancias con GPU?
Usar instancias 'spot' o 'preemptible' significativamente más baratas que las instancias bajo demanda, aceptando el riesgo de que puedan ser interrumpidas, combinado con checkpointing para poder reanudar el trabajo tras una interrupción
Las instancias spot siempre cuestan exactamente lo mismo que las instancias bajo demanda estándar sin ninguna diferencia de precio real
Es técnicamente imposible usar instancias spot para cualquier tipo de carga de trabajo de machine learning
Elimina por completo la necesidad de tener cualquier tipo de checkpointing configurado en el proceso de entrenamiento
GPUs en Kubernetes · Lección 25
Completa el código
El riesgo de usar instancias spot se mitiga combinándolas con
Revisa: el riesgo se mitiga combinándolas con checkpointing periódico del progreso.
GPUs en Kubernetes · Lección 25
¿Por qué el ahorro potencial de usar instancias spot para entrenamiento solo se vuelve una estrategia viable si se combina con un mecanismo real de checkpointing que permita reanudar el trabajo tras una interrupción?
Pista: sin un mecanismo de checkpointing que guarde periódicamente el progreso del entrenamiento, una interrupción inesperada de la instancia spot haría perder todo el trabajo acumulado hasta ese momento, anulando por completo el ahorro de costo obtenido; el checkpointing es lo que convierte ese riesgo de interrupción en algo manejable y realmente viable.
✓
¡Lección completada!
Optimización de costos de GPU en cloud
0
XP ganado
3
Vidas restantes