MLOps en Producción · Lección 28
¿Qué técnica reduce el tamaño y costo de inferencia de un modelo con poca pérdida de calidad?
Cuantización, que representa los pesos con menor precisión numérica
Duplicar el tamaño del modelo
Desactivar el monitoreo
Entrenar sin datos
MLOps en Producción · Lección 28
Completa el código
Agrupar varias peticiones para procesarlas juntas mejora el uso de GPU y se llama
Revisa: se llama batching.
MLOps en Producción · Lección 28
¿Por qué medir el costo por predicción ayuda a decidir el tamaño del modelo?
Pista: permite comparar el beneficio de mayor precisión contra su costo y elegir el modelo suficiente, no el más grande.
✓
¡Lección completada!
Costos y optimización de inferencia
0
XP ganado
3
Vidas restantes