Private AI en VCF · Lección 17
¿Cómo se mejora el rendimiento de inferencia?
Ignorando la latencia
Usando siempre el modelo más grande disponible
Eligiendo el tamaño de modelo adecuado, usando cuantización, procesamiento por lotes continuo, caché de claves y valores, paralelismo de tensores entre GPU y ajustando el tamaño del contexto y la concurrencia, midiendo latencia y tokens por segundo
Reduciendo la memoria de la GPU
Private AI en VCF · Lección 17
Completa el código
La técnica que reduce la precisión numérica del modelo para ahorrar memoria se llama
Revisa: cuantización.
Private AI en VCF · Lección 17
¿Qué métricas usas para medir una API de inferencia?
Pista: Latencia, tiempo hasta el primer token, tokens por segundo y rendimiento global.
✓
¡Lección completada!
Rendimiento y optimización
0
XP ganado
3
Vidas restantes