Private AI en VCF · Lección 09
¿Cómo se sirven los modelos para inferencia?
Con una hoja de cálculo
Con servidores de inferencia como vLLM o Triton, o microservicios NVIDIA NIM empaquetados en contenedores, que cargan el modelo en GPU y exponen una API compatible (por ejemplo tipo OpenAI) con procesamiento por lotes y gestión eficiente de memoria
Cargando el modelo de nuevo en cada petición de usuario
Solo con la CPU para modelos grandes
Private AI en VCF · Lección 09
Completa el código
Los microservicios de inferencia optimizados de NVIDIA se llaman
Revisa: NIM.
Private AI en VCF · Lección 09
¿Por qué agrupar peticiones en lotes?
Pista: Mejora el rendimiento (throughput) y aprovecha mejor la GPU.
✓
¡Lección completada!
Servidores de inferencia
0
XP ganado
3
Vidas restantes