Usando el mismo cálculo que para un servidor web

Ignorando el crecimiento

Comprando el máximo posible de GPU sin análisis

Estimando los modelos y usuarios concurrentes, la memoria necesaria por modelo y por contexto, el reparto entre entrenamiento e inferencia, el margen para picos y fallos, y midiendo la utilización real para decidir si compartir con vGPU o MIG o dedicar GPU completas