Ollama y LLMs Self-Hosted · Lección 20
¿Qué estrategia se usa típicamente para escalar la capacidad de servir peticiones cuando una única instancia de Ollama no da abasto con el volumen de tráfico?
Desplegar múltiples réplicas de Ollama (potencialmente en distintos nodos con su propia GPU) detrás de un balanceador de carga que distribuya las peticiones entrantes entre ellas
Es técnicamente imposible ejecutar más de una única instancia de Ollama simultáneamente en cualquier circunstancia
Solo se puede escalar aumentando la memoria de una única instancia existente, sin ninguna otra estrategia posible
El balanceo de carga entre instancias de Ollama elimina por completo la necesidad de tener GPUs reales en cada nodo
Ollama y LLMs Self-Hosted · Lección 20
Completa el código
Un balanceador de carga distribuye las peticiones entrantes entre las réplicas
Revisa: distribuye las peticiones entrantes entre las réplicas disponibles.
Ollama y LLMs Self-Hosted · Lección 20
¿Por qué escalar horizontalmente con múltiples réplicas de Ollama en distintos nodos permite atender más peticiones concurrentes que intentar forzar toda la carga hacia una única instancia sobrecargada?
Pista: una única instancia de Ollama tiene un límite máximo real de peticiones que puede procesar simultáneamente según su hardware disponible; distribuir la carga entre múltiples réplicas en distintos nodos permite que la capacidad total agregada del sistema atienda un volumen de tráfico concurrente mucho mayor del que una sola instancia sobrecargada podría manejar por sí sola.
✓
¡Lección completada!
Escalado de Ollama — múltiples réplicas
0
XP ganado
3
Vidas restantes