Ollama y LLMs Self-Hosted · Lección 23
¿Por qué aumentar el tamaño de la ventana de contexto de un modelo en Ollama incrementa directamente el consumo de memoria necesario para esa sesión?
El modelo necesita mantener en memoria la representación interna de todo el contexto de la conversación (el historial completo) para poder generar la siguiente respuesta considerando esa información previa
El tamaño de la ventana de contexto no tiene ninguna relación real con el consumo de memoria del sistema
Solo afecta el consumo de memoria si el modelo está configurado específicamente para generación de código
Aumentar el contexto siempre reduce el consumo de memoria en vez de aumentarlo
Ollama y LLMs Self-Hosted · Lección 23
Completa el código
El parámetro que controla el tamaño de la ventana de contexto se llama
Revisa: el parámetro que controla ese tamaño se llama num_ctx.
Ollama y LLMs Self-Hosted · Lección 23
¿Por qué una conversación muy larga con un modelo local podría eventualmente agotar la memoria disponible del sistema, si el tamaño de la ventana de contexto configurado es lo suficientemente grande?
Pista: a medida que la conversación se extiende y acumula más historial dentro de la ventana de contexto configurada, la cantidad de memoria necesaria para mantener toda esa información disponible para el modelo crece proporcionalmente, pudiendo eventualmente acercarse o superar el límite real de memoria disponible del sistema si la conversación es suficientemente larga.
✓
¡Lección completada!
Gestión de memoria y contexto largo
0
XP ganado
3
Vidas restantes