LLMOps en Producción · Lección 04
¿Qué representa la 'ventana de contexto' de un LLM, y qué relación tiene con el costo de cada llamada?
Es la cantidad máxima de tokens (entrada más salida) que el modelo puede procesar en una sola llamada; la mayoría de proveedores cobran proporcionalmente a la cantidad de tokens usados
La ventana de contexto no tiene ninguna relación con el costo de la llamada
Es un límite fijo idéntico para todos los modelos LLM del mercado sin ninguna variación
Solo cuenta los tokens de la respuesta generada, nunca los del prompt de entrada
LLMOps en Producción · Lección 04
Completa el código
Un token no equivale exactamente a una palabra, suele representar una
Revisa: un token suele representar una subpalabra o fragmento, no exactamente una palabra completa.
LLMOps en Producción · Lección 04
¿Por qué enviar un historial de conversación completo en cada llamada (en vez de solo el mensaje más reciente) puede volverse costoso rápidamente en una aplicación de chat con conversaciones largas?
Pista: si cada nueva llamada incluye todo el historial previo de la conversación (necesario para que el modelo tenga contexto), la cantidad de tokens procesados crece con cada turno, aumentando el costo de cada llamada sucesiva a medida que la conversación se alarga.
✓
¡Lección completada!
Tokens, contexto y costos — unidades económicas de un LLM
0
XP ganado
3
Vidas restantes