RAG en Producción · Lección 17
¿Qué estrategia se usa cuando los fragmentos recuperados relevantes para una consulta exceden la ventana de contexto disponible del LLM usado para generar la respuesta?
Priorizar y truncar los fragmentos según su relevancia (posiblemente usando re-ranking), incluyendo solo los más importantes hasta llenar el espacio disponible dentro de la ventana de contexto del modelo
Es técnicamente imposible generar una respuesta si el contexto recuperado excede la ventana disponible del modelo bajo cualquier circunstancia
Se debe aumentar automáticamente y sin límite la ventana de contexto del modelo sin ninguna restricción técnica real
Elimina por completo la necesidad de haber recuperado esos fragmentos relevantes en primer lugar
RAG en Producción · Lección 17
Completa el código
Priorizar los fragmentos más relevantes antes de incluirlos en el prompt se apoya en un paso de
Revisa: se apoya en un paso de re-ranking para priorizar los fragmentos más relevantes.
RAG en Producción · Lección 17
¿Por qué truncar (excluir) los fragmentos menos relevantes, en vez de intentar comprimir todo el contexto recuperado de alguna forma para que quepa completo, es generalmente la estrategia más práctica cuando el contenido excede la ventana disponible?
Pista: intentar comprimir todo el contenido recuperado de alguna forma genérica podría perder información importante de manera impredecible y difícil de controlar; priorizar explícitamente los fragmentos más relevantes según su importancia real y excluir los menos relevantes dentro del espacio disponible da un resultado más controlado y confiable que comprimir indiscriminadamente todo el contexto original.
✓
¡Lección completada!
Manejo de contexto que no cabe en la ventana del modelo
0
XP ganado
3
Vidas restantes