RAG en Producción · Lección 24
¿Qué busca detectar un test de regresión ejecutado después de actualizar la base de conocimiento indexada o cambiar el modelo de embeddings usado en un sistema RAG?
Que el cambio no haya degradado la calidad de recuperación o generación en preguntas que antes funcionaban correctamente, comparando los resultados nuevos contra un baseline conocido del golden set de evaluación
El testing de regresión solo puede ejecutarse manualmente, sin ninguna posibilidad real de automatización en el proceso
Elimina por completo la necesidad de tener un golden set de preguntas de evaluación previamente preparado
Solo detecta errores de sintaxis en el código de la aplicación, sin relación con la calidad real de las respuestas del sistema
RAG en Producción · Lección 24
Completa el código
Cambiar el modelo de embeddings usado puede requerir reindexar completamente toda la base de
Revisa: puede requerir reindexar completamente toda la base de conocimiento existente.
RAG en Producción · Lección 24
¿Por qué cambiar el modelo de embeddings usado para indexar los documentos podría requerir volver a ejecutar el testing de regresión completo, dado que ese cambio afecta fundamentalmente cómo se representa y busca todo el contenido existente?
Pista: un modelo de embeddings distinto produce representaciones vectoriales diferentes para exactamente el mismo contenido textual, lo que puede cambiar significativamente qué documentos se consideran más similares a una consulta dada; ese cambio fundamental en cómo se representa y busca todo el contenido justifica volver a validar el comportamiento completo del sistema mediante el testing de regresión.
✓
¡Lección completada!
Testing de regresión para sistemas RAG
0
XP ganado
3
Vidas restantes