RAG en Producción · Lección 25
¿Qué valor aporta capturar feedback explícito de los usuarios (como un botón de 'esta respuesta fue útil/no útil') en un sistema RAG en producción?
Provee señales reales sobre qué preguntas el sistema responde bien o mal en la práctica, identificando patrones de fallos específicos que la evaluación offline con un golden set podría no haber anticipado
El feedback de usuarios elimina por completo la necesidad de tener cualquier tipo de evaluación offline con un golden set previamente preparado
Solo es relevante capturarlo si el sistema tiene exactamente un único usuario activo en total
Elimina por completo la necesidad de tener cualquier tipo de monitoreo técnico del rendimiento del sistema
RAG en Producción · Lección 25
Completa el código
Las preguntas marcadas como 'no útil' por los usuarios pueden incorporarse a un nuevo
Revisa: pueden incorporarse a un nuevo golden set de casos de prueba a mejorar.
RAG en Producción · Lección 25
¿Por qué patrones de preguntas reales marcadas como 'no útil' por usuarios en producción pueden revelar casos de fallo que el equipo nunca había anticipado al construir el golden set original de evaluación?
Pista: los usuarios reales en producción formulan preguntas con una variedad y creatividad que el equipo probablemente no anticipó completamente al diseñar el golden set original limitado; el feedback negativo capturado en producción revela patrones genuinamente nuevos de fallos que solo se hacen evidentes con el uso real a gran escala, alimentando la mejora continua del sistema con casos concretos antes desconocidos.
✓
¡Lección completada!
Feedback de usuarios y mejora continua
0
XP ganado
3
Vidas restantes