LLMOps en Producción · Lección 18
¿Qué es un 'golden set' en el contexto de evaluación de una aplicación LLM?
Un conjunto curado de preguntas o casos de prueba con respuestas esperadas de alta calidad, usado como referencia consistente para evaluar el desempeño del sistema a lo largo del tiempo
Un golden set se genera automáticamente sin ninguna curación humana en ningún momento
Solo puede contener exactamente 10 casos de prueba en total, sin ninguna posibilidad de tener más
Elimina por completo la necesidad de tener cualquier otro tipo de evaluación del sistema
LLMOps en Producción · Lección 18
Completa el código
El golden set sirve como referencia estable para detectar
Revisa: sirve como referencia estable para detectar regresiones de calidad con el tiempo.
LLMOps en Producción · Lección 18
¿Por qué tener un golden set estable (que no cambia con cada actualización) es importante para poder comparar objetivamente el desempeño del sistema entre distintas versiones a lo largo del tiempo?
Pista: si el conjunto de casos de prueba cambiara constantemente, sería imposible saber si una diferencia en la puntuación se debe a un cambio real en la calidad del sistema o simplemente a que se están evaluando casos distintos; un golden set estable permite una comparación justa y consistente entre versiones.
✓
¡Lección completada!
Datasets de evaluación (golden sets)
0
XP ganado
3
Vidas restantes