LLMOps en Producción · Lección 19
¿Qué busca detectar un test de regresión ejecutado automáticamente después de modificar un prompt o cambiar de versión de modelo?
Que el cambio no haya degradado el desempeño en casos que antes funcionaban correctamente, comparando los resultados nuevos contra un baseline conocido del golden set
El testing de regresión solo puede ejecutarse manualmente, sin ninguna posibilidad de automatización
Elimina por completo la necesidad de tener un golden set de evaluación
Solo detecta errores de sintaxis en el código de la aplicación, sin relación con la calidad de las respuestas
LLMOps en Producción · Lección 19
Completa el código
El resultado de referencia previo contra el cual se compara se llama
Revisa: se llama baseline, el resultado de referencia previo conocido.
LLMOps en Producción · Lección 19
¿Por qué actualizar a una nueva versión del modelo LLM subyacente (por ejemplo, de un proveedor externo) podría requerir volver a ejecutar el testing de regresión, aunque no se haya cambiado ni una línea del prompt?
Pista: aunque el prompt no cambie, una nueva versión del modelo del proveedor podría interpretar y responder a ese mismo prompt de forma distinta a la versión anterior, potencialmente introduciendo una regresión de calidad que solo el testing automatizado detectaría a tiempo.
✓
¡Lección completada!
Testing de regresión para prompts y modelos
0
XP ganado
3
Vidas restantes