LLMOps en Producción · Lección 20
¿Qué permite hacer un A/B test comparando dos versiones distintas de un prompt directamente en producción con usuarios reales?
Medir el impacto real de cada versión en métricas de negocio relevantes (como satisfacción del usuario o tasa de conversión), no solo en un benchmark aislado, antes de decidir cuál adoptar completamente
El A/B testing elimina por completo la necesidad de haber probado el prompt previamente en un entorno de staging
Solo puede compararse un máximo de exactamente dos versiones simultáneamente, sin ninguna otra posibilidad
Requiere detener por completo el servicio para todos los usuarios mientras se ejecuta la prueba
LLMOps en Producción · Lección 20
Completa el código
Se divide el tráfico de usuarios entre las distintas variantes del prompt
Revisa: se divide el tráfico entre las variantes de forma aleatoria.
LLMOps en Producción · Lección 20
¿Por qué el impacto real en métricas de negocio (medido con A/B testing en producción) puede diferir del resultado obtenido en una evaluación offline con el golden set?
Pista: el golden set, aunque útil, es una muestra curada y limitada que no necesariamente captura toda la variedad y el comportamiento real de los usuarios finales; el A/B testing en producción mide el impacto genuino sobre métricas de negocio con usuarios reales, algo que una evaluación offline no puede replicar completamente.
✓
¡Lección completada!
A/B testing de prompts y modelos en producción
0
XP ganado
3
Vidas restantes