Observabilidad de IA · Lección 26
¿Qué valor aporta capturar feedback explícito de usuarios reales (como un botón de 'útil/no útil') como parte del sistema de observabilidad de un sistema de IA en producción?
Provee una señal directa y real de percepción de calidad desde la perspectiva del usuario final, complementando las métricas de evaluación automatizada con una fuente de verdad adicional basada en experiencia real
El feedback humano elimina por completo la necesidad de tener cualquier tipo de evaluación automatizada de calidad funcionando en el sistema
Solo es relevante capturar feedback si el sistema tiene exactamente un único usuario activo en total consultándolo
El feedback explícito de los usuarios siempre coincide exactamente con lo que la evaluación automatizada del sistema calcula, sin ninguna diferencia real posible
Observabilidad de IA · Lección 26
Completa el código
El feedback humano complementa la evaluación automatizada con una señal basada en experiencia
Revisa: complementa la evaluación automatizada con una señal basada en experiencia real del usuario.
Observabilidad de IA · Lección 26
¿Por qué una discrepancia entre lo que la evaluación automatizada considera una 'buena' respuesta y lo que los usuarios reales marcan como 'no útil' sería una señal importante a investigar más a fondo?
Pista: si la evaluación automatizada califica sistemáticamente como 'buena' una respuesta que los usuarios reales marcan repetidamente como 'no útil', esa discrepancia sugiere que el criterio automatizado podría estar midiendo un aspecto de calidad distinto de lo que realmente importa para los usuarios reales en la práctica, una brecha valiosa de investigar para mejorar el propio sistema de evaluación.
✓
¡Lección completada!
Feedback humano como señal de observabilidad
0
XP ganado
3
Vidas restantes