Observabilidad de IA · Lección 25
¿Qué pregunta adicional, específica del contexto de IA, es importante incluir en el post-mortem de un incidente de calidad degradada, más allá de las preguntas tradicionales de un post-mortem de infraestructura?
Qué señales de observabilidad de calidad (si existían) podrían haber permitido detectar el problema antes, y qué cambios al sistema de evaluación o monitoreo de calidad se necesitan para detectar un problema similar más rápido en el futuro
Un post-mortem de un incidente de IA no debe incluir absolutamente ninguna pregunta distinta a las de un post-mortem tradicional de infraestructura
Solo es relevante hacer un post-mortem si el incidente afectó a exactamente un único usuario en total, sin ninguna relevancia si afectó a más
El objetivo de un post-mortem es encontrar y culpar directamente a la persona específica responsable del error que causó el incidente
Observabilidad de IA · Lección 25
Completa el código
El post-mortem busca identificar qué cambios al sistema de evaluación o monitoreo se
Revisa: busca identificar qué cambios al sistema de evaluación o monitoreo se necesitan.
Observabilidad de IA · Lección 25
¿Por qué preguntar específicamente 'qué señal de observabilidad de calidad podría haber detectado esto antes' en el post-mortem ayuda a mejorar concretamente el sistema de monitoreo para el futuro, más allá de solo entender qué pasó?
Pista: esa pregunta específica dirige el análisis hacia identificar exactamente qué brecha existía en el sistema de monitoreo actual (una métrica que no se estaba capturando, un umbral mal calibrado); esa identificación concreta es lo que permite convertir el aprendizaje del post-mortem en una mejora real y específica del sistema de observabilidad, en vez de quedarse solo en entender qué pasó sin actuar sobre esa brecha detectada.
✓
¡Lección completada!
Post-mortems de incidentes de IA
0
XP ganado
3
Vidas restantes