Observabilidad de IA · Lección 24
¿Qué habilidad o conocimiento adicional necesita típicamente una persona de guardia (on-call) responsable de un sistema de IA, más allá de las habilidades tradicionales de operar infraestructura convencional?
Comprensión de conceptos específicos de IA (como qué es un prompt, qué es drift, cómo interpretar métricas de calidad) para poder diagnosticar y responder efectivamente ante un incidente relacionado con la calidad del modelo, no solo con la infraestructura técnica
Una persona de guardia para un sistema de IA no necesita absolutamente ningún conocimiento distinto al de operar cualquier otro tipo de infraestructura tradicional
Solo es relevante esta consideración si el sistema de IA tiene exactamente un único usuario consultándolo en total
El on-call de un sistema de IA nunca necesita responder ante ningún tipo de incidente relacionado específicamente con la calidad de las respuestas generadas
Observabilidad de IA · Lección 24
Completa el código
El on-call de IA necesita poder interpretar métricas de
Revisa: necesita poder interpretar métricas de calidad, no solo técnicas tradicionales.
Observabilidad de IA · Lección 24
¿Por qué una persona de guardia sin ningún conocimiento de conceptos de IA podría no saber cómo responder ante una alerta de 'drift detectado', aunque sepa perfectamente cómo reiniciar un servidor caído?
Pista: reiniciar un servidor caído es una habilidad tradicional de infraestructura bien conocida, pero una alerta de 'drift detectado' requiere entender qué es el drift, por qué ocurre y qué acciones son apropiadas en respuesta (como investigar los datos recientes o considerar un reentrenamiento), un conocimiento específico de IA que las habilidades tradicionales de operar servidores no cubren por sí solas.
✓
¡Lección completada!
On-call para sistemas de IA — qué es diferente
0
XP ganado
3
Vidas restantes