Observabilidad de IA · Lección 01
¿Qué limitación tiene la observabilidad tradicional de software (CPU, memoria, latencia, tasa de errores HTTP) al aplicarse sin ningún ajuste a un sistema basado en LLM?
No captura si la respuesta generada es de buena calidad, factualmente correcta o útil, ya que un sistema puede estar 'sano' técnicamente (responde rápido, sin errores HTTP) mientras genera respuestas de mala calidad
La observabilidad tradicional no puede medir absolutamente ninguna métrica técnica relevante en un sistema que usa un LLM
Solo es una limitación real si el sistema tiene exactamente un único usuario en total consultándolo
Un sistema con LLM nunca puede fallar de las formas tradicionales que fallaría cualquier otro software (timeouts, errores 500)
Observabilidad de IA · Lección 01
Completa el código
Un sistema puede estar técnicamente sano mientras genera respuestas de mala
Revisa: puede estar técnicamente sano mientras genera respuestas de mala calidad.
Observabilidad de IA · Lección 01
¿Por qué un dashboard que solo muestra latencia baja y tasa de errores HTTP en cero podría dar una falsa sensación de que todo funciona bien, aunque el modelo esté generando respuestas incorrectas o alucinadas?
Pista: la latencia y los errores HTTP miden si el sistema respondió rápido y sin fallos técnicos, pero no dicen nada sobre si el contenido de esa respuesta era correcto o útil; un modelo podría generar una alucinación completa en 200 milisegundos sin ningún error HTTP, y ese dashboard tradicional lo mostraría como un sistema perfectamente saludable.
✓
¡Lección completada!
Por qué la observabilidad tradicional no es suficiente para sistemas de IA
0
XP ganado
3
Vidas restantes