Observabilidad de IA · Lección 05
¿Qué componentes suele combinar un stack de observabilidad completo para un sistema de IA en producción, más allá de un único dashboard de métricas?
Recolección de trazas y logs específicos de IA, almacenamiento y agregación de esos datos, un sistema de evaluación de calidad (posiblemente con LLM-as-judge), y visualización mediante dashboards junto con alertas configuradas
Un stack de observabilidad de IA consiste únicamente en un dashboard visual, sin ningún otro componente de recolección o procesamiento de datos detrás
Solo es necesario tener un componente de alertas, sin ninguna necesidad real de recolectar trazas o logs previamente
Elimina por completo la necesidad de tener cualquier tipo de sistema de logging tradicional de la aplicación
Observabilidad de IA · Lección 05
Completa el código
Un componente de evaluación de calidad puede usar la técnica de LLM-as-
Revisa: puede usar la técnica de LLM-as-judge para evaluar automáticamente la calidad.
Observabilidad de IA · Lección 05
¿Por qué tener un componente dedicado de evaluación de calidad (además de la recolección de trazas y logs) es necesario para que el stack de observabilidad capture algo más que solo el comportamiento técnico del sistema?
Pista: las trazas y logs capturan fielmente qué ocurrió técnicamente (qué prompt se envió, qué respuesta se generó), pero por sí solos no dicen si esa respuesta generada fue realmente buena o mala; un componente dedicado de evaluación de calidad es lo que añade ese juicio adicional necesario, conectando los datos técnicos capturados con una valoración real de la calidad obtenida.
✓
¡Lección completada!
Arquitectura de un stack de observabilidad de IA
0
XP ganado
3
Vidas restantes