Observabilidad de IA · Lección 02
¿Cómo se adaptan los tres pilares clásicos de observabilidad (logs, métricas, trazas) al contexto específico de un sistema de IA generativa?
Los logs capturan el prompt y la respuesta generada, las métricas incluyen indicadores de calidad además de los técnicos, y las trazas siguen el flujo completo desde la petición del usuario hasta cada llamada individual al modelo
Los tres pilares clásicos de observabilidad no tienen ninguna aplicación real posible en el contexto de sistemas de IA generativa
Solo el pilar de métricas es relevante para un sistema de IA, los logs y las trazas no aportan ningún valor real en este contexto
Las trazas en un sistema de IA solo pueden capturar exactamente un único paso, sin ninguna posibilidad de seguir un flujo de múltiples pasos
Observabilidad de IA · Lección 02
Completa el código
Los logs de un sistema de IA capturan el prompt enviado y la respuesta
Revisa: capturan el prompt enviado y la respuesta generada por el modelo.
Observabilidad de IA · Lección 02
¿Por qué registrar el prompt exacto enviado al modelo (no solo la pregunta original del usuario) es importante para poder diagnosticar después por qué una respuesta específica salió mal?
Pista: el sistema podría transformar significativamente la pregunta original del usuario (añadiendo contexto recuperado, instrucciones del sistema) antes de enviarla realmente al modelo; sin registrar ese prompt final exacto, sería imposible reconstruir después qué información realmente vio el modelo al generar esa respuesta específica que resultó problemática.
✓
¡Lección completada!
Los tres pilares aplicados a IA — logs, métricas y trazas
0
XP ganado
3
Vidas restantes