LLMOps en Producción · Lección 26
¿Qué información captura típicamente el 'tracing' de una llamada a un LLM dentro de una aplicación con múltiples pasos (como RAG con varios componentes)?
El flujo completo de la petición a través de cada componente (recuperación, construcción del prompt, llamada al modelo, post-procesamiento), con su latencia y resultado en cada etapa
Solo el resultado final mostrado al usuario, sin ninguna información de los pasos intermedios
Solo funciona si la aplicación tiene exactamente un único componente sin ningún paso intermedio
Elimina por completo la necesidad de tener logs de la aplicación
LLMOps en Producción · Lección 26
Completa el código
Cada paso individual dentro de una traza completa se llama
Revisa: cada paso individual dentro de una traza completa se llama span.
LLMOps en Producción · Lección 26
¿Por qué tener visibilidad de cada paso individual (recuperación, construcción de prompt, llamada al modelo) ayuda a diagnosticar si una respuesta de mala calidad se debió a una recuperación deficiente de documentos o a un problema del propio modelo generando la respuesta final?
Pista: sin ver los pasos intermedios, solo se sabría que la respuesta final fue mala, sin poder distinguir si el problema vino de recuperar documentos poco relevantes o de que el modelo generó una mala respuesta incluso con buen contexto disponible; el tracing detallado permite aislar exactamente en qué etapa específica ocurrió el problema.
✓
¡Lección completada!
Observabilidad de aplicaciones LLM — tracing de llamadas
0
XP ganado
3
Vidas restantes