Observabilidad de IA · Lección 08
¿Qué ventaja ofrece una herramienta de tracing especializada en aplicaciones de IA (como LangSmith o Langfuse) frente a una herramienta de tracing genérica de propósito general no diseñada específicamente para LLMs?
Ofrece visualizaciones y funcionalidades diseñadas específicamente para el contexto de IA, como mostrar el prompt y la respuesta completa de cada llamada al modelo, comparar versiones de prompts, o calcular el costo en tokens directamente en la interfaz
Una herramienta especializada en IA elimina por completo la necesidad de tener cualquier tipo de instrumentación de tracing en el código de la aplicación
Solo puede usarse si la aplicación tiene exactamente un único modelo de LLM configurado en total, sin ninguna posibilidad de más
Una herramienta de tracing genérica de propósito general nunca puede capturar ningún dato relacionado con llamadas a un LLM bajo ninguna circunstancia
Observabilidad de IA · Lección 08
Completa el código
Estas herramientas suelen mostrar directamente el costo en
Revisa: suelen mostrar directamente el costo calculado en tokens de cada llamada.
Observabilidad de IA · Lección 08
¿Por qué poder ver el prompt completo y la respuesta exacta de cada llamada directamente en la interfaz de una herramienta especializada facilita depurar un problema de calidad, comparado con tener que reconstruir esa información manualmente a partir de logs genéricos dispersos?
Pista: en una herramienta especializada, el prompt exacto y la respuesta completa de cada llamada aparecen ya organizados y listos para revisar directamente en la interfaz; con logs genéricos dispersos, habría que buscar, extraer y correlacionar manualmente esa misma información desde distintas fuentes, un proceso mucho más lento y propenso a error al momento de diagnosticar un problema de calidad específico.
✓
¡Lección completada!
Herramientas de tracing especializadas (LangSmith, Langfuse, Arize)
0
XP ganado
3
Vidas restantes