Observabilidad de IA · Lección 17
¿Qué desafío adicional presenta atribuir correctamente el costo cuando una aplicación usa múltiples modelos de IA distintos (por ejemplo, un modelo pequeño para clasificación y uno grande para generación) dentro del mismo flujo de una petición?
Requiere rastrear qué porción específica del costo total de esa petición corresponde a cada modelo individual invocado, dado que cada uno puede tener un precio por token y un patrón de uso completamente distinto entre sí
Es técnicamente imposible atribuir costos de forma separada cuando se usan múltiples modelos distintos dentro del mismo flujo, sin ninguna solución real posible
Solo es relevante si la aplicación usa exactamente un único modelo en total, sin ninguna combinación de varios modelos distintos
Todos los modelos de IA tienen exactamente el mismo precio por token, sin ninguna variación real entre ellos que considerar
Observabilidad de IA · Lección 17
Completa el código
Cada modelo puede tener un precio por token completamente
Revisa: cada modelo puede tener un precio por token completamente distinto entre sí.
Observabilidad de IA · Lección 17
¿Por qué sin un desglose de costo por modelo específico, un equipo podría erróneamente asumir que el modelo grande de generación es el principal responsable del costo total, cuando en realidad el modelo pequeño de clasificación se invoca con mucha más frecuencia y termina acumulando un costo comparable?
Pista: aunque el modelo grande de generación cueste más por token individual, si el modelo pequeño de clasificación se invoca muchas más veces dentro del mismo flujo, su costo acumulado total podría ser sorprendentemente comparable o incluso mayor; sin un desglose real y específico por cada modelo, el equipo solo tendría suposiciones intuitivas (potencialmente equivocadas) sobre dónde realmente se concentra el costo.
✓
¡Lección completada!
Atribución de costos en sistemas multi-modelo
0
XP ganado
3
Vidas restantes