RAG en Producción · Lección 28
¿Qué componentes de costo son relevantes considerar al operar un sistema RAG con un volumen alto de consultas diarias, más allá del costo de las llamadas al LLM de generación?
El costo de generar embeddings (tanto en la indexación inicial como potencialmente en cada consulta), el costo de almacenamiento y operación de la base de datos vectorial, y el costo de cómputo del propio proceso de recuperación
El único costo real de operar un sistema RAG es exclusivamente el costo de las llamadas de generación al LLM final, sin ningún otro componente relevante
Los sistemas RAG no tienen ningún costo operativo real una vez que la indexación inicial de documentos se completa por primera vez
Solo es relevante considerar costos si el sistema tiene exactamente un único usuario activo consultándolo en total
RAG en Producción · Lección 28
Completa el código
El costo de generar embeddings para la consulta de cada usuario se suma al costo de
Revisa: se suma al costo de generación de la respuesta final del LLM.
RAG en Producción · Lección 28
¿Por qué el costo de almacenamiento y operación de una base de datos vectorial grande (con millones de fragmentos indexados) puede convertirse en un componente significativo del costo total de un sistema RAG a gran escala, más allá del costo por consulta individual?
Pista: mantener una base de datos vectorial con millones de fragmentos indexados requiere infraestructura de almacenamiento y cómputo proporcional al tamaño real de esa colección, un costo que existe de forma más o menos constante independientemente del volumen específico de consultas diarias, siendo un componente de costo separado y significativo además del costo variable por cada consulta individual procesada.
✓
¡Lección completada!
Costos de un sistema RAG a escala
0
XP ganado
3
Vidas restantes