RAG en Producción · Lección 10
¿Qué estrategia se usa para escalar una base de datos vectorial cuando el volumen de documentos indexados crece más allá de lo que un único servidor puede manejar eficientemente?
Dividir (sharding) el índice completo en múltiples particiones distribuidas entre distintos servidores, de forma que cada shard maneje solo un subconjunto de los vectores totales
Es técnicamente imposible escalar una base de datos vectorial más allá de la capacidad de un único servidor bajo cualquier circunstancia
Solo se puede escalar aumentando la memoria de un único servidor existente, sin ninguna otra estrategia posible
El sharding elimina por completo la necesidad de tener índices ANN configurados dentro de cada partición
RAG en Producción · Lección 10
Completa el código
Cada partición individual del índice distribuido se llama
Revisa: cada partición individual del índice distribuido se llama shard.
RAG en Producción · Lección 10
¿Por qué buscar en un índice dividido en múltiples shards distribuidos requiere consultar todos los shards relevantes y luego combinar los resultados, en vez de simplemente consultar un único servidor como antes?
Pista: como los vectores relevantes para una consulta específica podrían estar distribuidos en cualquiera de los distintos shards (no se sabe de antemano en cuál), es necesario consultar todos los shards relevantes y luego combinar y reordenar los resultados parciales de cada uno, una coordinación adicional que no existía cuando todo vivía en un único servidor centralizado.
✓
¡Lección completada!
Escalado y sharding de índices vectoriales
0
XP ganado
3
Vidas restantes