LLMOps en Producción · Lección 13
¿Por qué es necesario dividir un documento largo en fragmentos ('chunks') más pequeños antes de generar sus embeddings para un sistema RAG?
Un embedding de un documento entero muy largo diluiría el significado específico de cada parte, y además la ventana de contexto del LLM tiene un límite que no podría absorber el documento completo de una vez
El chunking elimina por completo la necesidad de generar embeddings de ningún tipo
Solo es necesario si el documento está en formato PDF, ningún otro formato lo requiere
Dividir el documento siempre mejora la calidad sin ningún tradeoff a considerar
LLMOps en Producción · Lección 13
Completa el código
Un tamaño de chunk demasiado grande puede diluir la especificidad del
Revisa: puede diluir la especificidad del embedding resultante de ese fragmento.
LLMOps en Producción · Lección 13
¿Por qué un chunk demasiado pequeño (como una sola frase aislada) podría perder contexto importante que estaba presente en el párrafo completo original?
Pista: una frase aislada de su párrafo original podría perder referencias importantes (como a qué se refiere un pronombre, o qué tema se estaba discutiendo), haciendo que ese fragmento recuperado sea ambiguo o incompleto sin el contexto circundante que tenía originalmente.
✓
¡Lección completada!
Chunking — estrategias de división de documentos
0
XP ganado
3
Vidas restantes