¿Por qué se dividen los documentos en fragmentos (chunks) antes de calcular sus embeddings para un sistema RAG?
Opciones
- Un fragmento corto y centrado obtiene un vector más preciso, y solo hace falta meter en el prompt los pasajes relevantes (Opción correcta)
- Los modelos de embeddings solo pueden leer una palabra a la vez
- Los fragmentos hacen que el modelo entrene más rápido
- Dividir en fragmentos oculta la información privada
Respuesta
Un fragmento corto y centrado obtiene un vector más preciso, y solo hace falta meter en el prompt los pasajes relevantes
Por qué
Un solo vector para un documento de 50 páginas es una media borrosa de todo lo que contiene, y puede que ni siquiera quepa en el modelo.
Con fragmentos, la búsqueda devuelve los pocos pasajes que encajan con la pregunta, y el prompt se mantiene corto, barato y centrado.
El tamaño del fragmento es un equilibrio: demasiado pequeño pierde contexto, demasiado grande mezcla temas.
Recuerda
Los fragmentos hacen la búsqueda precisa y los prompts cortos.