Tu sistema RAG recupera fragmentos del tema correcto, pero la respuesta exacta está en el párrafo justo después del fragmento. ¿Qué pruebas primero?
Opciones
- Bajar la temperatura
- Dividir siguiendo la estructura del documento (títulos, párrafos) con algo de solapamiento, o añadir al contexto los fragmentos vecinos (Opción correcta)
- Hacer que cada fragmento sea una sola frase
- Acortar la pregunta del usuario
Respuesta
Dividir siguiendo la estructura del documento (títulos, párrafos) con algo de solapamiento, o añadir al contexto los fragmentos vecinos
Por qué
Los cortes de tamaño fijo pueden separar una afirmación del texto que la completa. Dividir por títulos o párrafos mantiene juntas las ideas, y un solapamiento entre fragmentos mantiene el texto de la frontera en ambos.
Otra opción es recuperar un fragmento y luego incluir los fragmentos anterior y posterior.
La temperatura solo cambia cómo se escribe la respuesta, no lo que se recuperó.
Recuerda
Los problemas de recuperación se arreglan con el chunking y la búsqueda.