En tu sistema RAG el fragmento correcto suele estar hacia el puesto 30 de la búsqueda vectorial, así que los 5 primeros que se pasan al modelo son mediocres. ¿Qué ayuda?
Opciones
- Recuperar un conjunto más amplio (por ejemplo de 30 a 50) y reordenarlo con un modelo más potente, y quedarse con los mejores (Opción correcta)
- Pasar los 30 fragmentos al modelo
- Bajar la temperatura a 0
- Hacer que los fragmentos tengan un token
Respuesta
Recuperar un conjunto más amplio (por ejemplo de 30 a 50) y reordenarlo con un modelo más potente, y quedarse con los mejores
Por qué
La búsqueda vectorial es rápida pero aproximada: compara dos vectores calculados por separado. Un reranker (a menudo un cross-encoder) lee la pregunta y cada candidato juntos y los puntúa con más precisión, pero es demasiado lento para ejecutarlo sobre todo el corpus.
Así que el patrón es de dos pasos: recuperación amplia y barata, y luego reordenación precisa de los candidatos.
Pasar los 30 sube el coste y puede esconder el pasaje clave entre el ruido.
Recuerda
Recupera amplio, reordena estrecho.