Cambias el modelo de embeddings de tu sistema RAG por uno mejor. ¿Qué debes hacer con el índice existente?
Opciones
- Nada: solo las consultas necesitan el modelo nuevo
- Reducir la temperatura
- Convertir los vectores antiguos con la similitud del coseno
- Volver a calcular los embeddings de todo el corpus con el modelo nuevo, porque los vectores de modelos distintos no son comparables (y pueden tener otro tamaño) (Opción correcta)
Respuesta
Volver a calcular los embeddings de todo el corpus con el modelo nuevo, porque los vectores de modelos distintos no son comparables (y pueden tener otro tamaño)
Por qué
Cada modelo de embeddings define su propio espacio. Un vector de un modelo no tiene una distancia con sentido respecto a un vector de otro, e incluso las dimensiones pueden diferir.
Por eso los documentos y las consultas deben calcularse con el mismo modelo y la misma versión. Planifica una migración: crea un índice nuevo en paralelo, compara la calidad con tus evals de recuperación y luego cambia.
Guarda el nombre y la versión del modelo con cada vector para detectar fácilmente los índices mezclados.
Recuerda
Si cambias el modelo de embeddings, recalcula todo.