Tu asistente RAG da respuestas erróneas. ¿Cómo averiguas si el fallo está en la recuperación o en la generación?
Opciones
- Comprobar, con un conjunto de preguntas etiquetadas, si los fragmentos recuperados contienen la respuesta (por ejemplo recall@k), y por separado si la respuesta se desprende de esos fragmentos (Opción correcta)
- Subir la temperatura y ver si cambian las respuestas
- Comparar la longitud de las respuestas buenas y malas
- Recoger solo los pulgares arriba y abajo de los usuarios
Respuesta
Comprobar, con un conjunto de preguntas etiquetadas, si los fragmentos recuperados contienen la respuesta (por ejemplo recall@k), y por separado si la respuesta se desprende de esos fragmentos
Por qué
RAG tiene dos etapas que fallan de formas distintas. Si el pasaje correcto nunca se recuperó, ningún prompt lo arregla. Si se recuperó y la respuesta sigue mal, el problema está en el prompt o en el modelo.
Mide las etapas por separado: la recuperación con recall@k o la tasa de aciertos frente a pasajes relevantes conocidos; la generación con la fidelidad al texto recuperado.
Los pulgares arriba y abajo son señales útiles, pero no dicen dónde está el fallo.
Recuerda
Evalúa por separado la recuperación y la generación.