Una respuesta RAG es correcta, pero la cita apunta a un pasaje que no respalda la afirmación. ¿Qué tipo de comprobación lo detectaría?
Opciones
- La fidelidad (groundedness): ¿se desprende cada afirmación del texto citado? (Opción correcta)
- El recall@k de la recuperación
- La longitud media de la respuesta
- La latencia por petición
Respuesta
La fidelidad (groundedness): ¿se desprende cada afirmación del texto citado?
Por qué
El recall@k te dice si se recuperó el pasaje correcto. No puede decir si la respuesta está respaldada por lo que se le dio al modelo.
Una comprobación de fidelidad compara cada afirmación de la respuesta con los pasajes citados. Una afirmación cierta pero no respaldada por las fuentes sigue siendo un problema, porque el usuario no puede verificarla y puede ser casualidad.
Pueden hacerlo personas con una muestra, o un modelo juez calibrado a escala.
Recuerda
Comprueba que las afirmaciones se desprenden de las fuentes citadas.