¿Cuál es una debilidad conocida de usar un LLM como juez para puntuar otras respuestas?
Opciones
- No puede leer texto
- Siempre es totalmente determinista
- Puede tener sesgos, por ejemplo hacia las respuestas más largas, hacia la primera opción mostrada o hacia el texto que se parece a su propio estilo, así que debe calibrarse con etiquetas humanas (Opción correcta)
- Es mucho más barato que cualquier otro método, así que no tiene inconvenientes
Respuesta
Puede tener sesgos, por ejemplo hacia las respuestas más largas, hacia la primera opción mostrada o hacia el texto que se parece a su propio estilo, así que debe calibrarse con etiquetas humanas
Por qué
La investigación sobre jueces LLM (por ejemplo el estudio de MT-Bench) describe sesgo de posición, sesgo de verbosidad y preferencia por lo propio.
Mitigaciones: aleatorizar el orden de las respuestas, usar rúbricas claras, pedir el razonamiento antes de la puntuación y comprobar el acuerdo del juez con valoraciones humanas en una muestra.
Un juez es una herramienta útil para escalar, no un sustituto de mirar ejemplos.
Recuerda
Los jueces LLM tienen sesgos: calíbralos con personas.