Metes 40 fragmentos recuperados en el prompt, y el modelo suele ignorar datos que están en la parte central de ese texto. ¿Cuál es una respuesta sensata?
Opciones
- Subir la temperatura
- Repetir la pregunta cinco veces
- Enviar menos fragmentos y mejor ordenados, y poner los más importantes cerca del principio o del final (Opción correcta)
- Dar por hecho que el modelo usa todo por igual en una ventana grande
Respuesta
Enviar menos fragmentos y mejor ordenados, y poner los más importantes cerca del principio o del final
Por qué
Estudios sobre modelos de contexto largo ("Lost in the Middle") encontraron que tienden a usar mejor la información del principio y del final de la entrada que la del medio.
Una ventana grande significa que el texto cabe, no que cada parte se use por igual.
Reordenar, recortar y ordenar el contexto suele ser mejor que añadir más texto.
Recuerda
Un contexto largo no se usa de forma uniforme: envía menos y mejor ordenado.