Usas un LLM para extraer los totales de facturas a JSON. ¿Qué ajuste de muestreo encaja mejor con esta tarea?
Opciones
- Una temperatura alta, para obtener formatos creativos
- Una temperatura baja, cerca de 0, para que la salida sea lo más consistente posible (Opción correcta)
- Cualquiera: la temperatura no afecta a la salida
- El valor máximo, para evitar respuestas repetidas
Respuesta
Una temperatura baja, cerca de 0, para que la salida sea lo más consistente posible
Por qué
La extracción tiene una única respuesta correcta, así que quieres que el modelo tome sus opciones más probables, no que explore. Una temperatura baja hace eso.
No garantiza una salida válida ni correcta: igualmente validas el resultado con un esquema.
La temperatura alta sirve para tareas en las que la variedad es útil, como pensar nombres.
Recuerda
Extracción: temperatura baja y luego validar.