Envías exactamente el mismo prompt dos veces y obtienes dos respuestas distintas. ¿Cuál es el motivo más habitual?
Opciones
- El modelo aprendió de la primera respuesta
- La segunda petición se envió a otro idioma
- El modelo elige cada token con algo de aleatoriedad (muestreo), controlada por ajustes como la temperatura (Opción correcta)
- El prompt se guardó mal en caché
Respuesta
El modelo elige cada token con algo de aleatoriedad (muestreo), controlada por ajustes como la temperatura
Por qué
En cada paso el modelo da una probabilidad para cada posible token siguiente, y la aplicación suele muestrear entre ellos en lugar de coger siempre el más probable.
La temperatura controla lo aleatorio que es ese muestreo. Un valor bajo hace que las respuestas se parezcan más entre ejecuciones, pero incluso así no se garantiza que sean idénticas.
El modelo no aprende de tu conversación.
Recuerda
El muestreo hace que las respuestas varíen.