Los usuarios se quejan de que tu función de chat parece lenta porque no aparece nada durante varios segundos. ¿Qué ayuda más a la sensación de velocidad?
Opciones
- Aumentar la longitud máxima de la salida
- Enviar las peticiones una tras otra
- Enviar la respuesta en streaming, token a token, según se genera, y acortar el prompt (Opción correcta)
- Subir la temperatura
Respuesta
Enviar la respuesta en streaming, token a token, según se genera, y acortar el prompt
Por qué
El tiempo total de generación depende de la longitud de la respuesta, pero los usuarios juzgan la velocidad por el tiempo hasta que aparecen las primeras palabras.
El streaming muestra el texto en cuanto se produce. Un prompt más corto, un modelo más pequeño o un prefijo en caché también reducen la espera hasta el primer token.
Una salida máxima más larga o una temperatura más alta no hacen nada por la velocidad.
Recuerda
Haz streaming de la respuesta; el primer token es lo que más importa.