La factura mensual de tu LLM se cuadruplicó con el mismo tráfico después de empezar a pegar un manual completo de 30 páginas en cada prompt. ¿Cuál es el mejor arreglo?
Opciones
- Pedirle al modelo respuestas más cortas
- Bloquear a los usuarios que más usan el servicio
- Bajar la temperatura
- Recuperar solo los pasajes relevantes en lugar del manual entero, y usar el caché de prompts para la parte que no cambia (Opción correcta)
Respuesta
Recuperar solo los pasajes relevantes en lugar del manual entero, y usar el caché de prompts para la parte que no cambia
Por qué
El coste depende sobre todo de los tokens que envías, y el manual se envía en cada llamada. Las respuestas más cortas solo reducen la parte de salida, que no era el problema.
Recuperar los pasajes relevantes envía unos cientos de tokens en lugar de decenas de miles. Muchos proveedores ofrecen también caché de prompts, que hace más barato y rápido un prefijo repetido.
Mide los tokens por petición antes y después para confirmar el ahorro.
Recuerda
Envía menos entrada: recupera y usa caché.