¿Por qué un chat largo se vuelve más lento y caro a medida que avanza?
Opciones
- El modelo se cansa y necesita más cómputo
- Cada petición reenvía todo el historial, así que el número de tokens de entrada no deja de crecer (Opción correcta)
- Los pesos del modelo crecen con cada mensaje
- El proveedor limita a propósito a los usuarios con chats largos
Respuesta
Cada petición reenvía todo el historial, así que el número de tokens de entrada no deja de crecer
Por qué
Como el modelo no tiene memoria entre llamadas, la aplicación envía la conversación otra vez cada vez. Un chat de 50 mensajes lleva los 50 en cada petición nueva.
Los proveedores cobran por tokens y el modelo necesita leerlos todos, así que el coste y la latencia aumentan.
Arreglos comunes: resumir los mensajes antiguos, descartar lo que no hace falta o guardar en caché el comienzo estable del prompt.
Recuerda
Más historial = más tokens de entrada en cada llamada.