Repaso
English
LLMs, RAG y agentesFundamentosLLM-03

Un asistente de chat parece recordar lo que dijiste hace cinco mensajes. ¿Cómo suele funcionar eso?

Opciones

  1. El modelo actualiza sus propios pesos después de cada mensaje
  2. El modelo guarda una base de datos privada sobre cada usuario
  3. La aplicación vuelve a enviar los mensajes anteriores con cada petición nueva (Opción correcta)
  4. El navegador almacena la memoria del modelo

Respuesta

La aplicación vuelve a enviar los mensajes anteriores con cada petición nueva

Por qué

Una llamada a un modelo no guarda estado: cada petición es independiente.

La aplicación de chat guarda la conversación y la envía (o envía un resumen) como parte de cada petición nueva, para que el modelo pueda leerla otra vez.

Por eso los chats largos se vuelven más lentos y caros, y por eso los mensajes muy antiguos pueden quedar fuera de la ventana.

Recuerda

El modelo no guarda estado; la aplicación reenvía el historial.

Términos clave

Practica esta pregunta en Repaso