¿Qué es la ventana de contexto de un modelo?
Opciones
- La cantidad de datos con los que se entrenó el modelo
- El número máximo de tokens que puede tener en cuenta en una petición (Opción correcta)
- El tiempo que el modelo te recuerda entre días
- El número de usuarios que puede atender a la vez
Respuesta
El número máximo de tokens que puede tener en cuenta en una petición
Por qué
La ventana de contexto es la memoria de trabajo del modelo en una petición: las instrucciones, la conversación o los documentos que envías y, en la mayoría de las API, la respuesta que escribe tienen que caber dentro.
Lo que queda fuera de la ventana no existe para el modelo en esa petición.
Una ventana más grande permite enviar más texto, pero también cuesta más y es más lenta.
Recuerda
Ventana de contexto = cuántos tokens caben en una petición.