¿Qué es un token en un modelo de lenguaje grande?
Opciones
- Exactamente una palabra del texto
- Una frase del prompt
- Una contraseña que da acceso al modelo
- Un trozo de texto (una palabra, parte de una palabra o un símbolo) que el modelo lee y escribe como una unidad (Opción correcta)
Respuesta
Un trozo de texto (una palabra, parte de una palabra o un símbolo) que el modelo lee y escribe como una unidad
Por qué
Los modelos no leen letras ni palabras directamente. Un tokenizador corta el texto en trozos llamados tokens, y el modelo trabaja con ellos.
Un token suele ser una palabra corta o parte de una más larga, así que el número de tokens es distinto del número de palabras, y cambia según el idioma.
Los límites y los costes suelen contarse en tokens, así que es la unidad en la que hay que pensar.
Recuerda
Los modelos leen y escriben tokens, no palabras.