Saltar al contenido
Hablemos de IA

Glosario de IA

Token

Nivel: Principiante También: tokens

Token: Unidad mínima de texto con la que trabaja un modelo de lenguaje. Puede ser una palabra, un trozo de palabra o un signo. Las APIs de IA cobran por tokens.

Explicado de forma sencilla

Los modelos de lenguaje no leen letras ni palabras como nosotros. Antes de procesar un texto lo trocean en tokens. Una palabra corta y frecuente suele ser un solo token; una palabra larga o poco común se divide en varios.

Por ejemplo, «hola» puede ser un token, mientras que «desoxirribonucleico» se partirá en varios trozos.

Por qué te importa

  1. Precio: las APIs cobran por millón de tokens de entrada (lo que envías) y de salida (lo que responde el modelo). Puedes calcularlo con nuestra calculadora de coste por tokens.
  2. Límites: cada modelo admite un número máximo de tokens a la vez (su ventana de contexto).
  3. Idioma: el castellano suele necesitar algo más de tokens que el inglés para decir lo mismo.

Regla práctica

En castellano, una palabra equivale de media a algo más de un token. Es solo una aproximación: cada modelo usa su propio sistema de troceado.

Términos relacionados

Actualizado el · Ver todo el glosario