Alfabetización en IA / Glosario

Token

Un token es la pequeña unidad de texto que un modelo de lenguaje lee y escribe: una palabra entera, parte de una palabra, un signo de puntuación o un espacio. El modelo predice un token cada vez.

Antes de trabajar con tu mensaje, un chatbot divide el texto en tokens. Las palabras cortas y frecuentes suelen ser un solo token, y las largas o poco comunes se parten en varios trozos.

Al responder, el modelo elige el siguiente token, lo añade al texto y luego predice el que viene detrás. Esta predicción paso a paso explica por qué las respuestas aparecen palabra a palabra.

Los tokens también explican algunos límites: los servicios miden el uso en tokens, un modelo solo puede leer cierta cantidad de tokens a la vez y tareas como contar letras pueden fallar, porque el modelo ve trozos, no letras sueltas.