Cómo se crean los LLM / Glosario

Tokenizador

Un tokenizador es la herramienta que corta el texto en tokens, los trozos que lee un modelo de lenguaje, y convierte cada trozo en un número. También vuelve a convertir en texto los números que produce el modelo.

Un tokenizador tiene un vocabulario fijo de trozos. Las palabras frecuentes quedan enteras, mientras que las palabras raras, los nombres y los números largos se dividen en varios trozos más pequeños. Cada trozo tiene un número de ID, y el modelo solo ve esos números.

La mayoría de los tokenizadores de los LLM se construyen con byte pair encoding (BPE), un método que parte de caracteres sueltos y va fusionando los pares que más aparecen. El tokenizador de GPT-2 tenía 50.257 tokens; el de Llama 3 tiene unos 128.000.

El tokenizador explica algunos comportamientos raros. A los modelos les cuesta contar letras porque ven trozos, no letras, y la misma frase puede necesitar muchos más tokens en unos idiomas que en otros, lo que la hace más lenta y cara de procesar.