Cómo se crean los LLM / Glosario

Parámetros (pesos del modelo)

Los parámetros, también llamados pesos, son los números ajustables de un modelo de IA. El entrenamiento los afina para que sus predicciones mejoren, y entre todos guardan lo que el modelo ha aprendido.

Un modelo de lenguaje es un cálculo enorme. El texto entra convertido en números, se multiplica y se suma con los parámetros del modelo, y sale una predicción. Antes del entrenamiento los parámetros son aleatorios; el entrenamiento ajusta cada uno hasta que las predicciones son buenas.

El tamaño de un modelo se suele contar en parámetros. GPT-3 tenía 175.000 millones, y muchos modelos que puedes usar en un portátil tienen unos pocos miles de millones. Más parámetros pueden guardar más patrones, pero también necesitan más memoria, más potencia de cálculo y más datos de entrenamiento.

Los parámetros ocupan espacio real: a 16 bits cada uno, un modelo con 7.000 millones de pesos necesita unos 14 GB solo para cargarse. Por eso trucos como la cuantización, que guarda cada peso con menos bits, son clave para usar modelos en móviles y portátiles.