Cómo se crean los LLM / Glosario

Preentrenamiento (pretraining)

El preentrenamiento es la primera y mayor fase de la creación de un modelo de lenguaje: lee una cantidad enorme de texto y aprende prediciendo el siguiente token, una y otra vez, sin etiquetas humanas.

Durante el preentrenamiento, el modelo ve texto real con el siguiente token oculto, hace una apuesta, mira la respuesta real y ajusta un poco sus pesos. El propio texto aporta las respuestas, así que nadie tiene que etiquetar nada.

Repetido a lo largo de billones de tokens, este juego tan simple obliga al modelo a aprender gramática, datos, estilos de escritura, patrones de razonamiento y código. Llama 3, por ejemplo, se preentrenó con más de 15 billones de tokens.

El preentrenamiento consume la mayor parte de la potencia de cálculo de un modelo y le da la mayor parte de su conocimiento. El resultado es un modelo base que continúa texto muy bien pero aún no sigue instrucciones; después vienen el ajuste fino y el entrenamiento con feedback.