Cómo se crean los LLM / Glosario

Modelo base

Un modelo base es un modelo de lenguaje recién salido del preentrenamiento. Continúa texto en lugar de seguir instrucciones, así que necesita más entrenamiento antes de funcionar como asistente.

Hazle una pregunta a un modelo base y puede que responda con más preguntas, porque en la web una lista de preguntas suele ir seguida de más preguntas. Ha aprendido a continuar documentos, no a ayudar a quien escribe.

Aun así, los modelos base saben mucho. GPT-3 demostró que un modelo base puede hacer tareas nuevas a partir de unos pocos ejemplos puestos en el prompt, lo que se llama few-shot prompting, siempre que el texto parezca un documento en el que la respuesta viene a continuación.

Muchos laboratorios publican a la vez un modelo base, para que investigadores y desarrolladores construyan sobre él, y una versión ajustada con instrucciones para chatear. El entrenamiento posterior como asistente usa muchos menos datos y sobre todo moldea cómo se comporta el modelo.