Como os LLMs são feitos / Glossário

Modelo base

Um modelo base é um modelo de linguagem recém-saído do pré-treinamento. Ele continua textos em vez de seguir instruções, por isso precisa de mais treino antes de funcionar como assistente.

Faça uma pergunta a um modelo base e ele pode responder com mais perguntas, porque na web uma lista de perguntas muitas vezes é seguida de mais perguntas. Ele aprendeu a continuar documentos, não a ajudar quem está digitando.

Modelos base ainda sabem muita coisa. O GPT-3 mostrou que um modelo base consegue fazer tarefas novas a partir de alguns exemplos colocados no prompt, o chamado few-shot prompting, desde que o texto pareça um documento em que a resposta vem a seguir.

Muitos laboratórios lançam um modelo base, para pesquisadores e desenvolvedores construírem em cima, e uma versão ajustada por instruções para conversar. O treino de assistente posterior usa bem menos dados e molda principalmente o comportamento do modelo.