Como os LLMs são feitos / Glossário

Fine-tuning (ajuste fino)

Fine-tuning, ou ajuste fino, é treinar um pouco mais um modelo já pré-treinado com um conjunto menor e focado de exemplos, para que ele fique melhor numa tarefa ou se comporte de um certo jeito.

O pré-treinamento dá ao modelo um conhecimento amplo; o ajuste fino dá forma a ele. O ajuste por instruções, também chamado de ajuste fino supervisionado, treina um modelo base com pedidos acompanhados de respostas ideais escritas por pessoas, o que transforma um continuador de texto num assistente.

O ajuste fino precisa de muito menos dados que o pré-treinamento. Ajustar um modelo em muitas tarefas escritas como instruções o deixou melhor em tarefas novas para as quais nunca foi ajustado, e um estudo conseguiu um bom comportamento de assistente com só 1.000 exemplos bem escolhidos.

Empresas também fazem fine-tuning com seus próprios dados, por exemplo para imitar um estilo de escrita ou uma área especializada. Métodos mais leves, como o LoRA, treinam só um pequeno conjunto de pesos extras, então o ajuste fino roda com muito menos hardware.