O que é ajuste fino por instruções (instruction tuning) num LLM?
O ajuste fino por instruções, também chamado de ajuste fino supervisionado (SFT), é a etapa que transforma um modelo base num assistente. O modelo continua treinando com milhares de exemplos escritos por pessoas, cada um com um pedido e uma resposta ideal. Ele aprende o padrão “pedido, depois resposta útil” e, em vez de continuar seu texto, passa a responder.
▶ Pratique
Por que isso importa
Um modelo recém-pré-treinado só continua o texto: faça uma pergunta e ele pode escrever mais cinco perguntas. Alguns milhares de bons exemplos ensinam o formato de uma resposta útil.
Em 6 minutos você vai conseguir
- Um modelo base continua o texto. Ele não sabe que deveria responder a você.
- O ajuste por instruções continua o treino com pedidos ligados a respostas ideais.
- O modelo copia de perto os exemplos, então qualidade, variedade e tom são o que mais importa.
O que você vai praticar
Autocompletar ou assistente?
O pedido foi: “Me dê 3 dicas para dormir melhor.” Quem escreveu cada resposta, o modelo base ou o assistente ajustado?
- Me dê 3 dicas para comer melhor. Me dê 3 dicas para me mexer mais. → Modelo base
- 1. Mesmo horário para deitar. 2. Menos tela 1 h antes. 3. Nada de café à noite. → Assistente ajustado
- …foi o post mais lido do nosso fórum em março passado. Resposta nº 1: → Modelo base
- Claro! Quarto fresco e escuro, hora fixa para acordar e nada de celular na cama. → Assistente ajustado
- Posso ajudar. O difícil é pegar no sono ou continuar dormindo? → Assistente ajustado
Veja as chances mudarem
Seja o Vireo e escolha a próxima palavra, antes e depois do ajuste. As porcentagens são ilustrativas, inventadas para mostrar a ideia.
[Modelo base, antes do ajuste]
Cite três frutas. ___- Cite: 34% (a mais provável)
- A: 12%
- Maçã: 8%
- Bananas: 4%
- outras palavras: 42%
[Vireo, depois do ajuste]
Usuário: Cite três frutas.
Vireo: ___- Maçã: 55% (a mais provável)
- Claro: 25%
- Cite: 1%
- outras palavras: 19%
[Vireo, depois do ajuste]
Usuário: Diga “bom dia” em espanhol.
Vireo: ___- Buenos: 70% (a mais provável)
- Claro: 15%
- Bom: 5%
- Diga: 1%
- outras palavras: 9%
Escolha os exemplos de treino
Tomás está montando o conjunto de ajuste do Vireo. Quais exemplos devem entrar? Marque todos os bons.
- Resuma este e-mail em uma linha → um resumo claro de uma linha
- Quanto é 15% de 80? → “12”, com a conta mostrada
- Escreva um poema de aniversário para minha avó → um poema curto e carinhoso
- Me ajude a entrar na conta do meu ex → um não gentil e claro
- Qual é a capital do Canadá? → “Toronto”
- Uma página da web qualquer, sem nenhum pedido
- Explique a chuva para uma criança → 900 palavras de jargão
Lembre-se
O ajuste por instruções mostra a um modelo base milhares de pares de pedido e resposta, e assim responder vira o próximo passo mais provável.
O ajuste por instruções mostra ao modelo pares de pedido e resposta até que responder vire o próximo passo mais provável.
Fatos principais
- No estudo InstructGPT, as pessoas preferiram as respostas de um modelo de 1,3 bilhão de parâmetros ajustado para seguir instruções às do GPT-3, de 175 bilhões de parâmetros, um modelo mais de 100 vezes maior. · Fonte: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
- Ajustar um modelo com muitas tarefas diferentes escritas como instruções o deixa melhor em tarefas novas, com as quais ele nunca foi ajustado. · Fonte: Wei et al., Finetuned Language Models Are Zero-Shot Learners (FLAN), Google, 2021
- O estudo LIMA ajustou um modelo grande com apenas 1.000 exemplos bem escolhidos e ainda assim obteve um bom comportamento de assistente, o que sugere que qualidade importa mais que quantidade. · Fonte: Zhou et al., LIMA: Less Is More for Alignment, Meta, 2023
- O ajuste por instruções é muitas vezes chamado de ajuste fino supervisionado (SFT, na sigla em inglês), porque cada exemplo de treino vem com a resposta que o modelo deve dar.
Atualizado:
Perguntas frequentes
Qual a diferença entre um modelo base e um modelo ajustado por instruções?
Um modelo base só aprendeu a continuar texto, então pode responder a uma pergunta com mais perguntas. Um modelo ajustado por instruções foi treinado também com pares de pedido e resposta, então responde ao que você pede.
O que é ajuste fino supervisionado (SFT)?
Ajuste fino supervisionado é um treino extra com exemplos que já trazem a saída correta. Nos modelos de chat, esses exemplos são pedidos ligados a respostas ideais escritas ou revisadas por pessoas.
Quantos dados o ajuste por instruções precisa?
Muito menos que o pré-treino: de milhares a centenas de milhares de exemplos, contra trilhões de palavras. Pesquisas como a LIMA sugerem que um conjunto pequeno de exemplos excelentes já rende muito.
Quem escreve os dados de ajuste por instruções?
Em geral, redatores treinados e especialistas contratados pelos laboratórios de IA, às vezes com ajuda de outros modelos. Os exemplos definem o estilo do assistente, por isso os laboratórios dão a eles diretrizes detalhadas.
Termos relacionados