Como os LLMs são feitos / Glossário

Glossário de Como os LLMs são feitos

Definições simples dos termos de Como os LLMs são feitos, cada uma ligada a uma aula visual curta.

Alinhamento de IA: Alinhamento de IA é o trabalho de fazer o comportamento de um sistema de IA corresponder ao que as pessoas pretendem e valorizam: útil nos pedidos do dia a dia, honesto sobre o que sabe e cuidadoso para evitar danos.
Benchmark de IA: Um benchmark de IA é um conjunto fixo de tarefas com respostas verificáveis, como questões de prova, problemas de matemática ou tarefas de programação, usado para medir e comparar o desempenho dos modelos.
Cadeia de pensamento (chain of thought): Cadeia de pensamento é o raciocínio passo a passo que um modelo de linguagem escreve antes da resposta final. Modelos de raciocínio são treinados para produzir cadeias longas e resolver problemas mais difíceis.
Deduplicação de dados: Deduplicação de dados é encontrar e remover cópias repetidas do mesmo texto num conjunto de dados, para que um modelo de linguagem não veja o mesmo trecho de novo e de novo durante o treino.
Destilação de conhecimento: Destilação de conhecimento treina um modelo “aluno” pequeno para copiar as saídas de um modelo “professor” grande, para que o aluno mantenha boa parte da habilidade do professor com uma fração do tamanho.
Embedding: Um embedding é uma lista de números que representa uma palavra, um token, uma frase ou uma imagem como um ponto num espaço de significados, de modo que coisas com significados parecidos fiquem perto umas das outras.
Fine-tuning (ajuste fino): Fine-tuning, ou ajuste fino, é treinar um pouco mais um modelo já pré-treinado com um conjunto menor e focado de exemplos, para que ele fique melhor numa tarefa ou se comporte de um certo jeito.
Função de perda: Uma função de perda é a fórmula que mede o quanto a previsão de um modelo errou. O treino tenta deixar esse número, a perda (loss), o menor possível.
Gradiente descendente: Gradiente descendente é o método que treina a maioria dos modelos de IA: ele calcula, para cada peso, a direção que diminui a perda e depois dá um passo pequeno com todos os pesos nessa direção, de novo e de novo.
Janela de contexto: Janela de contexto é a quantidade máxima de texto, contada em tokens, que um modelo de linguagem consegue receber de uma vez, incluindo suas mensagens, as respostas dele, arquivos colados e instruções ocultas.
Leis de escala: Leis de escala são padrões que mostram que a perda de um modelo de linguagem cai de forma suave e previsível quando se adicionam parâmetros, dados de treino e computação. Os laboratórios as usam para planejar o tamanho do modelo.
Mecanismo de atenção: O mecanismo de atenção é a parte de um transformer que deixa cada token pesar o quanto cada outro token importa para ele e então absorver uma mistura das informações deles, de acordo com esses pesos.
Model card (ficha do modelo): Um model card é um documento público curto lançado junto com um modelo de IA, como uma tabela nutricional. Ele diz para que serve o modelo, como foi treinado e testado, e seus limites e riscos conhecidos.
Modelo base: Um modelo base é um modelo de linguagem recém-saído do pré-treinamento. Ele continua textos em vez de seguir instruções, por isso precisa de mais treino antes de funcionar como assistente.
Modelo de recompensa: Um modelo de recompensa é um modelo de IA separado que dá notas às respostas como avaliadores humanos dariam. Ele é treinado com comparações humanas e depois usado para guiar um modelo de linguagem para respostas melhores.
Parâmetros (pesos do modelo): Parâmetros, também chamados de pesos, são os números ajustáveis dentro de um modelo de IA. O treinamento ajusta esses números para que as previsões melhorem, e juntos eles guardam tudo o que o modelo aprendeu.
Pré-treinamento: Pré-treinamento é a primeira e maior etapa da construção de um modelo de linguagem: ele lê uma quantidade enorme de texto e aprende prevendo o próximo token, de novo e de novo, sem nenhum rótulo humano.
Quantização: Quantização deixa um modelo de IA menor e mais rápido guardando cada peso com menos bits, por exemplo 4 em vez de 16, aceitando um pequeno erro de arredondamento.
Red teaming: Red teaming é atacar de propósito o seu próprio sistema de IA antes do lançamento, tentando fazê-lo se comportar mal para que os pontos fracos sejam encontrados e corrigidos antes que usuários reais os encontrem.
RLHF (aprendizado por reforço com feedback humano): RLHF, aprendizado por reforço com feedback humano, é um método de treino que ensina um modelo quais respostas as pessoas preferem, usando muitas comparações humanas entre pares de respostas.
robots.txt: robots.txt é um pequeno arquivo de texto num site que diz aos crawlers quais páginas eles podem ou não visitar. Donos de sites podem usá-lo para pedir que crawlers de IA não coletem seu conteúdo.
Temperatura (IA): Temperatura é uma configuração que controla o quanto a saída de um modelo de linguagem é previsível ou variada. Temperatura baixa faz ele ficar nos tokens mais prováveis; temperatura alta torna os menos prováveis mais comuns.
Tokenizador: Um tokenizador é a ferramenta que corta o texto em tokens, os pedaços que um modelo de linguagem lê, e transforma cada pedaço num número. Ele também transforma os números que o modelo gera de volta em texto.
Tool calling (chamada de funções): Tool calling é quando um modelo de linguagem escreve um pedido estruturado para usar uma ferramenta externa, como uma busca, uma calculadora ou uma agenda, e o software em volta roda a ferramenta e devolve o resultado.
Transformer: O transformer é a arquitetura de rede neural por trás de quase todos os modelos de linguagem modernos. Ele processa todos os tokens de um texto em paralelo e usa a atenção para que os tokens troquem informação.
Web crawler (rastreador): Um web crawler é um programa que visita páginas da web automaticamente, salva o conteúdo e segue os links para achar mais páginas. Os crawlers coletam boa parte do texto usado para treinar modelos de linguagem.