Todos os temas / Como os LLMs são feitos
Como um grande modelo de linguagem é feito, do texto bruto ao chatbot
Acompanhe um modelo pela fábrica inteira: juntar e limpar texto, cortar em tokens, meses treinando a adivinhar o próximo token em milhares de chips e, por fim, o treino que transforma um autocompletar num assistente útil. Cada aula é um desenho animado de 6 minutos com um jogo rápido. Sem matemática, sem código.
- 24 aulas
- 144 min
- Grátis
- Sem cadastro
Oi, eu sou o Tomás. Ajudo a treinar modelos de linguagem na Vireo Labs. Vou mostrar cada estação da linha de produção, de uma pilha bagunçada de páginas da web até um modelo que responde perguntas, e onde as escolhas difíceis são feitas.
A matéria-prima
De onde vem o texto, como ele é limpo e como vira números
- 1
O que é um grande modelo de linguagem?
Um previsor gigante da próxima palavra, feito de texto
- 2
De onde vem o texto de treino
Páginas da web, livros, código e conversas
- 3
Limpando os dados
Tirar cópias, spam e dados pessoais
- 4
Tokens: como o texto vira pedaços
Por que um modelo lê “inacreditável” em três partes
- 5
Embeddings: palavras como pontos no espaço
Significados parecidos ficam perto um do outro
- 6
De quem são os dados?
Direito autoral, consentimento e opt-out
Pré-treinamento
O transformer, a atenção e meses adivinhando o próximo token
- 7
O transformer
O projeto em camadas por trás de todo LLM moderno
- 8
Atenção
Como cada palavra olha para as palavras que importam
- 9
Adivinhe o próximo token
O único jogo do treino, jogado trilhões de vezes
- 10
Aprender com os erros
Perda, ajustes e bilhões de botõezinhos
- 11
Aumentar a escala
Mais dados, mais parâmetros, mais chips
- 12
O modelo base
Um autocompletar brilhante que ainda não é assistente
Virando um assistente
Instruções, feedback humano, raciocínio, segurança e ferramentas
- 13
Ajuste por instruções
Ensinar o modelo a atender pedidos
- 14
Aprender com feedback humano
Pessoas comparam duas respostas e escolhem a melhor
- 15
Modelos de recompensa
Um segundo modelo que dá nota às respostas
- 16
Aprender a raciocinar
Pensar passo a passo em problemas com resposta verificável
- 17
Treino de segurança
Recusar o que faz mal, ser honesto, admitir dúvida
- 18
Ferramentas e agentes
Busca, código e ações no mundo real
Testar e lançar
Benchmarks, red teams, modelos menores e como uma resposta é gerada
- 19
Benchmarks e avaliações
Como um modelo novo recebe o boletim
- 20
Red teaming
Especialistas tentam quebrar o modelo antes do lançamento
- 21
Modelos menores
Destilação e quantização
- 22
Como uma resposta é gerada
Um token por vez, com uma pitada de sorte
- 23
Janela de contexto e memória
O que o modelo vê de uma vez e o que ele esquece
- 24
Model cards e lançamento
O que um lançamento responsável conta para você
Como funciona
- 01
Veja
Um desenho animado mostra como a coisa funciona de verdade.
- 02
Pratique
Um jogo rápido coloca você em ação: encontre, separe, ajuste, decida.
- 03
Guarde
Três lições para levar e um selo para a sua cartela.
Perguntas frequentes
Preciso saber matemática ou programação?
Não. Cada etapa aparece como um desenho animado com exemplos do dia a dia. Você vai ver o que é um token, um peso ou um modelo de recompensa sem nenhuma fórmula.
Quanto tempo leva para treinar um grande modelo de linguagem?
O pré-treinamento de um modelo de ponta costuma durar de semanas a meses em milhares de chips especializados, depois de uma longa fase de coleta e limpeza de dados. O ajuste fino que o transforma em assistente vem depois.
Este curso é grátis?
Sim. Todas as aulas são gratuitas, sem cadastro e sem nada pago.
Qual a diferença para o curso de Letramento em IA?
Letramento em IA ensina a entender e usar bem a IA. Este curso vai para os bastidores e acompanha um modelo por todas as etapas: como ele é construído, testado e lançado.