Pular para o conteúdo
PT

Aula 1 de 6 · 6 min · +100 XP

O que é um grande modelo de linguagem (LLM)?

Um grande modelo de linguagem (LLM) é um sistema de IA treinado com quantidades enormes de texto para fazer uma coisa: prever o próximo pedaço de texto. Dadas algumas palavras, ele dá uma nota a cada próximo token possível, escolhe um provável e repete. Bilhões de números ajustados no treino guardam os padrões aprendidos, e assim ele responde, traduz, resume e programa.

▶ Pratique

Por que isso importa

Todo chatbot roda num LLM. Quando você vê que ele é um previsor da próxima palavra, fica claro por que soa tão fluente, por que sabe tanto e por que ainda pode errar com toda a confiança.

Em 6 minutos você vai conseguir

  • Quando um chatbot responde, imagine-o ordenando as próximas palavras: isso explica a fluência e os deslizes.
  • Confira nomes, datas e números que ele der, porque uma resposta que soa provável pode ser inventada.
  • Use-o para rascunhar, explicar e reescrever, quando uma formulação provável é exatamente o que você quer.

O que você vai praticar

  1. Grande. Modelo. De linguagem.

    Toque em cada cartão para desmontar o nome.

    📏 Grande
    Bilhões de números ajustáveis, chamados parâmetros, treinados com trilhões de palavras. O tamanho é uma boa parte do motivo de funcionar tão bem.
    💬 Linguagem
    Ele trabalha com texto: lê e escreve, em muitas línguas humanas e em código de programação.
    🧮 Modelo
    Uma função matemática gigante. Entra texto e sai uma nota para cada próximo token possível.
    🎯 Então, o que ele faz de verdade?
    Uma coisa, de novo e de novo: prever o próximo pedaço de texto. Responder, resumir e traduzir são construídos em cima disso.

  2. Sente no lugar do Vireo

    Escolha a palavra que você acha que vem depois. Depois veja a chance de cada opção. As porcentagens são ilustrativas.

    1. O gato deitou no ___

      • tapete: 62% (a mais provável)
      • chão: 21%
      • sofá: 9%
      • foguete: 0,1%
      • outras palavras: 8%
      O Vireo viu essa frase tantas vezes que “tapete” fica muito acima do resto. Uma lista ordenada assim é tudo o que o modelo produz.

    2. A água congela a zero graus ___

      • Celsius: 80% (a mais provável)
      • Fahrenheit: 5%
      • hoje: 2%
      • outras palavras: 13%
      Um fato repetido em incontáveis textos vira uma previsão forte. É assim que um modelo “sabe” coisas: como padrões, não como uma lista de fatos.

    3. Traduza para o francês: bom dia → ___

      • bonjour: 88% (a mais provável)
      • bonsoir: 4%
      • hello: 2%
      • outras palavras: 6%
      Ninguém programou um tradutor. Prever texto em muitas línguas ensinou ao Vireo quais palavras andam juntas.

    4. Tomás, engenheiro de treinamento da Vireo Labs, nasceu em ___

      • Madri: 20% (a mais provável)
      • 1990: 14%
      • Lisboa: 10%
      • Bogotá: 9%
      • outras palavras: 47%
      O Vireo nunca leu nada sobre o Tomás, mas mesmo assim ordena opções e vai escolher uma. É assim que uma resposta fluente pode ser pura invenção.

  3. Verdade ou mito?

    Classifique cada frase sobre grandes modelos de linguagem.

    • Ele aprendeu com quantidades enormes de texto → Verdade
    • Ele procura as respostas num banco de dados → Mito
    • Ele escreve um token por vez → Verdade
    • Alguém escreveu uma regra para cada resposta → Mito
    • Ele pode parecer seguro e mesmo assim errar → Verdade
    • Ele dá sempre a mesma resposta → Mito

  4. A linha de produção

    Este curso acompanha o Vireo do texto bruto até o assistente. Coloque as estações em ordem.

    1. Juntar quantidades enormes de texto
    2. Limpar o texto e cortar em tokens
    3. Pré-treinar: adivinhar o próximo token trilhões de vezes
    4. Ajustar para seguir instruções e feedback
    5. Testar muito e depois lançar

Lembre-se

Um LLM é um previsor do próximo token treinado com muito texto. Fluente significa provável, não necessariamente verdadeiro.

Um LLM prevê o próximo token, de novo e de novo. O conhecimento dele são padrões guardados em bilhões de números.

Fatos principais

  • A maioria dos grandes modelos de linguagem de hoje é construída sobre o transformer, uma arquitetura apresentada num artigo científico de 2017. · Fonte: Vaswani et al., Google, Attention Is All You Need, NeurIPS 2017
  • O GPT-3 tinha 175 bilhões de parâmetros, os números ajustáveis que guardam o que um modelo aprende. · Fonte: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
  • O Llama 3 foi pré-treinado com mais de 15 trilhões de tokens de texto. · Fonte: Meta, Introducing Meta Llama 3, 2024
  • As pessoas preferiram as respostas de um modelo de 1,3 bilhão de parâmetros ajustado para seguir instruções às do GPT-3, de 175 bilhões: o treino depois do pré-treinamento faz diferença. · Fonte: Ouyang et al., OpenAI, Training language models to follow instructions with human feedback, 2022

Atualizado:

Perguntas frequentes

O que significa LLM?

LLM é a sigla em inglês de large language model, ou grande modelo de linguagem: um modelo de IA com bilhões de parâmetros, treinado com muito texto para prever o próximo token.

Chatbot e LLM são a mesma coisa?

Um chatbot é um app construído em volta de um LLM. O modelo prevê texto; o app acrescenta a janela de conversa, treino extra para seguir instruções, regras de segurança e às vezes ferramentas como busca na web.

Um grande modelo de linguagem entende o que diz?

Não do jeito que as pessoas entendem. Ele aprendeu padrões muito detalhados da língua, o que o torna útil, mas não tem um jeito próprio de checar se uma frase é verdadeira.

Por que eles se chamam grandes?

Por causa do tamanho: bilhões de parâmetros, treinados com trilhões de palavras e um poder de computação enorme. Modelos maiores treinados com mais dados, em geral, ficaram mais capazes.

Termos relacionados