O que são embeddings e como um modelo sabe que palavras são parecidas?
Um embedding é uma lista de números que coloca uma palavra, ou token, como um ponto num espaço de significados. Palavras usadas em frases parecidas, como gato e gatinho, ficam perto, e palavras sem relação ficam longe. As direções também têm significado: rei menos homem mais mulher cai perto de rainha. Os modelos aprendem esses pontos com texto.
▶ Pratique
Por que isso importa
Um ID de token é só uma etiqueta. O embedding o transforma numa posição, e o modelo percebe que filhote é parecido com cachorro e nada parecido com ônibus. Buscas e recomendações usam o mesmo truque.
Em 6 minutos você vai conseguir
- Quando uma busca acha o que você quis dizer, e não só o que digitou, em geral há embeddings trabalhando.
- Palavras parecidas na escrita, como cachorro e cachorro-quente, podem ficar longe: o significado vem do uso, não da grafia.
- Como embeddings aprendem com texto humano, pergunte como uma ferramenta os verifica contra estereótipos.
O que você vai praticar
Perto ou longe?
No mapa de significados do Vireo, estes pares ficam perto ou longe um do outro?
- gato · gatinho → Perto
- carro · banana → Longe
- médico · enfermeira → Perto
- quente · frio → Perto
- janela · panela → Longe
- Paris · Roma → Perto
O mapa de significados
Arraste cada palavra para o lugar do mapa onde você acha que ela fica. Depois tente as contas com palavras. O mapa é um desenho simplificado em 2D; embeddings reais têm milhares de direções.
- filhote → cachorro, gato. Um filhote é um cachorro novinho e aparece nas mesmas frases, então cai junto dos animais.
- cachorro-quente → pão, queijo. A posição segue o significado, não a escrita. Cachorro-quente é comida, então cai perto do pão, longe de cachorro.
- bicicleta → carro, trem. Bicicletas aparecem em frases sobre ruas, pedalar e trânsito, então ficam perto dos outros veículos.
- alegre → feliz, triste. Alegre é usado quase exatamente como feliz, então os dois são vizinhos de porta.
- rei − homem + mulher ≈ rainha (homem → rei). A seta de homem até rei é uma direção que significa mais ou menos “realeza”. Dando o mesmo passo a partir de mulher, você cai perto de rainha.
- Paris − França + Itália ≈ Roma (país → capital). O passo de um país até a capital aponta para o mesmo lado em muitos países. A partir da Itália, ele cai em Roma, não em Milão.
Onde você encontra embeddings
Você busca “dinheiro de volta” num site de ajuda e ele acha a página chamada “Reembolsos”. Como?
- Os embeddings estão perto, mesmo com palavras diferentes (Resposta)
- Alguém digitou à mão todos os sinônimos possíveis
Embeddings aprendidos de textos antigos ligam algumas profissões mais a homens do que a mulheres. E daí?
- As equipes precisam testar o viés e corrigir (Resposta)
- Nada, matemática não tem viés
Lembre-se
Um embedding dá a cada token um endereço num espaço de significados. Perto quer dizer parecido, e direções querem dizer relações.
Cada token vira um ponto num espaço de significados. Pontos próximos indicam uso parecido, e direções indicam relações.
Fatos principais
- A ideia de que o significado de uma palavra vem das palavras ao redor foi resumida em 1957: “Você conhecerá uma palavra pelas companhias que ela tem.” · Fonte: J. R. Firth, A Synopsis of Linguistic Theory, 1957
- Vetores de palavras aprendidos de texto mostraram que contas simples captam relações: rei − homem + mulher cai perto de rainha. · Fonte: Mikolov et al., Google, Linguistic Regularities in Continuous Space Word Representations, NAACL 2013
- No maior modelo do GPT-3, cada token virava uma lista de 12.288 números. · Fonte: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
- Embeddings de palavras treinados com notícias carregavam estereótipos de gênero sobre profissões, e pesquisadores propuseram formas de reduzi-los. · Fonte: Bolukbasi et al., Man is to Computer Programmer as Woman is to Homemaker?, NeurIPS 2016
Atualizado:
Perguntas frequentes
O que é embedding, em palavras simples?
É uma lista de números que funciona como endereço de uma palavra ou de um trecho de texto. Coisas com significados parecidos recebem endereços próximos, e assim um computador mede o quanto se parecem.
Quantas dimensões tem um embedding?
Muito mais que as duas de um desenho. Grandes modelos de linguagem usam de centenas a muitos milhares de números por token. O mapa 2D é só uma imagem simplificada.
Para que servem os embeddings?
Dentro de um modelo de linguagem, são o primeiro passo da leitura. Fora dele, alimentam buscas por significado, recomendações, agrupamento de documentos parecidos e detecção de duplicatas.
Rei menos homem mais mulher dá mesmo rainha?
Mais ou menos. Nos embeddings de palavras clássicos, o resultado cai mais perto de rainha do que da maioria das outras palavras. É uma demonstração famosa de que direções no espaço têm significado, mas não funciona em todos os exemplos.
Termos relacionados