Como os LLMs são feitos / Glossário

Embedding

Um embedding é uma lista de números que representa uma palavra, um token, uma frase ou uma imagem como um ponto num espaço de significados, de modo que coisas com significados parecidos fiquem perto umas das outras.

Um modelo não faz contas com palavras, então dá a cada token uma lista de números. O treino move esses pontos para que palavras usadas em frases parecidas, como gato e gatinho, fiquem perto, e palavras sem relação fiquem longe.

Direções nesse espaço também carregam significado: com vetores de palavras aprendidos de texto, rei menos homem mais mulher cai perto de rainha. No maior modelo do GPT-3, cada token virava uma lista de 12.288 números.

Embeddings também são usados fora dos chatbots, por exemplo em buscas que encontram documentos pelo significado, e não pelas palavras exatas. Como são aprendidos de textos humanos, também podem absorver estereótipos desses textos.