Cómo se crean los LLM / Glosario

Embedding (vector de palabra)

Un embedding es una lista de números que representa una palabra, un token, una frase o una imagen como un punto en un espacio de significados, de modo que lo que significa algo parecido queda cerca.

Un modelo no puede calcular con palabras, así que da a cada token una lista de números. El entrenamiento mueve esos puntos para que las palabras que aparecen en frases parecidas, como gato y gatito, queden cerca y las que no tienen relación queden lejos.

Las direcciones de ese espacio también tienen significado: con vectores de palabras aprendidos de texto, rey menos hombre más mujer cae cerca de reina. En el modelo más grande de GPT-3, cada token se convertía en una lista de 12.288 números.

Los embeddings también se usan fuera de los chatbots, por ejemplo en buscadores que encuentran documentos por su significado y no por las palabras exactas. Como se aprenden de texto humano, también pueden absorber los estereotipos de ese texto.