¿Qué son los embeddings y cómo sabe un modelo que dos palabras se parecen?
Un embedding es una lista de números que sitúa una palabra, o un token, como un punto en un espacio de significados. Las palabras que aparecen en frases parecidas, como gato y gatito, quedan cerca, y las que no tienen relación quedan lejos. Las direcciones también significan algo: rey menos hombre más mujer cae cerca de reina. Los modelos aprenden estos puntos del texto.
▶ Pruébalo
Por qué importa
Un ID de token es solo una etiqueta. El embedding lo convierte en una posición, y así el modelo sabe que cachorro se parece a perro y nada a autobús. Los buscadores y las recomendaciones usan el mismo truco.
En 6 minutos sabrás
- Cuando un buscador encuentra lo que querías decir y no lo que escribiste, suele haber embeddings detrás.
- Palabras que se parecen, como perro y perrito caliente, pueden estar lejos: el significado sale del uso, no de la forma.
- Como los embeddings aprenden de texto humano, pregunta cómo revisa una herramienta sus estereotipos.
Lo que vas a practicar
¿Cerca o lejos?
En el mapa de significados de Vireo, ¿estas parejas están cerca o lejos?
- gato · gatito → Cerca
- coche · plátano → Lejos
- médico · enfermera → Cerca
- caliente · frío → Cerca
- melón · camión → Lejos
- París · Roma → Cerca
El mapa de significados
Arrastra cada palabra al lugar del mapa donde crees que va. Después prueba a hacer cuentas con palabras. El mapa es un dibujo simplificado en 2D; los embeddings reales tienen miles de direcciones.
- cachorro → perro, gato. Un cachorro es un perro joven y sale en las mismas frases, así que aterriza con los animales.
- perrito caliente → pan, queso. La posición sigue al significado, no a la forma de la palabra. Un perrito caliente es comida, así que cae junto al pan, lejos de perro.
- bicicleta → coche, tren. Las bicicletas aparecen en frases sobre calles, pedalear y tráfico, así que quedan cerca de los demás vehículos.
- alegre → feliz, triste. Alegre se usa casi igual que feliz, así que las dos son vecinas de puerta.
- rey − hombre + mujer ≈ reina (hombre → rey). La flecha de hombre a rey es una dirección que significa más o menos «de la realeza». Si das el mismo paso desde mujer, caes cerca de reina.
- París − Francia + Italia ≈ Roma (país → capital). El paso de un país a su capital apunta en la misma dirección para muchos países. Desde Italia cae en Roma, no en Milán.
Dónde te encuentras embeddings
Buscas «que me devuelvan el dinero» en una web de ayuda y te sale la página «Reembolsos». ¿Cómo?
- Sus embeddings están cerca, aunque las palabras sean distintas (Respuesta)
- Alguien escribió a mano todos los sinónimos posibles
Unos embeddings aprendidos de textos antiguos asocian algunas profesiones más a hombres que a mujeres. ¿Qué se deduce?
- Los equipos deben medir el sesgo y corregirlo (Respuesta)
- Nada, las matemáticas no pueden tener sesgos
Recuerda
Un embedding da a cada token una dirección en un espacio de significados. Cerca significa parecido, y las direcciones, relaciones.
Cada token se convierte en un punto en un espacio de significados. Cerca significa uso parecido, y las direcciones, relaciones.
Datos clave
- La idea de que el significado de una palabra sale de las palabras que la rodean se resumió en 1957: «Conocerás una palabra por la compañía que tiene». · Fuente: J. R. Firth, A Synopsis of Linguistic Theory, 1957
- Los vectores de palabras aprendidos de texto mostraron que una aritmética sencilla capta relaciones: rey − hombre + mujer cae cerca de reina. · Fuente: Mikolov et al., Google, Linguistic Regularities in Continuous Space Word Representations, NAACL 2013
- En el modelo más grande de GPT-3, cada token se convertía en una lista de 12.288 números. · Fuente: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
- Se demostró que los embeddings de palabras entrenados con noticias arrastraban estereotipos de género sobre las profesiones, y los investigadores propusieron formas de reducirlos. · Fuente: Bolukbasi et al., Man is to Computer Programmer as Woman is to Homemaker?, NeurIPS 2016
Actualizado:
Preguntas frecuentes
¿Qué es un embedding, explicado fácil?
Es una lista de números que funciona como la dirección de una palabra o de un trozo de texto. Las cosas con significados parecidos reciben direcciones cercanas, así que un ordenador puede medir cuánto se parecen.
¿Cuántas dimensiones tiene un embedding?
Muchas más que las dos de un dibujo. Los grandes modelos de lenguaje usan de cientos a muchos miles de números por token. El mapa en 2D es solo una imagen simplificada.
¿Para qué se usan los embeddings?
Dentro de un modelo de lenguaje son el primer paso de la lectura. Fuera, sirven para buscar por significado, recomendar, agrupar documentos parecidos y encontrar duplicados.
¿De verdad rey menos hombre más mujer da reina?
Más o menos. En los embeddings de palabras clásicos, el resultado cae más cerca de reina que de casi cualquier otra palabra. Es una demostración famosa de que las direcciones del espacio tienen significado, aunque no funciona en todos los ejemplos.
Términos relacionados