Cosa sono gli embedding, e come fa un modello a sapere che due parole si somigliano?
Un embedding è una lista di numeri che colloca una parola, o un token, come un punto in uno spazio di significati. Le parole usate in frasi simili, come gatto e gattino, finiscono vicine, mentre quelle senza legame stanno lontane. Anche le direzioni hanno un significato: re meno uomo più donna arriva vicino a regina. I modelli imparano questi punti dal testo.
▶ Prova tu
Perché è importante
Un ID di token è solo un’etichetta. L’embedding lo trasforma in una posizione, così il modello capisce che cucciolo somiglia a cane e per niente a bus. Ricerca e suggerimenti usano lo stesso trucco.
In 6 minuti saprai
- Quando una ricerca trova ciò che intendevi e non ciò che hai scritto, di solito dietro ci sono gli embedding.
- Parole che si somigliano, come cavallo e cavolo, possono stare lontanissime: il significato viene dall’uso, non dall’ortografia.
- Dato che gli embedding imparano da testi scritti da persone, chiedi come uno strumento li controlla per gli stereotipi.
Cosa eserciterai
Vicine o lontane?
Sulla mappa dei significati di Vireo, queste coppie stanno vicine o lontane?
- gatto · gattino → Vicine
- auto · banana → Lontane
- medico · infermiere → Vicine
- caldo · freddo → Vicine
- violino · mulino → Lontane
- Parigi · Roma → Vicine
La mappa dei significati
Trascina ogni parola sulla mappa dove pensi che debba stare. Poi prova la matematica delle parole. La mappa è un disegno semplificato in 2D; gli embedding veri hanno migliaia di direzioni.
- cucciolo → cane, gatto. Un cucciolo è un cane giovane e compare nelle stesse frasi, quindi atterra con gli animali.
- cavolo → pane, formaggio. La posizione segue il significato, non l’ortografia. «Cavolo» somiglia a «cavallo», ma è una verdura: atterra vicino al pane, lontano dagli animali.
- bicicletta → auto, treno. La bicicletta compare in frasi su strade, pedalate e traffico, quindi sta vicino agli altri veicoli.
- allegro → felice, triste. «Allegro» si usa quasi esattamente come «felice», quindi i due sono vicini di casa.
- re − uomo + donna ≈ regina (uomo → re). La freccia da uomo a re è una direzione che significa più o meno «reale». Facendo lo stesso passo da donna si arriva vicino a regina.
- Parigi − Francia + Italia ≈ Roma (Paese → capitale). Il passo da un Paese alla sua capitale punta nella stessa direzione per molti Paesi. Dall’Italia si arriva a Roma, non a Milano.
Dove incontri gli embedding
Cerchi «soldi indietro» in un sito di assistenza e trovi la pagina intitolata «Rimborsi». Come mai?
- I loro embedding sono vicini, anche se le parole sono diverse (Risposta)
- Qualcuno ha scritto a mano tutti i sinonimi possibili
Embedding imparati da testi vecchi collegano alcuni lavori più agli uomini che alle donne. Cosa ne segue?
- I team devono cercare i bias e correggerli (Risposta)
- Niente, la matematica non può avere bias
Ricorda
Un embedding dà a ogni token un indirizzo in uno spazio di significati. Vicino vuol dire simile, e le direzioni indicano relazioni.
Ogni token diventa un punto in uno spazio di significati. Punti vicini vogliono dire usi simili, e le direzioni indicano relazioni.
Dati chiave
- L’idea che il significato di una parola venga dalle parole intorno a lei fu riassunta nel 1957: «Conoscerai una parola dalla compagnia che frequenta». · Fonte: J. R. Firth, A Synopsis of Linguistic Theory, 1957
- I vettori di parole imparati dal testo hanno mostrato che una semplice aritmetica cattura le relazioni: re − uomo + donna arriva vicino a regina. · Fonte: Mikolov et al., Google, Linguistic Regularities in Continuous Space Word Representations, NAACL 2013
- Nel modello GPT-3 più grande, ogni token diventava una lista di 12.288 numeri. · Fonte: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
- È stato dimostrato che embedding di parole addestrati su testi giornalistici contenevano stereotipi di genere sui lavori, e i ricercatori hanno proposto modi per ridurli. · Fonte: Bolukbasi et al., Man is to Computer Programmer as Woman is to Homemaker?, NeurIPS 2016
Aggiornato:
Domande frequenti
Cos’è un embedding in parole semplici?
È una lista di numeri che funziona come un indirizzo per una parola o un pezzo di testo. Le cose con significati simili ricevono indirizzi vicini, così un computer può misurare quanto si somigliano.
Quante dimensioni ha un embedding?
Molte più delle due di un disegno. I grandi modelli linguistici usano da centinaia a molte migliaia di numeri per token. La mappa in 2D è solo un’immagine semplificata.
A cosa servono gli embedding?
Dentro un modello linguistico sono il primo passo della lettura. Fuori, fanno funzionare la ricerca per significato, i suggerimenti, il raggruppamento di documenti simili e la ricerca di duplicati.
Re meno uomo più donna fa davvero regina?
Più o meno. Negli embedding di parole classici il risultato arriva più vicino a regina che alla maggior parte delle altre parole. È una dimostrazione famosa che le direzioni nello spazio hanno un significato, anche se non funziona con ogni esempio.
Termini correlati