Come nascono gli LLM / Glossario

Embedding

Un embedding è una lista di numeri che rappresenta una parola, un token, una frase o un’immagine come un punto in uno spazio di significati, così le cose con significati simili finiscono vicine.

Un modello non sa fare calcoli con le parole, quindi dà a ogni token una lista di numeri. L’addestramento sposta questi punti in modo che le parole usate in frasi simili, come gatto e gattino, stiano vicine e le parole senza legame stiano lontane.

Anche le direzioni in questo spazio hanno un significato: con vettori di parole imparati dal testo, re meno uomo più donna arriva vicino a regina. Nel modello GPT-3 più grande, ogni token diventava una lista di 12.288 numeri.

Gli embedding si usano anche fuori dai chatbot, per esempio nella ricerca che trova documenti per significato invece che per parole esatte. Dato che sono imparati da testi scritti da persone, possono assorbire anche gli stereotipi di quei testi.