Come nascono gli LLM / Glossario

Transformer

Il transformer è l’architettura di rete neurale alla base di quasi tutti i modelli linguistici moderni. Elabora tutti i token di un testo in parallelo e usa l’attenzione per farli scambiare informazioni.

Il transformer è stato presentato in un articolo di ricerca del 2017 intitolato «Attention Is All You Need», all’inizio per tradurre tra lingue. La sua idea chiave era abbandonare la lettura passo per passo e far guardare a ogni parola tutte le altre nello stesso momento.

Un transformer trasforma ogni token in un embedding e lo fa salire lungo una pila di strati identici. In ogni strato l’attenzione mescola informazioni dagli altri token e una parte feed-forward rifinisce ogni token. Il modello GPT-3 più grande impila 96 di questi strati.

Dato che il lavoro avviene in parallelo, i transformer si addestrano in modo efficiente sui chip moderni, e questo ha reso possibili modelli molto grandi. La stessa architettura oggi si usa anche per immagini, audio e codice.