Come nascono gli LLM / Glossario

Meccanismo di attenzione

Il meccanismo di attenzione è la parte di un transformer che permette a ogni token di pesare quanto conta per lui ogni altro token, e poi di prendere un mix delle loro informazioni in base a quei pesi.

Per ogni token l’attenzione dà un punteggio a quanto è rilevante ogni altro token, trasforma i punteggi in pesi che sommano al 100% e mescola le loro informazioni. È così che un pronome in una frase ritrova il nome a cui si riferisce, e che «riva» capisce se si parla di un fiume o del mare.

Un modello usa più teste di attenzione affiancate, e ognuna può imparare un tipo diverso di legame, come pronomi e nomi o verbi e complementi. Il transformer originale usava 8 teste per strato; GPT-3 ne usa 96.

L’attenzione confronta ogni token con tutti gli altri, quindi il suo lavoro cresce con il quadrato della lunghezza del testo. È uno dei motivi principali per cui la finestra di contesto di un modello ha un limite.