Come nascono gli LLM / Glossario

Finestra di contesto

La finestra di contesto è la quantità massima di testo, contata in token, che un modello linguistico può prendere in una volta, compresi i tuoi messaggi, le sue risposte, i file incollati e le istruzioni nascoste.

Tutto ciò che il modello usa per scrivere il token successivo deve stare nella finestra. Quando una conversazione la supera, le parti più vecchie non ci stanno più e il modello non può usarle. E non ricorda le chat precedenti, a meno che un’app non gliele ripassi.

Le finestre sono cresciute in fretta: GPT-3 poteva leggere 2.048 token alla volta, Llama 3.1 ne supporta 128.000, abbastanza per un libro intero. Sono comunque limitate, anche perché il lavoro dell’attenzione cresce con il quadrato della lunghezza del testo.

Una finestra più grande non sempre viene usata bene. I ricercatori hanno visto che i modelli usano meglio le informazioni all’inizio e alla fine di un contesto lungo che quelle sepolte nel mezzo, quindi metti le cose più importanti dove si notano.