Cos’è la finestra di contesto e perché un chatbot dimentica?
La finestra di contesto è la quantità fissa di testo, contata in token, che un modello linguistico può vedere in una volta: i tuoi messaggi, le sue risposte, i file incollati e le istruzioni nascoste. Quando una conversazione la supera, le parti più vecchie non ci stanno più e il modello non può usarle. Non ricorda le chat precedenti, a meno che un’app non gliele reinserisca.
▶ Prova tu
Perché è importante
Un modello non ha memoria tra un messaggio e l’altro: rilegge ogni volta l’intera conversazione, e solo quanto ne entra nella finestra. Ecco perché nelle chat lunghe si perdono i dettagli iniziali.
In 6 minuti saprai
- La finestra contiene i tuoi messaggi, le risposte del modello, i file incollati e le istruzioni dell’app.
- Quando una chat diventa troppo lunga, le parti più vecchie escono e il modello non può usarle.
- In una chat lunga, ripeti i dettagli chiave o ricomincia con un breve riassunto.
Cosa eserciterai
Cosa c’è nella finestra?
Ogni volta che mandi un messaggio, il modello rilegge la sua finestra da capo. Quali di queste cose occupano spazio?
- I tuoi messaggi in questa chat
- Le risposte di Vireo in questa chat
- Un documento che incolli
- Le istruzioni nascoste dell’app
- Tutti i libri su cui è stato addestrato Vireo
- Una chat che hai fatto con Vireo il mese scorso
Riempi la finestra
Avvia la chat di Giulia e guarda la finestra scorrere. Poi aiuta Vireo a rispondere. I conteggi dei token sono esempi arrotondati e inventati.
Cosa vede Vireo: 600 · La finestra di Vireo contiene 600 token. Premi Avvia la chat e guarda cosa succede quando la conversazione la supera.
- Giulia: Aiutami a organizzare una festa a sorpresa per mia sorella Chiara! È sabato 12 aprile, ed è allergica alle arachidi. (40 tok)
riassunto: Festa: sab 12 aprile. Chiara è allergica alle arachidi. (14 tok) - Vireo: Che bello! Cominciamo con la lista degli invitati e il posto. (30 tok)
riassunto: Chiesto di invitati e posto. (8 tok) - Giulia: invitati.txt: 24 nomi, numeri di telefono e chi porta cosa (520 tok)
riassunto: Invitati: 24 persone. (8 tok) - Vireo: Con 24 invitati andrebbero bene sia una sala comunale sia un grande giardino. (60 tok)
riassunto: Sala o giardino per 24. (9 tok) - Giulia: Scusa, il gatto mi è appena passato sulla tastiera 😹 (20 tok)
riassunto: Gatto sulla tastiera. (5 tok) - Vireo: Ecco un confronto dettagliato tra sala e giardino: prezzo, spazio, meteo, parcheggio… (300 tok)
riassunto: Giulia ha scelto la sala comunale. (8 tok) - Giulia: Per la torta: pan di Spagna al limone con lamponi, la sua preferita! (25 tok)
riassunto: Parlato della torta. (6 tok) - Vireo: Idee per la playlist: 40 canzoni anni ’90, divise per atmosfera… (280 tok)
riassunto: Playlist: canzoni anni ’90. (6 tok) - Giulia: Ora scrivi l’ordine della torta per la pasticceria: data, numero di invitati, gusto e allergie. (30 tok)
✗ Vireo: Ordine torta: un pan di Spagna al limone con lamponi, per circa 10 persone. Data di ritiro: non so. Allergie: nessuna segnalata.
La data, l’allergia e il numero di invitati erano tutti nei primi messaggi, usciti dalla finestra. Vireo non è stato distratto: semplicemente non poteva più vederli.
✓ Vireo: Ordine torta: pan di Spagna al limone con lamponi per 24 persone, ritiro sabato 12 aprile. Rigorosamente senza arachidi, per favore: la festeggiata è allergica.
Ci sta tutto, e ogni dettaglio che serve alla pasticceria è sopravvissuto. È ciò che le app fanno dietro le quinte nelle chat lunghe: tagliano, riassumono e tengono ciò che conta.
- Giulia: Aiutami a organizzare una festa a sorpresa per mia sorella Chiara! È sabato 12 aprile, ed è allergica alle arachidi. (40 tok)
Finestra o addestramento?
Da dove prende Vireo questa informazione: dalla finestra di contesto, dall’addestramento o da nessuno dei due?
- Il tuo nome, che gli hai detto dieci messaggi fa → Finestra di contesto
- Che l’acqua bolle a 100 °C al livello del mare → Addestramento
- Il PDF che hai caricato un minuto fa → Finestra di contesto
- Cosa gli hai chiesto in un’altra chat la settimana scorsa → Nessuno dei due
- Come scrivere un’email gentile → Addestramento
- Le notizie di stamattina, senza ricerca web → Nessuno dei due
Ricorda
Un modello vede solo ciò che entra nella sua finestra di contesto. Le chat lunghe spingono fuori i primi dettagli, quindi ripeti o riassumi ciò che conta.
La finestra di contesto è tutta la memoria a breve termine del modello. Ciò che non ci entra, non lo vede.
Dati chiave
- GPT-3, uno dei primi modelli linguistici molto grandi, poteva leggere una finestra di contesto di 2.048 token alla volta. · Fonte: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- I modelli Llama 3.1 di Meta supportano una finestra di contesto di 128.000 token, abbastanza per un intero libro. · Fonte: Meta, The Llama 3 Herd of Models, 2024
- In un transformer ogni token presta attenzione a tutti gli altri, quindi il lavoro dell’attenzione cresce con il quadrato della lunghezza del testo. È uno dei motivi per cui le finestre sono limitate. · Fonte: Vaswani et al., Attention Is All You Need, Google, 2017
- I ricercatori hanno scoperto che i modelli usano meglio le informazioni all’inizio e alla fine di un contesto lungo che quelle sepolte nel mezzo. · Fonte: Liu et al., Lost in the Middle: How Language Models Use Long Contexts, 2023
Aggiornato:
Domande frequenti
Cos’è la finestra di contesto nell’IA?
È la quantità massima di testo, misurata in token, che un modello linguistico può prendere in una volta. Include i tuoi messaggi, le risposte del modello, i file caricati e le istruzioni nascoste dell’app.
Perché un chatbot dimentica quello che ho detto prima?
Se una conversazione diventa più lunga della finestra di contesto, i messaggi più vecchi non ci stanno più e il modello non può vederli. Aiuta ripetere i dettagli chiave o aprire una nuova chat con un riassunto.
I chatbot di IA ricordano le conversazioni precedenti?
Il modello in sé no: ogni chat parte con una finestra vuota. Alcune app hanno una funzione di memoria che salva appunti e li rimette nella finestra nelle chat successive.
Una finestra di contesto più grande è sempre meglio?
Permette al modello di leggere documenti e chat più lunghi, ma richiede più potenza di calcolo, e i modelli possono comunque trascurare dettagli sepolti nel mezzo di testi molto lunghi.
Termini correlati