Como os LLMs são feitos / Glossário

Janela de contexto

Janela de contexto é a quantidade máxima de texto, contada em tokens, que um modelo de linguagem consegue receber de uma vez, incluindo suas mensagens, as respostas dele, arquivos colados e instruções ocultas.

Tudo o que o modelo usa para escrever o próximo token precisa caber na janela. Quando uma conversa passa desse limite, as partes mais antigas não cabem mais e o modelo não consegue usá-las. Ele também não lembra de conversas anteriores, a não ser que um app as coloque de volta.

As janelas cresceram rápido: o GPT-3 lia 2.048 tokens de uma vez, e o Llama 3.1 aceita 128 mil, o suficiente para um livro inteiro. Elas ainda têm limite, em parte porque o trabalho da atenção cresce com o quadrado do tamanho do texto.

Uma janela maior nem sempre é bem usada. Pesquisadores viram que os modelos usam melhor a informação do começo e do fim de um contexto longo do que a que está enterrada no meio, então coloque o mais importante onde ele se destaca.