Cómo se crean los LLM / Glosario

Ventana de contexto

La ventana de contexto es la cantidad máxima de texto, contada en tokens, que un modelo de lenguaje puede tener en cuenta a la vez, incluidos tus mensajes, sus respuestas, los archivos que pegas y las instrucciones ocultas.

Todo lo que el modelo usa para escribir su siguiente token tiene que caber en la ventana. Cuando una conversación la supera, las partes más antiguas ya no caben y el modelo no puede usarlas. Tampoco recuerda chats anteriores, salvo que una aplicación se los vuelva a dar.

Las ventanas han crecido rápido: GPT-3 podía leer 2.048 tokens a la vez, y Llama 3.1 admite 128.000, suficiente para un libro entero. Aun así tienen límite, en parte porque el trabajo de la atención crece con el cuadrado de la longitud del texto.

Una ventana más grande no siempre se aprovecha bien. Los investigadores vieron que los modelos usan mejor la información del principio y del final de un contexto largo que la que queda enterrada en medio, así que pon lo más importante donde destaque.