¿Qué es la ventana de contexto y por qué olvida cosas un chatbot?
La ventana de contexto es la cantidad fija de texto, contada en tokens, que un modelo de lenguaje puede ver a la vez: tus mensajes, sus respuestas, los archivos que pegas y las instrucciones ocultas. Cuando una conversación la supera, las partes más antiguas ya no caben y el modelo no puede usarlas. No recuerda chats anteriores salvo que una app se los vuelva a pasar.
▶ Pruébalo
Por qué importa
Un modelo no tiene memoria entre mensajes: relee toda la conversación cada vez, y solo lo que cabe en su ventana. Por eso los chats largos pierden los detalles del principio.
En 6 minutos sabrás
- La ventana contiene tus mensajes, las respuestas del modelo, los archivos pegados y las instrucciones de la app.
- Cuando un chat se alarga demasiado, lo más antiguo se sale y el modelo no puede usarlo.
- En un chat largo, repite los datos clave o empieza de nuevo con un resumen breve.
Lo que vas a practicar
¿Qué hay en la ventana?
Cada vez que envías un mensaje, el modelo lee su ventana desde cero. ¿Cuáles de estas cosas ocupan sitio en ella?
- Tus mensajes en este chat
- Las propias respuestas de Vireo en este chat
- Un documento que pegas
- Instrucciones ocultas de la app
- Todos los libros con los que se entrenó Vireo
- Un chat que tuviste con Vireo el mes pasado
Llena la ventana
Reproduce el chat de Laura y mira cómo se desliza la ventana. Luego ayuda a Vireo a responder. Los recuentos de tokens son ejemplos redondeados e inventados.
Lo que Vireo ve: 600 · La ventana de Vireo admite 600 tokens. Pulsa Reproducir el chat y mira qué pasa cuando la conversación se le queda grande.
- Laura: ¡Ayúdame a organizar una fiesta sorpresa para mi hermana Marta! Es el sábado 12 de abril y es alérgica a los cacahuetes. (40 tok)
resumen: Fiesta: sáb. 12 de abril. Marta es alérgica a los cacahuetes. (14 tok) - Vireo: ¡Qué divertido! Empecemos por la lista de invitados y el sitio. (30 tok)
resumen: Preguntó por invitados y sitio. (8 tok) - Laura: invitados.txt: 24 nombres, teléfonos y quién trae qué (520 tok)
resumen: Invitados: 24 personas. (8 tok) - Vireo: Para 24 invitados, os vendría bien un local social o un jardín grande. (60 tok)
resumen: Local o jardín para 24. (9 tok) - Laura: Perdona, mi gato acaba de pasearse por el teclado 😹 (20 tok)
resumen: Gato en el teclado. (5 tok) - Vireo: Aquí tienes una comparación detallada del local y el jardín: precio, espacio, tiempo, aparcamiento… (300 tok)
resumen: Laura eligió el local social. (8 tok) - Laura: Para la tarta: bizcocho de limón con frambuesa, ¡su favorita! (25 tok)
resumen: Hablaron de la tarta. (6 tok) - Vireo: Ideas para la lista de música: 40 canciones de los 90, ordenadas por ambiente… (280 tok)
resumen: Música: canciones de los 90. (6 tok) - Laura: Ahora escribe el pedido de la tarta para la pastelería: fecha, número de invitados, sabor y alergias. (30 tok)
✗ Vireo: Pedido: un bizcocho de limón con frambuesa, para unas 10 personas. Fecha de recogida: no estoy seguro. Alergias: no se mencionan.
La fecha, la alergia y el número de invitados estaban en mensajes del principio que se salieron de la ventana. Vireo no fue descuidado: simplemente ya no podía verlos.
✓ Vireo: Pedido: bizcocho de limón con frambuesa para 24 personas, para recoger el sábado 12 de abril. Totalmente sin cacahuete, por favor: la homenajeada es alérgica.
Todo cabe, y ha sobrevivido cada detalle que necesita la pastelería. Eso es lo que hacen las apps entre bastidores en los chats largos: recortar, resumir y conservar lo que importa.
- Laura: ¡Ayúdame a organizar una fiesta sorpresa para mi hermana Marta! Es el sábado 12 de abril y es alérgica a los cacahuetes. (40 tok)
¿Ventana o entrenamiento?
¿De dónde saca Vireo esto: de su ventana de contexto, de su entrenamiento o de ninguno?
- Tu nombre, que le dijiste hace diez mensajes → Ventana de contexto
- Que el agua hierve a 100 °C al nivel del mar → Entrenamiento
- El PDF que subiste hace un minuto → Ventana de contexto
- Lo que le preguntaste en otro chat la semana pasada → Ninguno
- Cómo escribir un correo educado → Entrenamiento
- Las noticias de esta mañana, sin búsqueda web → Ninguno
Recuerda
Un modelo solo ve lo que cabe en su ventana de contexto. Los chats largos sacan los detalles del principio, así que repite o resume lo importante.
La ventana de contexto es toda la memoria a corto plazo del modelo. Lo que no cabe, no lo ve.
Datos clave
- GPT-3, uno de los primeros modelos de lenguaje muy grandes, podía leer una ventana de contexto de 2048 tokens a la vez. · Fuente: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- Los modelos Llama 3.1 de Meta admiten una ventana de contexto de 128 000 tokens, suficiente para un libro entero. · Fuente: Meta, The Llama 3 Herd of Models, 2024
- En un transformer, cada token presta atención a todos los demás, así que el trabajo de la atención crece con el cuadrado de la longitud del texto. Es una de las razones por las que las ventanas tienen límite. · Fuente: Vaswani et al., Attention Is All You Need, Google, 2017
- Unos investigadores vieron que los modelos aprovechan mejor la información del principio y del final de un contexto largo que la que queda enterrada en medio. · Fuente: Liu et al., Lost in the Middle: How Language Models Use Long Contexts, 2023
Actualizado:
Preguntas frecuentes
¿Qué es la ventana de contexto en IA?
Es la cantidad máxima de texto, medida en tokens, que un modelo de lenguaje puede procesar a la vez. Incluye tus mensajes, las respuestas del modelo, los archivos subidos y las instrucciones ocultas de la app.
¿Por qué un chatbot olvida lo que le dije antes?
Si una conversación se hace más larga que la ventana de contexto, los mensajes más antiguos ya no caben y el modelo no puede verlos. Ayuda repetir los datos clave o empezar un chat nuevo con un resumen.
¿Recuerdan los chatbots de IA las conversaciones anteriores?
El modelo en sí no: cada chat empieza con la ventana vacía. Algunas apps tienen una función de memoria que guarda notas y las vuelve a meter en la ventana en chats posteriores.
¿Una ventana de contexto más grande siempre es mejor?
Permite al modelo leer documentos y chats más largos, pero cuesta más capacidad de cálculo, y los modelos aún pueden pasar por alto detalles enterrados en medio de textos muy largos.
Términos relacionados