La context window, medida en tokens, indica cuánto cabe en una sola petición. Lo que no cabe, el modelo no lo «olvida»: es que ni siquiera lo ve. Eso explica que las conversaciones largas se atonten: las partes más antiguas se caen y el modelo responde como si nunca se hubieran dicho.
Tiene dos consecuencias prácticas. Una es la factura: también pagas los tokens de entrada, así que cada documento adjunto de más cuesta dinero. La otra es el idioma — los tokenizadores se construyeron sobre todo con inglés, así que el mismo documento en español ocupa más sitio y cuesta más.
El error más frecuente es dar por hecho que el tamaño anunciado es el tamaño utilizable. En una medición con doce modelos, en la que la pregunta y la frase buscada no compartían palabras literales, con 32 mil tokens diez de los doce cayeron por debajo de LA MITAD de su propio resultado con contexto corto — en un caso, del 99,3 % al 69,7 %.
Cómo encajan los tokens y la ventana, y qué supone todo eso en tu factura, lo explica Token y context window: por qué la longitud cuesta dinero con ejemplos. Los conceptos directamente relacionados: token, context engineering y RAG.