¿Qué es un token?
El modelo divide el texto en tokens: palabras, trozos de palabra, signos de puntuación. Un texto en inglés tiene aproximadamente tantos tokens como palabras, más un tercio. Las palabras frecuentes reciben un token ; las raras se parten en varios.
¿Por qué no trabaja con palabras? Porque así puede manejar palabras que nunca ha visto. «Sobredimensionado» no está en ningún diccionario que le dieran, pero sus trozos sí.
Y aquí llega la factura de los demás idiomas. Los tokenizadores se construyeron sobre todo con texto en inglés, así que conocen enteras las palabras inglesas y trocean todo lo demás. El mismo contenido en español o alemán consume normalmente alrededor de la mitad más de tokens que en inglés; en húngaro, finés o japonés puede ser dos o tres veces más. No es teoría: procesa un documento largo y pagarás varias veces por el mismo trabajo — y chocarás antes con el límite de longitud.
De ahí sale un truco aprovechable de inmediato: si el idioma de la entrada da igual, dáselo en inglés. La respuesta puedes pedirla en el tuyo.
¿Qué es el context window?
El context window es la mayor cantidad de texto que el modelo puede ver de una vez. No es su memoria — es su campo de visión.
Cuenta todo:
- la instrucción de sistema de la que ni te enteras
- todo el historial de la conversación hasta ahora
- todos los archivos subidos
- y la respuesta que está escribiendo
Hoy los modelos grandes trabajan normalmente con una ventana de alrededor de un millón de tokens. Eso es más o menos una novela gruesa — o unos cientos de páginas de documentación de empresa.
Lo que pasa cuando se llena
No recibes un mensaje de error. Ese es el problema.
La mayoría de las interfaces empiezan a recortar o resumir en silencio el principio de la conversación para que quepa la parte reciente. El modelo sigue respondiendo — solo que ya no recuerda lo que acordasteis hace dos horas. De ahí viene la sensación de que «se ha atontado» al final de una sesión larga.
Hay además un fenómeno más sutil: la precisión se degrada bastante antes de llegar al límite. En un texto muy largo, el modelo usa la información del medio de forma menos fiable que la del principio o la del final. Por eso compensa poner la instrucción importante al final del prompt y no en el medio.
La lógica de la factura
Pagas dos conceptos distintos:
- Tokens de entrada — lo que le das. Más baratos.
- Tokens de salida — lo que escribe. Normalmente de tres a cinco veces más caros.
Esa diferencia tiene dos consecuencias prácticas.
El coste de una conversación larga no es lineal, es cuadrático. Con cada pregunta nueva, toda la conversación anterior vuelve a pasar como entrada. En la vigésima pregunta no has pagado veinte veces lo de la primera, sino bastante más.
«Resume brevemente» ahorra, «desarróllalo» gasta. Si automatizas algo, la longitud de la salida es la partida principal del coste — no lo listo que sea el modelo que elegiste.
Un ejemplo concreto
Tienes un contrato de 40 páginas y diez preguntas sobre él.
Método malo: lo subes y preguntas una detrás de otra en la misma conversación. El contrato entra como entrada en cada pregunta — pagas esas 40 páginas diez veces, y hacia el final de la conversación el modelo ya no recuerda con exactitud lo que se dijo al principio.
Método bueno: preguntas las diez en un solo mensaje, en una lista numerada. El contrato pasa una vez. Si las respuestas abren repreguntas, abre una conversación nueva para eso y dale solo la sección afectada.
El mismo resultado por una fracción del coste — y más preciso, porque el modelo lo ve todo a la vez.
Si trabajas habitualmente con los mismos documentos, hay una solución aún mejor: en vez de entregar todo el material en cada pregunta, buscas antes solo la parte relevante. De eso trata Fine-tuning, RAG o mejor prompt .
Dos malentendidos frecuentes
«Una ventana mayor siempre es mejor.» No. Una ventana grande es un permiso, no una obligación. Si le das ochenta páginas de las que importan tres, las setenta y siete de ruido empeoran la respuesta y engordan la factura. Un buen prompt aporta poco material, bien elegido.
«Mientras no borre la conversación, se acuerda.» Dentro de la conversación sí; entre conversaciones, por defecto no. Varias herramientas tienen una función de memoria aparte, pero tampoco esa cambia el modelo: le pone notas delante al arrancar — y esas también comen del context window.
Qué llevarte
Dos reglas con las que ganas casi todo lo que hay que ganar:
- Empieza una conversación nueva para cada tramo de trabajo en lugar de ir remendando la anterior.
- Dale solo lo que hace falta. El context window no es almacenamiento, es atención — y la atención es escasa.