Lo que ocurre en realidad
El modelo no sabe la respuesta: predice qué es lo más probable que venga después. Si tiene suficientes apoyos, la continuación más probable resulta ser cierta. Si no los tiene, pone igualmente la continuación más probable — porque no dispone de otro modo de funcionamiento.
Así que la alucinación no es que el sistema se haya estropeado. Es el sistema haciendo exactamente aquello para lo que se diseñó, en una situación donde eso da un mal resultado. Cómo adivina la máquina la siguiente palabra explica el mecanismo con más detalle.
Por eso no se puede desactivar. La misma capacidad que le permite resolver problemas para los que nadie la entrenó es responsable de que se invente con aplomo una norma que no existe. Las dos cosas no se pueden separar.
¿Por qué suena tan segura?
Porque la seguridad forma parte de la forma del texto, no del conocimiento que hay detrás. El modelo aprendió qué aspecto tiene una respuesta solvente — y una respuesta solvente no empieza con «me suena vagamente que». El tono viene de los textos con los que aprendió, no de lo seguro que esté.
Hay una consecuencia más incómoda: la incertidumbre interna del modelo no se nota en el texto. Una frase exacta y una inventada suenan igual de firmes. A simple vista no las distingues — por eso «ya me daré cuenta si dice una tontería» no es una estrategia.
¿Cuándo es más probable?
No llega al azar. Hay cinco situaciones que disparan las probabilidades:
- Números, fechas, nombres y referencias concretos. Es la categoría más peligrosa: justo el tipo de dato que no solemos comprobar, precisamente porque suena tan concreto.
- Áreas rara o muy especializadas. Donde había poco material de entrenamiento hay menos apoyos y una proporción mayor de conjetura.
- Sucesos recientes. Los datos de entrenamiento del modelo terminan en una fecha. A partir de ahí solo sabe algo si busca, o si se lo das tú.
- Cuando tú mismo sugieres la respuesta. «Es verdad que la empresa se fundó en 2019, ¿no?» — el modelo tiende a darte la razón. La forma de la pregunta condiciona la respuesta.
- Hacia el final de una conversación larga. Cuando el principio ya se ha salido del context window, el modelo se apoya en sus propias afirmaciones anteriores sin poder verlas ya con precisión.
Cinco cosas que sí la reducen
No son trucos, son métodos de trabajo.
1. Dale el material. La diferencia entre «qué dice el contrato sobre el plazo de preaviso» y «aquí tienes el contrato, qué dice sobre el plazo de preaviso» es enorme. En el primer caso trabaja de memoria; en el segundo, lee.
2. Pídele una referencia al material que le diste. No una cita genérica — esas también se las inventa —, sino en qué párrafo se apoya. Si no puede señalar uno, eso ya es una respuesta.
3. Permítele no saber. Escríbelo en la instrucción: «si el material no contiene la respuesta, di que no aparece». Sin eso, el modelo no tiene una salida aceptable para el desconocimiento, y prefiere conjeturar.
4. Repregunta en otra conversación. Si preguntas «¿estás seguro?» en el mismo hilo, el modelo está mirando su propia afirmación anterior y tiende a defenderla. En una conversación nueva, con el material original, es mucho más sincero.
5. Comprueba lo que importa. No todo — los números, los nombres, las fechas, las normas y las referencias. Esa lista es corta, y es justo la parte de riesgo.
Lo que no sirve
Decirle «no alucines». El modelo no sabe cuándo lo hace. Si lo supiera, no lo haría.
Pedirle que «sea muy preciso». Como mucho cambia el tono, no los hechos.
Preguntarle si está seguro. Estás ejecutando el mismo mecanismo otra vez. «Estoy completamente seguro» vale exactamente lo mismo que la afirmación original.
Un ejemplo que se queda grabado
Pregúntale a un modelo en qué página de un manual conocido de tu campo aparece un concepto concreto. Muchas veces recibirás un número de página. Un número redondo y verosímil.
Ahora hazle la misma pregunta después de darle el índice del libro. La respuesta será exacta, o será que en el índice no se ve.
El mismo modelo, la misma pregunta, dos niveles de fiabilidad completamente distintos. La diferencia no está en el modelo, sino en si le diste algo en lo que apoyarse.
Qué llevarte
La alucinación no es una enfermedad del sistema, es una característica de funcionamiento. No la curas — diseñas tu trabajo a su alrededor: das material, pides referencias, dejas que diga que no, y compruebas ese puñado de cosas que de verdad importan.