El modelo produce la continuación más probable, no comprueba valores de verdad. Si no tiene base suficiente, igualmente suelta una frase gramaticalmente impecable y convincente, porque para eso está diseñado. Es la otra cara de la misma capacidad que lo hace útil.
Se puede medir y no está resuelto. En la tarea más fácil —resumir un único documento que se le entrega— los mejores modelos han bajado hasta un 2% de error — pero ese número solo dice algo leído junto con la tasa de respuesta: hay un modelo que deja sin contestar una de cada cinco preguntas. En las tareas más difíciles y realistas van mucho peor: en un estudio que hizo evaluar más de 3.000 respuestas a periodistas profesionales, en 18 países y 14 idiomas, el 45% de las respuestas contenía al menos un error importante.
El error más habitual es creer que solo se refiere a hechos inventados. No: también es alucinación cuando el modelo cita una fuente real que no dice lo que él afirma. Ese caso es más peligroso, porque la referencia se puede pinchar y eso por sí solo le da apariencia de rigor.
El mecanismo y las cinco formas prácticas de reducirlo los explica por qué la IA se inventa cosas, un artículo aparte. Los conceptos directamente relacionados: RAG, guardrail y temperature.