La diferencia está entre una buena respuesta y una respuesta con la que puedes seguir trabajando. Si la salida la lee una persona, el texto libre es perfecto. Si la maneja cualquier otra cosa —una hoja de cálculo, una base de datos, un script, otro agent—, hace falta una forma previsible, o cada dos ejecuciones el dato aparecerá en otro sitio.
Tiene tres niveles. El primero es pedir el formato con palabras («tres columnas: fecha, importe, socio»). El segundo es darle un esquema al que ajustarse. El tercero es que el proveedor garantice una salida válida según el esquema. La mayoría se queda en el primero, aunque el segundo está perfectamente a su alcance — y ese ya es un orden de magnitud más fiable.
El error más frecuente es creer que la salida estructurada hace también más exacto el contenido. No lo hace: garantiza la forma, no la corrección del dato. Un JSON impecable puede llevar dentro un importe equivocado.
Los tres niveles y el trabajo práctico de escribir un esquema los cuenta Structured output: pedir una tabla, JSON o una lista, un artículo aparte. Los conceptos directamente relacionados: prompt, tool use y function calling.