Los cuatro robots que no son lo mismo
La mayoría de los robots.txt se escriben copiando una lista de internet. Aquí eso sale caro, porque los grandes proveedores operan varios robots con fines distintos, y hacen cosas muy diferentes.
- Robot de entrenamiento. Recoge material para entrenar el modelo. Bloquearlo no influye en si apareces en las respuestas.
- Robot de recuperación. Es el que busca fuentes cuando se redacta la respuesta. Bloquearlo te saca de las respuestas.
- Petición iniciada por el usuario. Cuando alguien indica o pide tu página en concreto. Varios proveedores señalan en su propia documentación que esto no respeta necesariamente el
robots.txt. - Robot de búsqueda clásico. El índice de siempre. Se conoce desde hace mucho y hay que tratarlo aparte.
La consecuencia práctica: el robots.txt no se configura «para la IA», sino robot por robot. Quien lo bloquea todo excluye a la vez el entrenamiento y la aparición en las respuestas, y lo segundo le quita visitas.
El bloqueo que te saca de las respuestas
Esta es la frase más importante del post, y no es interpretación sino una declaración literal del fabricante: la documentación de uno de los grandes proveedores dice que las páginas que se dan de baja de su robot de recuperación no aparecen en sus respuestas de búsqueda.
Este es el punto donde una línea equivocada del robots.txt puede doler de inmediato y de forma medible. Conviene, por tanto, no decidir por principios, sino por separado: el entrenamiento y la aparición en las respuestas son dos cuestiones distintas, y en la mayoría de las empresas la respuesta a cada una es diferente. El entrenamiento no lo quieren muchos; aparecer en las respuestas lo quiere casi todo el mundo.
El JavaScript del que no hay datos recientes
La pregunta técnica más habitual: ¿ejecutan JavaScript los robots? La respuesta corta: el robot de búsqueda clásico sí; la mayoría de los robots de IA, según su documentación, no, o solo de forma limitada.
La respuesta larga es más incómoda. La última medición seria basada en registros de servidor tiene más de año y medio, y desde entonces ningún proveedor se ha pronunciado en serio al respecto. Es decir, aquí no hay datos recientes y fiables, solo la medición antigua y el sentido común. Lo que conviene llevarse: si el contenido solo aparece después de ejecutar JavaScript en el cliente, estás asumiendo un riesgo. No es el cien por cien, es una probabilidad, pero renderizar en el servidor sale más barato que la incertidumbre.
Los datos estructurados que no ayudan
Esto va a sorprender a mucha gente. Una medición de 2026 hecha con método comparativo examinó casi dos mil páginas y cuatro mil controles emparejados para ver qué aporta añadir datos estructurados a la aparición en las respuestas de IA.
El resultado: en una de las superficies, menos 4,6 % (estadísticamente significativo), y en las otras dos, indistinguible de cero. Es decir, no ayuda, y en un caso más bien perjudica. Esto lo confirma además la documentación oficial del mayor buscador: no hay ningún dato estructurado especial que debas añadir.
Aun así, los datos estructurados no son inútiles: hacen falta para las presentaciones enriquecidas del buscador tradicional y, en productos, para las superficies de compra. Solo que no los hagas por las citas de la IA.
El llms.txt que nadie pide
El llms.txt es la idea de publicar, a imitación del robots.txt, un archivo que resuma tu web para los modelos de lenguaje. Se convirtió en un consejo extendido y muchas herramientas lo generan.
La realidad: según un análisis de los registros de más de ciento treinta mil dominios, el 97 % de estos archivos no recibió ni una sola petición. Donde hubo tráfico, la parte que venía de robots de recuperación de IA era ínfima. Ningún gran proveedor lo admite oficialmente. Tiene su ironía callada: uno de los proveedores sí usa un archivo así para su propia documentación de desarrollo, para los agentes de programación, no para la búsqueda.
Eso no quiere decir que esté prohibido. Quiere decir que no le dediques más de cinco minutos y que no esperes resultados.
El acceso de pago que se está construyendo
Está empezando a formarse una capa nueva: los proveedores de contenido pueden cobrarles a los robots por el acceso. La solución más conocida de este tipo seguía en beta cerrada en el verano de 2026, con un precio unitario simbólico, y el servicio más amplio asociado va por lista de espera.
Lo que sí está vivo: ese mismo proveedor bloquea por defecto a los rastreadores de IA desde septiembre de 2026 en una parte de las webs que sirve, salvo que el propietario diga otra cosa. Esto importa: puede que en tu web haya algo así activo sin que tú lo hayas encendido. Si quieres tráfico de IA, compruébalo con tu proveedor.
Lo que conviene hacer hoy
1. ABRE tu robots.txt y míralo robot por robot.
El de entrenamiento por un lado y el de recuperación por otro.
Si el de recuperación está bloqueado, desbloquéalo ahora.
2. COMPRUEBA si tu proveedor (CDN, hosting, motor de tienda)
bloquea por su cuenta. Desde septiembre de 2026 puede ser lo normal.
3. MIRA tu propia web sin JavaScript.
Desactiva el JS en el navegador. Lo que no veas, el robot tampoco.
4. NO ESCRIBAS un llms.txt con la esperanza de que ayude.
Si lo haces, que sean cinco minutos, no un proyecto.
5. LOS DATOS ESTRUCTURADOS hazlos por el buscador clásico,
no por las citas de la IA. Para eso no funcionan.
Malentendidos habituales
- «A los robots de IA hay que tratarlos en bloque.» Bloquear el robot de entrenamiento y bloquear el de recuperación dan resultados completamente distintos. Uno protege tu contenido, el otro te quita visitas.
- «Los datos estructurados ayudan a que te cite la IA.» En una medición con muestra grande no ayudaron y en una superficie perjudicaron, y la documentación oficial del buscador dice lo mismo.
- «El llms.txt es el nuevo robots.txt.» El 97 % de esos archivos no se los pidió nadie.
- «Si no he bloqueado nada, todo está bien.» Puede que tu hosting o tu CDN bloqueen sin que tú lo sepas.
Lo que conviene llevarse
En la legibilidad para máquinaslo que cuenta es el acceso, no el marcado. Una línea equivocada en el robots.txt hace más daño del bien que puede hacer cualquier dato estructurado, y los valores por defecto de tu proveedor también tienen algo que decir. Míralo robot por robot, míralo sin JavaScript y no dediques tiempo a archivos que no pide nadie. De lo que cuenta por el lado del contenido habla el post los factores de la citación , con las mediciones, y de cómo medir el efecto, el post medir la visibilidad de tu marca , con los indicadores.