A négy bot, ami nem ugyanaz
A legtöbb robots.txt úgy készül, hogy valaki bemásol egy listát az internetről. Ez itt drágán elsül, mert a nagy szolgáltatók több, eltérő célú robotot üzemeltetnek, és ezek nagyon mást csinálnak.
- Tanítóbot. A modelltanításához gyűjt anyagot. Ennek a tiltása nem befolyásolja, hogy megjelensz-e a válaszokban.
- Visszakereső bot. Ez az, amelyik a válasz megírásakor keres forrásokat. Ennek a tiltása kivesz a válaszokból.
- Felhasználó által indított lekérés. Amikor valaki konkrétan a te oldaladat adja meg vagy kéri. Több szolgáltató a saját dokumentációjában jelzi, hogy ez nem feltétlenül tartja be a
robots.txt-t. - Klasszikus keresőbot. A hagyományos index. Ez régóta ismert, és külön kezelendő.
A gyakorlati következmény: a robots.txt-t nem „AI-ra" kell beállítani, hanem botonként. Aki mindent letilt, az a tanítást is és a válaszokban való megjelenést is kizárja — az utóbbi viszont a látogatóit veszi el.
A tiltás, ami kivesz a válaszokból
Ez a poszt legfontosabb mondata, és nem értelmezés, hanem szó szerinti gyártói közlés: az egyik nagy szolgáltató dokumentációjában az áll, hogy a visszakereső botjukból kiiratkozott oldalak nem jelennek meg a keresési válaszaikban.
Ez az a pont, ahol egy rossz robots.txt-sor azonnal és mérhetően fájhat. Érdemes tehát nem elvi alapon dönteni, hanem szétválasztva: a tanítás és a válaszokban való szereplés két külön kérdés, és a legtöbb cégnek a kettőre más a válasza. A tanítást sokan nem szeretnék; a válaszokban való szereplést szinte mindenki.
A JavaScript, amiről nincs friss adat
A leggyakoribb technikai kérdés: futtatnak-e a botok JavaScriptet? A rövid válasz: a klasszikus keresőbot igen, az AI-botok nagy része dokumentáltan nem vagy csak korlátozottan.
A hosszabb válasz kellemetlenebb. Az utolsó komoly, naplóalapú mérés erről több mint másfél éves, és azóta egyik szolgáltató sem nyilatkozott róla érdemben. Vagyis itt nincs friss, megbízható adat — csak a régi mérés és a józan ész. Amit ebből érdemes elvinni: ha a tartalom csak kliensoldali JavaScript után jelenik meg, kockázatot vállalsz. Ez nem száz százalék, hanem valószínűség — de a szerveroldali megjelenítés olcsóbb, mint a bizonytalanság.
A strukturált adat, ami nem segít
Ez sokakat meg fog lepni. Egy 2026-os, összehasonlító módszerrel készült mérés csaknem kétezer oldalon és négyezer illesztett kontrollon vizsgálta, mit hoz a strukturált adat hozzáadása az AI-válaszokban való megjelenéshez.
Az eredmény: az egyik felületnél mínusz 4,6 százalék (statisztikailag szignifikáns), a másik kettőnél nullától megkülönböztethetetlen. Vagyis nem segít — az egyik esetben inkább árt. Ezt egyébként a legnagyobb kereső hivatalos dokumentációja is megerősíti: nincs olyan speciális strukturált adat, amit hozzá kellene adnod.
Ettől még a strukturált adat nem haszontalan: a hagyományos keresőben a gazdagabb találati megjelenítéshez kell, termékeknél az áruházi felületekhez. Csak nem az AI-idézettség miatt csináld.
Az llms.txt, amit senki nem kér le
Az llms.txt az az ötlet, hogy a robots.txt mintájára tegyél ki egy fájlt, ami a nyelvi modelleknek foglalja össze az oldaladat. Elterjedt tanács lett, és sok eszköz generálja.
A valóság: egy több mint százharmincezer domain naplóit vizsgáló elemzés szerint a fájlok 97 százalékához nulla kérés érkezett. Ahol volt forgalom, ott is elenyésző arányban jött AI-visszakereső bottól. Egyetlen nagy szolgáltató sem támogatja hivatalosan. Van benne egy csendes irónia: az egyik szolgáltató a saját fejlesztői dokumentációjához használ ilyen fájlt — a kódoló agenteknek, nem a keresésnek.
Ez nem azt jelenti, hogy tilos. Azt jelenti, hogy öt percnél többet ne szánj rá, és ne várj tőle eredményt.
A fizetős hozzáférés, ami most épül
Egy új réteg kezd kialakulni: a tartalomszolgáltatók pénzt kérhetnek a robotoktól a hozzáférésért. A legismertebb ilyen megoldás 2026 nyarán még zárt béta volt, jelképes egységárral, és a hozzá tartozó szélesebb szolgáltatás várólistás.
Ami viszont már él: ugyanez a szolgáltató 2026 szeptemberétől alapértelmezetten blokkolja az AI-crawlereket az általa kiszolgált oldalak egy részén, ha a tulajdonos nem rendelkezik másképp. Ez fontos: lehet, hogy a te oldaladon is aktív valami ilyesmi anélkül, hogy bekapcsoltad volna. Ha AI-forgalmat szeretnél, ezt ellenőrizd a szolgáltatódnál.
Amit ma érdemes megcsinálni
1. NYISD MEG a robots.txt-edet, és nézd meg botonként.
Külön a tanítóbotot és külön a visszakeresőt.
Ha a visszakereső tiltva van, azt most oldd fel.
2. ELLENŐRIZD, hogy a szolgáltatód (CDN, tárhely, webáruház-motor)
nem blokkol-e magától. 2026 szeptemberétől ez alapértelmezés lehet.
3. NÉZD MEG a saját oldalad JavaScript nélkül.
Kapcsold ki a JS-t a böngészőben. Amit nem látsz, azt a bot sem.
4. NE ÍRJ llms.txt-t azzal a reménnyel, hogy segít.
Ha megcsinálod, öt perc legyen, ne egy projekt.
5. STRUKTURÁLT ADATOT a klasszikus keresőért csinálj,
ne az AI-idézettségért. Arra nem működik.
Tipikus félreértések
- „Az AI-botokat egyben kell kezelni." A tanító és a visszakereső bot tiltása teljesen mást eredményez. Az egyik a tartalmadat védi, a másik a látogatóidat veszi el.
- „A strukturált adat segít az AI-idézettségben." Egy nagy mintás mérésben nem segített, az egyik felületnél rontott — és a kereső hivatalos doksija is ezt írja.
- „Az llms.txt az új robots.txt." A fájlok 97 százalékát senki nem kérte le.
- „Ha nem tiltottam semmit, minden rendben." A tárhelyszolgáltatód vagy a CDN-ed lehet, hogy a te tudtod nélkül blokkol.
Amit érdemes elvinni
A gépi olvashatóságnál a hozzáférés a lényeg, nem a jelölés. Egy rossz sor a robots.txt-ben többet árt, mint amennyit bármelyik strukturált adat segít — és a szolgáltatód alapértelmezései is beleszólhatnak. Nézd meg botonként, nézd meg JavaScript nélkül, és ne áldozz időt olyan fájlokra, amiket senki nem kér le. Hogy a tartalom oldaláról mi számít, arról az idézettség tényezői poszt szól, a hatás méréséről pedig a márka AI-láthatóságának követése poszt.