Amire NEM jó
Kezdjük a legfontosabbal, mert ez a leggyakoribb és a legdrágább hiba. Keresési volument ne kérj nyelvi modelltől. Nem azért, mert pontatlan, hanem mert a szám nem méréssel keletkezik: a modell mintázatot követ, és a „havi 2 400 keresés" pont olyan mintázat, ami hitelesen néz ki.
Ez nem elméleti aggály. A modellek belső működéséről szóló kutatások szerint a rendszer sok esetben „tudja", hogy a kérdésre nincs megalapozott válasza — mérhető belső jelzés alapján —, és mégis válaszol. A gondolkodó változatok ebben nem jobbak, hanem egy vizsgálat szerint rosszabbak: ritkábban tartózkodnak a válaszadástól, mint az egyszerűbb modellek. Vagyis épp az a fajta modell találja ki magabiztosabban a számot, amelyiktől a legtöbben a legjobb választ várnák.
De a „valódi" szám sem valódi
Itt jön a másik fele az igazságnak, amit a kulcsszóeszközök marketingje nem hangsúlyoz. A kereséstervező és az elemzőeszközök számai szintén becslések, nem mérések.
Az egyik nagy eszközgyártó saját, nyilvános vizsgálata szerint a becslésük a kulcsszavak nagyjából 60 százalékára ad reális értéket, a keresőmotor saját tervezőeszközéé pedig 45 százalékára. Vagyis még a „hivatalos" szám is minden második kifejezésnél félrevisz. A tanulság nem az, hogy dobd el az eszközöket — hanem hogy a keresési volument nagyságrendként kezeld, ne tizedesjegyre. „Sokan keresik" és „alig keresik" különbsége számít; a 2 400 és a 2 900 különbsége nem.
Ahol viszont tényleg segít
Négy feladat, amiben a nyelvi modell valóban felülmúlja a hagyományos eszközöket.
- Kérdésgenerálás valódi nyelven. „Mit kérdez egy ötfős könyvelőiroda, aki először gondolkodik AI-on?" — ebből húsz olyan kérdés jön, ami egyetlen kulcsszóeszközben sincs benne, mert senki nem gépeli be őket pontosan így.
- A vevő szókincse. A szakmai szó és a laikus szó ritkán ugyanaz. A modell mindkettőt ismeri, és át tud fordítani köztük.
- Klaszterezés. Ötszáz kifejezés témakörökbe rendezése olyan feladat, amit kézzel órákig csinálnál, és a modell percek alatt elfogadható minőségben megcsinál.
- Hiánykeresés. „Milyen kérdés merül még fel ebben a témában, amiről nem írtam?" — erre a modell azért jó, mert a hiányt látja, nem a meglévőt rangsorolja.
A szándékosztályozás, ahol alulmarad
Van egy feladat, ahol a mérés meglepő eredményt hozott. A keresési szándék osztályozása — hogy valaki tájékozódni, vásárolni vagy navigálni akar — klasszikus gépi tanulási feladat, és sok AI-eszköz hirdeti, hogy nyelvi modellel jobban megy.
Egy lektorált, szabványos adathalmazon végzett vizsgálat szerint nem megy jobban. Egy hagyományos, felügyelt tanítású alapmodell 0,74 körüli pontszámot ért el; a nagy nyelvi modell legjobb beállítása 0,69-et, a kisebb változat 0,58-at. Vagyis a régi, olcsó módszer legyőzte a drágát. Ez jó emlékeztető arra, hogy nem minden feladat lett jobb attól, hogy nyelvi modellt tettünk rá.
A recept
1. KEZDD A VEVŐVEL, ne a kulcsszóval.
Írd le egy mondatban, kinek és milyen helyzetben szól a tartalom.
2. KÉRJ 30 KÉRDÉST, ahogy ő kimondaná.
"Ne kulcsszavakat: teljes kérdéseket, ahogy egy ügyfél
beírná vagy kimondaná, magyarul, szakszó nélkül."
3. VIDD ÁT ŐKET EGY VALÓDI ESZKÖZBE, és ott nézd meg a volument.
A modelltől SOHA ne kérj számot. A nagyságrend a lényeg.
4. KLASZTEREZTESD a maradékot témakörökbe, és nevezd el a klasztereket.
Ez lesz a tartalmi terved váza.
5. A SZÁNDÉKOT te döntsd el, klaszterenként.
Egy mondat: "aki ezt keresi, mit akar csinálni öt percen belül?"
Tipikus félreértések
- „A modell ismeri a keresési adatokat." Nem fér hozzá hozzájuk. A számot mintázat alapján állítja elő.
- „A gondolkodó modell óvatosabb." Egy mérés szerint pont fordítva: ritkábban mondja azt, hogy nem tudja.
- „A kulcsszóeszköz száma pontos." Az is becslés, és a kifejezések felénél félrevisz. Nagyságrendként használd.
- „Nyelvi modellel minden NLP-feladat jobb lett." A szándékosztályozásban egy olcsó, régi módszer legyőzte.
Amit érdemes elvinni
A nyelvi modell a kulcsszókutatásban kérdéseket gyárt és rendszerez, nem adatot szolgáltat. A számot mindig eszközből vedd — és azt is nagyságrendként. A legnagyobb nyereség nem a listában van, hanem abban, hogy a modell segít a vevő szavaival gondolkodni. A következő lépés az, hogy ebből publikálható anyag legyen: erről a működő tartalmi brief poszt szól. Ha pedig a cél az AI-válaszokban való megjelenés, a kérdéslista ott is a kiindulás — az idézettség tényezői poszt írja le, mi számít.