Landing page szöveg: variánsok gyors tesztelése

A negyvenperces rész

A variánsírás az egyetlen lépés, ami tényleg felgyorsult. De nem úgy, ahogy a legtöbben csinálják.

A rossz kérés: „írj öt változatot erről a landing page-ről". Amit visszakapsz, az öt átfogalmazás. Ugyanaz az ígéret, ugyanaz a szerkezet, más szavakkal. Ha ezt teszteled, semmit nem tanulsz, mert nincs mit megtudni: nem volt hipotézis.

A jó kérés: minden variáns egy külön állítást tesztel. Előbb leírod, mit gondolsz, miért nem vesz a látogató — utána kéred a szöveget, állításonként egyet.

Termék: [egy mondat]
Vevő saját szavai: [3-5 idézet értékelésből, ügyfélszolgálati jegyből, hívásból]
Jelenlegi főcím: [...]
Jelenlegi konverzió: [...]

Öt hipotézis, öt variáns. Minden variánsnál írd fel, MIT állít:
V1 - nem érti, mi ez -> a főcím a funkciót mondja ki, nem az előnyt
V2 - nem hiszi el -> a főcím alá konkrét szám vagy referencia kerül
V3 - fél a kockázattól -> a gomb mellé a visszalépés feltétele
V4 - nem sürgős neki -> a nyitó bekezdés a halasztás árát mondja ki
V5 - nem neki szól -> a főcím megnevezi, kinek való és kinek nem

Szabály: variánsonként EGY dolog változik a kontrollhoz képest.
A vevő szavait használd, ne marketingszókincset.

Ez a negyven perc. A bemenet minősége dönti el az eredményt — ugyanaz a logika, mint a működő tartalmi brief esetében: a modell nem tudja kitalálni, mit tudsz a vevőről.

Ami utána jön, az nem negyven perc

Itt ér véget a gyors rész. A kérdés, hogy melyik variáns jobb, statisztikai kérdés, és van rá pontos képlet. A gyakorlatban használt hüvelykujjszabály ennyi:

n ≈ 16 σ² / δ²      variánsonként

σ² = a mérőszám szórásnégyzete (konverziónál p(1-p))
δ  = az a különbség, amit ki akarsz mutatni

A 16 nem varázsszám: a szokásos 5%-os szignifikanciaszint és 80%-os erő két konstansából jön ki. A lényeg a nevező: δ négyzeten van.

Íme, mit jelent ez kétkaros tesztnél, összlátogatóban (5% szignifikancia, 80% erő, pontos képlettel számolva):

Napi 500 látogatónál a legelső sor alatti eset — 2%-os konverzió, +10%-os hatás — 323 napig futna. Ugyanez +20%-os hatásra 84 nap, +50%-osra 15.

A négyzetes szabály

Ez a poszt egyetlen igazán fontos mondata: fele akkora hatás kimutatásához négyszer annyi látogató kell. A táblázatban 5%-os konverziónál a +20% 16 310 látogató, a +10% 62 462, a +5% pedig 244 242. Nem lineáris, hanem négyzetes.

Ezért nem működik az a gondolat, hogy „majd tovább futtatom". A „tovább" itt nem másfélszer annyi időt jelent, hanem négyszer annyit.

Mekkora hatásra számíthatsz egyáltalán

A legtöbb terv azért bukik el, mert valaki +30%-os javulást vár egy főcímcserétől. A kísérletezés szakirodalma ennél sokkal szerényebb: az ötletek több mint fele egyáltalán nem hoz kimutatható javulást, egyes területeken a kudarcarány 90% fölött van. Ami sikerül, az a kulcsmérőszámokat jellemzően 0,1–1,0%-kal javítja — egy nagy keresőmotor csapatánál nagyjából minden ötszázadik kísérlet éri el a magas megtérülés küszöbét.

Ezt olvasd össze a táblázattal — de vigyázz, két különböző számról van szó. A táblázat relatív emelést mutat: a „+10%" azt jelenti, hogy 2%-ról 2,2%-ra. A 0,1–1,0% viszont a teljes eredményre hígított abszolút javulás. A közös tanulság ugyanaz: a valóságban elérhető hatás kicsi, a kis hatás kimutatásához pedig százezres nagyságrendű forgalom kell — a legtöbb kkv-landing page-nél az A/B-teszt ezért nem a megfelelő eszköz. Ez nem kudarc, csak matematika.

Akkor mit csinálj kis forgalommal

Négy dolog működik, és egyik sem A/B-teszt.

• Tesztelj nagyot, ne szót. Egy 0,3 pp-os különbség kimutathatatlan, egy teljesen más ajánlat vagy más célközönség hatása lehet akkora, ami kevesebb látogatóval is látszik. Ha már tesztelsz, akkor olyat, aminél reális a +30–50%.
• Válts kevésbé ugráló mérőszámra. Minél nagyobb a mérőszám szórása, annál több minta kell — a bevétel/látogató sokkal ugrálóbb, mint a „megnyitotta az árlapot". A közelebbi, gyakoribb esemény mérése kisebb mintával is beszédes, csak vigyázz: attól még nem biztos, hogy vásárlás lesz belőle.
• Kérdezz meg öt embert. Öt moderált végigkattintás egy hétvége alatt megvan, és a szöveg megértési hibáit megbízhatóbban mutatja ki, mint egy alulméretezett teszt.
• Használd a vevő szavait, és ne teszteld le. Ha az értékelésekben harmincan írják ugyanazt a mondatot, az nem hipotézis, hanem adat. Írd be a főcímbe.

A kukucskálás ára

A leggyakoribb hiba nem a rossz variáns, hanem a korai leállítás. Ha naponta nézed a p-értéket, és az első szignifikáns pillanatban győztest hirdetsz, az elsőfajú hiba nem 5% marad.

Egy mérés szerint már 10 000 mintánál is ötszörösére nőhet a téves pozitív találatok aránya — azaz a névleges 5% helyett nagyjából minden negyedik „győztes" valójában semmi. Ez a leggyakoribb ok, amiért egy nyertes variáns élesben nem hozza vissza az eredményt.

Két kiút van. Vagy előre rögzíted a mintanagyságot és a futásidőt, és addig nem nézed meg. Vagy olyan szekvenciális módszert használsz, ami minden ránézésnél kontrollálja a hibát — ezt több tesztelőplatform beépítve kínálja. Amit nem lehet: fix horizontú tesztet folyamatosan figyelni.

Hány variáns fér bele

Minden további variáns két dolgot ront egyszerre.

Egy: nő az esélye, hogy véletlenül találsz győztest. Kontrollal együtt négy karnál — vagyis a kontroll és három variáns esetén — 14,3%, tíz karnál már 37% az esélye, hogy legalább egy téves pozitív jön ki.

Kettő: ha ezt korrigálod — Bonferroni-korrekcióval például —, a szükséges forgalom felugrik. 5%-os konverziónál, +20%-os hatásra: két kar 16 310 látogató, hat kar 72 804. Négy és félszerese.

Az ötvariánsos generálás tehát írási módszer, nem tesztterv. Írj ötöt, válaszd ki a legjobb kettőt, és azt a kettőt teszteld.

Meddig fusson

Legalább egy hétig, ajánlottan kettőig — és mindig egész heteket, hogy a hétvége ne torzítson.

Ennek nemcsak mintanagyság-oka van. Van egy újdonsághatás: ami új, arra a felhasználók az első napokban máshogy reagálnak. Egy dokumentált esetben egy funkció bevezetésekor az első napon a visszajelzések 20%-a szólt róla, többségében negatívan; a második héten már csak 4%, aztán 2% — miközben a mérőszámok végig javultak. Aki az első nap után dönt, azt méri, hogy valami új, nem azt, hogy jó.

Akkor jobb szöveget ír az AI, vagy sem?

Erre van jó mérés, és a válasz kijózanító. Egy amerikai borkereskedő valós hírlevelein három előregisztrált randomizált kísérlet futott, egyenként 27 500 ügyféllel, két-két hétig: emberi copywriter, nyelvi modell, illetve a kettő kombinációja — csak a levélszöveg különbözött.

Mindhárom levelező kar megduplázta a fedezetet a levelet nem kapó kontrollhoz képest. Az emberi és az AI karok között viszont nem sikerült különbséget kimutatni, egyik kísérletben sem. Az AI mégis nyert, csak nem azon, amin várnánk: a modell licencdíja évi ezer dollár körül volt, három copywriter éves költsége 375 000 — éves nettó profitban ezért jöttek ki jobban az AI-karok.

Vagyis az AI nem jobb szöveget ír, hanem ugyanolyan jót, töredék költségen. Ez a helyes elvárás. Ha valaki azt ígéri, hogy a generált szöveg önmagában megemeli a konverziót, kérd el a mérést hozzá.

Hirdetési kreatívnál egyébként más a kép, ott van kimutatott előny — arról a reklámkreatív sorozatgyártása poszt szól részletesen.

Tipikus félreértések

• „Megvan a győztes, 0,5%-kal jobb." Kétszáz látogatónál ez zaj. A táblázat megmondja, mikortól nem az.
• „Majd tovább futtatom, ha nem jön ki." A hatás felezése négyszerezi a szükséges forgalmat. A „tovább" általában hónapokat jelent.
• „Tíz variáns több esélyt ad." Több esélyt ad a téves győztesre: tíznél 37%.
• „A teszt objektív, tehát nem lehet elrontani." A korai leállítás megötszörözheti a téves pozitívok arányát. A teszt csak akkor objektív, ha előre rögzíted a szabályait.
• „Az AI-szöveg jobban konvertál." A legalaposabb mérés szerint ugyanannyira. Az előnye az ár, nem a minőség.

Amit érdemes elvinni

A variánsírás negyven perc, a döntés viszont forgalomkérdés. Számold ki a teszt előtt, hány látogató kell — ha nincs meg, ne teszteld le, hanem dönts a vevő szavai alapján, és tesztelj nagyobb dolgokat. A generálás felgyorsult; a bizonyítás nem.