SEO testování má zjistit, zda konkrétní změna pomohla webu, ne jen zaznamenat, že po ní vyrostla návštěvnost. Potřebujete předem popsanou hypotézu, vhodná data a srovnání s tím, co by se pravděpodobně dělo bez zásahu. Růst po úpravě může způsobit i sezóna, změna poptávky nebo zásah konkurence. Čím slabší srovnání máte, tím opatrnější musí být závěr o příčině.
Technická kontrola, pozorování a experiment nejsou totéž
Nejprve rozlište, co slovem test myslíte. Kontrola přesměrování, indexovatelnosti nebo vykreslení ověřuje, že web funguje podle zadání. Je důležitá, ale sama nezměří přínos pro návštěvnost. Porovnání prokliků před úpravou a po ní už sleduje vývoj výkonu; bez další opory ale neumí oddělit zásah od ostatních vlivů.
SEO split test porovnává skupinu změněných stránek s vhodnou skupinou bez zásahu ve stejném čase. Na rozdíl od běžného konverzního A/B testu typicky rozdělujete stránky, nikoli návštěvníky jedné URL. Potřebujete tedy více srovnatelných stránek a dostatek dat. Jinou možností je modelovat očekávaný vývoj bez zásahu, takzvaný kontrafaktuální vývoj. Ani kvalitní model však neodstraní špatné vstupy a nesplněné předpoklady.
Metodu volte podle rozhodnutí, které řešíte. U změny šablony kategorií můžete mít prostor pro test na části webu. U jediné hlavní služby spíš dostanete pozorování před a po, doplněné kontrolou souvisejících dat. V reportu to tak také pojmenujte. Silnější slovník z omezených dat silnější důkaz neudělá.
Hypotéza musí vést k rozhodnutí
„Vylepšíme obsah a uvidíme“ není dostatečné zadání. Napište, co změníte, na jakých stránkách, proč by to mělo ovlivnit chování ve vyhledávání a kterou metriku použijete. Vyberte jednu hlavní metriku a několik ochranných ukazatelů, které odhalí nežádoucí dopad. Růst prokliků například nemusí být přínosem, pokud přivádí nerelevantní návštěvy a zhoršuje kvalitu poptávek.
Modelová hypotéza může znít: „Na vybraných kategoriích zpřesníme titulky podle skutečného sortimentu. Očekáváme více relevantních organických prokliků; nebudeme současně měnit texty, ceny ani navigaci.“ Pokud upravíte více věcí najednou, můžete hodnotit celý balík, ne připsat výsledek jediné jeho části. Důvod zásahu má vycházet z dat a kontroly stránek, nikoli jen z toho, že obdobnou změnu doporučil cizí test.
Předem si určete i nejmenší přínos, kvůli kterému by stálo za to změnu rozšířit. Ten vychází z nákladů a obchodního významu stránek, ne z univerzálního procenta. Náměty lze hledat například pomocí SEO GAP analýzy, ale nalezená souvislost je teprve důvodem k hypotéze, nikoli jejím potvrzením.
Kontrolní skupina musí být věrohodná i po zásahu
Porovnávat produktové kategorie s blogem obvykle nepomůže: liší se jejich účel, poptávka i sezónnost. Hledejte podobné typy stránek a zkoumejte jejich vývoj před testem. Shodný počet URL ani podobný součet prokliků nestačí, pokud se skupiny v čase chovají úplně jinak. Je-li to proveditelné, rozdělte vhodné stránky náhodně, případně nejdřív vytvořte srovnatelné skupiny podle důležitých vlastností a randomizujte uvnitř nich.
Hlídejte, zda zásah neovlivní i kontrolu. Změna globální navigace zasáhne celý web. Přesun vnitřních odkazů může pomoci testovaným stránkám na úkor jiných. Dvě URL soutěžící o stejné dotazy si také nemusejí vést nezávisle. Pak nelze bez dalšího předpokládat, že kontrolní skupina reprezentuje nedotčený svět. Někdy je vhodnější přiřazovat celé skupiny souvisejících stránek, ale tím se změní i počet skutečně nezávislých jednotek a požadavky na analýzu.
Uložte přesný seznam URL a přiřazení ke skupinám před nasazením. Když následně vyřadíte nepovedené stránky nebo doplníte vítěze, můžete si výsledek nepozorovaně vybrat. Výjimky musí mít předem daná pravidla, například prokazatelnou nedostupnost, a v závěru musí být uvedené.
Ověřte nasazení a sbírejte stejná data
Zaznamenejte čas nasazení i důkaz, že se změna na správných URL skutečně projevila. U SEO navíc existuje prodleva mezi změnou na serveru, návštěvou robota a jejím zpracováním vyhledávačem. Živý test URL v Search Console může ověřit aktuálně dostupnou stránku, není však sám o sobě důkazem, že Google už nahradil její indexovanou podobu. Předem určete, jak s touto prodlevou a přechodným obdobím naložíte; neposouvejte začátek dodatečně podle nejhezčího grafu.
Pro výkon v Googlu lze použít report výkonu Search Console. U obou skupin držte stejný typ hledání, zemi, zařízení, období a způsob agregace. CTR počítejte z celkových prokliků a zobrazení daného výběru, ne jako prostý průměr procent za jednotlivé stránky. Pozice a CTR používejte také k vysvětlení změny, ale nevybírejte zpětně vítěznou metriku místo původně domluvené.
Nejnovější data mohou být předběžná. Google také rozlišuje agregaci za službu a za stránku, takže součty z různých pohledů nemusí být totožné. Protokol má uchovat původní export, filtry a seznam chybějících hodnot. Data z analytiky na webu používejte pro navazující chování a obchodní akce, nikoli jako zaměnitelnou kopii prokliků v Search Console.
Délku testu neurčuje univerzální počet týdnů
Potřebná délka závisí na běžném kolísání dat, počtu vhodných stránek, prodlevě zpracování a velikosti efektu, který chcete rozlišit. Týdenní rytmus návštěvnosti vyžaduje jiný přístup než silná roční sezóna. Malý web nemusí mít dost informací pro spolehlivé zachycení malé změny ani po dlouhém čekání. Delší test zároveň zvyšuje riziko dalších zásahů a změn prostředí.
Před zahájením stanovte plánovanou délku, pravidlo vyhodnocení a bezpečnostní důvody pro předčasné zastavení. Oprávněným důvodem je například nefunkční objednávka nebo výrazná technická závada. Ukončit test v první den, kdy vyjde příznivá významnost, je jiná věc: u běžného testu s pevně daným koncem tím zkreslujete vyhodnocení. Průběžné statistické rozhodování vyžaduje metodu, která s opakovaným sledováním počítá.
Vedle testu veďte deník nasazení, kampaní, výpadků, změn sortimentu a známých aktualizací vyhledávání. Kontrolní skupina může zachytit část společného vývoje, ale nezaručí odstranění každého vlivu. Aktualizace algoritmu nebo sezónní změna mohou na různé skupiny dopadnout rozdílně.
Modelový protokol pro změnu titulků kategorií
Fiktivní e-shop chce ověřit, zda přesnější titulky kategorií pomohou získat relevantní prokliky. Následující karta ukazuje, co vyplnit před nasazením. Nejde o uskutečněný experiment; počet stránek, délku a statistickou citlivost by bylo nutné doplnit podle skutečných historických dat.
- Zásah a rozsah: pouze titulky srovnatelných kategorií, bez současné změny cen, navigace a hlavního obsahu. Přesný seznam URL a nové znění uloží analytik do přílohy před rozdělením.
- Přiřazení: po kontrole podobnosti předchozího vývoje náhodně rozdělit vhodné kategorie mezi zásah a kontrolu; prověřit související stránky a možné přelévání dopadu. Pokud vhodnou kontrolu nelze sestavit, označit výsledek jako pozorování.
- Data: primárně prokliky v GSC pro dané URL, český trh, mobilní zařízení a webové vyhledávání. CTR, pozice a zobrazení slouží k vysvětlení; relevantní poptávky a chyby objednávky jako ochranné ukazatele, jen pokud je lze správně měřit.
- Start a délka: technik potvrdí nasazení; analytik před spuštěním stanoví práci s prodlevou zpracování, přechodné období a pevný konec podle variability a potřebné citlivosti. Bez těchto doplnění karta není připravena ke spuštění.
- Analýza a obchodní práh: analytik předem zapíše metodu vhodnou pro skupiny a časovou řadu, způsob vyjádření nejistoty a pravidla chybějících dat. Vlastník e-shopu doplní nejmenší přínos, který pokryje náklady plošné změny. Tato ukázka si jeho hodnotu nevymýšlí.
- Bezpečnost a rozhodnutí: technik zastaví zásah při rozbití objednávky nebo indexovatelnosti důležitých stránek. Příznivý průběžný graf není stop pravidlo. Analytik uloží i neprůkazný výsledek a vlastník rozhodne o rozšíření, návratu nebo novém zadání.
Modelový výpočet: růst po změně ještě není její přínos
Následující čísla jsou smyšlená didaktická ukázka, nikoli výsledek testu na tomto blogu nebo u klienta. Ve dvou stejně dlouhých obdobích měla testovaná skupina nejprve 1 000 a poté 1 200 organických prokliků. Kontrolní skupina vzrostla z 1 000 na 1 100. Prosté srovnání před a po by u testované skupiny ukázalo růst o 20 %. Kontrola ale ve stejnou dobu rostla o 10 %.
Pro hrubou orientaci lze použít poměr relativních změn: (1 200 / 1 000) / (1 100 / 1 000) − 1. Vyjde přibližně 9,1 %. Kdybychom čistě modelově předpokládali stejný relativní růst jako u kontroly, očekávali bychom 1 100 prokliků místo skutečných 1 200, tedy rozdíl 100 prokliků. Rozdíl mezi samotnými tempy růstu je 10 procentních bodů; není to totéž co relativní rozdíl 9,1 %.
Tento výpočet nemá interval nejistoty, neřeší rozdíly mezi stránkami ani závislost dnů v čase. Neukazuje statistickou významnost a sám neprokazuje příčinu. Slouží k tomu, aby report nepřipsal celých 20 % zásahu, když podobným směrem šla i kontrola. Pro skutečné vyhodnocení potřebujete vhodnou analýzu podrobnějších dat a obhájit, proč je srovnání věrohodné.
Co říká statistická významnost a co ne
P-hodnota vyjadřuje, jak neobvyklá by byla data alespoň tak extrémní jako pozorovaná při platnosti nulové hypotézy a předpokladů použitého modelu. Není to pravděpodobnost, že změna nefunguje, ani pravděpodobnost, že výsledek vznikl „jen náhodou“. P-hodnota pod 0,05 také neznamená 95% pravděpodobnost, že jste způsobili růst. Na tato omezení upozorňuje Americká statistická asociace.
Statistická významnost nenahradí design testu. I nízká p-hodnota může doprovázet špatně sestavené srovnání. Nelze automaticky použít obyčejný t-test na denní prokliky a ignorovat, že sousední dny spolu souvisejí, že mají různý týdenní rytmus nebo že stránky sdílejí stejné téma. Metoda musí odpovídat jednotce přiřazení a struktuře dat; jinak může být zdánlivá přesnost zavádějící.
Výsledek proto reportujte jako odhad velikosti efektu s nejistotou a předpoklady, ne jen zelenou značku „vítěz“. U intervalů uvádějte, z jaké metody pocházejí: častostní interval spolehlivosti a bayesovský věrohodnostní interval nejsou totožné interpretace. Z nevýznamného výsledku zase neplyne důkaz nulového dopadu. Test mohl být příliš slabý, aby užitečný efekt rozlišil. A malý, statisticky průkazný rozdíl nemusí ospravedlnit náklady plošného nasazení.
Při testování mnoha variant nebo vybírání z mnoha metrik navíc roste prostor pro falešně příznivé nálezy. Primární metriku a analýzu stanovte dopředu; další pohledy označte jako průzkumné a podle potřeby použijte odpovídající korekci nebo nový potvrzovací test.
Kdy pomůže model očekávaného vývoje
Nástroj jako CausalImpact umí na základě časové řady a kontrolních řad odhadovat, co by se po zásahu mohlo dít bez něj. Jeho dokumentace ale výslovně požaduje, aby kontrolní řady nebyly zásahem ovlivněny a aby vztah naučený před zásahem zůstal dostatečně stabilní i potom. To jsou věcné předpoklady, které za vás výpočet nepotvrdí.
Než budete modelu věřit, ověřte jeho chování na dřívějším úseku bez skutečného zásahu, například pomocí falešně vloženého data změny. Zkontrolujte předpověď, stabilitu vztahů a citlivost na volbu kontrol. Jde o odhad za daných podmínek, nikoli automatický certifikát kauzality. Tento článek žádnou takovou analýzu nespouští; popisuje požadavky pro její odpovědné použití.
Test uzavřete rozhodnutím, ne jen grafem
Vraťte se k obchodnímu minimu, riziku a nákladům. Přesvědčivý přínos bez poškození důležitých ochranných ukazatelů může odůvodnit postupné rozšíření. Negativní dopad může vést k návratu změny. Neprůkazný výsledek znamená, že test neposkytl dost opory pro původní rozhodnutí; není nutné ho přejmenovat na úspěch ani opakovat bez nové úvahy.
Protokol uložte i tehdy, když výsledek nevypadá dobře. Má obsahovat hypotézu a důvod, přesné URL a přiřazení, jednu popsanou změnu nebo přiznaný balík, datum nasazení a pravidlo začátku měření, datový zdroj a filtry, předem zvolenou analýzu, stop pravidla, souběžné události a závěrečné rozhodnutí s omezeními. Modelový protokol v tomto článku je pomůcka, nikoli záznam skutečně provedeného experimentu.
U malého webu nemusí být split test proveditelný. Pak opravte zjevné chyby, přesně zdokumentujte zásah a další vývoj označte jako pozorování. Nefunkční formulář nebo nechtěný zákaz indexování důležité stránky není potřeba ponechávat rozbitý jen kvůli kontrolní skupině. Pokud současně provádíte konverzní A/B test s alternativními URL, respektujte pokyny Googlu k bezpečnému testování; nejde o návod ke statistickému vyhodnocení SEO split testu.
Chcete ověřit změnu, ne jen sledovat růst grafu?
Pro další krok si připravte jednu konkrétní hypotézu, dostupné exporty a přehled změn na webu. Na konzultaci lze rozhodnout, zda máte podmínky pro experiment, nebo pro poctivě popsané pozorování. V obou případech je lepší znát hranice důkazu než přisoudit zásahu výsledek, který data neunesou.









