A/B testovanie reklám: ako testovať, aby výsledok niečo znamenal

V skratke

A/B test je najlacnejší spôsob, ako zlepšovať výkon bez zvyšovania rozpočtu — ale iba vtedy, keď mu môžete veriť. Dôveryhodný test má štyri znaky: obe verzie bežia súčasne na náhodne rozdelenej premávke, mení sa jedna vec, metrika aj dĺžka sú určené dopredu a výsledok sa posudzuje podľa štatistickej významnosti, nie podľa toho, ktoré číslo je vyššie. V Google Ads na to slúžia experimenty (kópia kampane s podielom premávky) a variácie reklám pre texty. Testujte veci s veľkým dopadom — ponuku, vstupnú stránku, uhol nadpisov — nie interpunkciu. A nechajte test dobehnúť celé týždne, inak vyhodnocujete šum.

„Skúsili sme dve reklamy a tá druhá bola lepšia, tak sme prvú vypli." Túto vetu počujem pri preberaní účtov pravidelne — a väčšinou za ňou nie je test, ale náhoda. A/B testovanie (porovnanie dvoch verzií tej istej veci na dvoch porovnateľných skupinách ľudí) je pritom najlacnejší spôsob, ako v PPC zlepšovať výsledky bez toho, aby ste pridali čo i len euro do rozpočtu. Má však jednu podmienku: výsledku sa musí dať veriť. Zle postavený test je horší než žiadny — lebo po ňom urobíte rozhodnutie, o ktorom si navyše myslíte, že je podložené dátami. V tomto článku si prejdeme, čo sa oplatí testovať, akými nástrojmi, ako dlho a hlavne ako výsledok vyhodnotiť, aby naozaj niečo znamenal.

Prečo väčšina „testov“ v Google Ads nič nedokáže

Typický scenár vyzerá takto: do reklamnej zostavy pridáte druhú reklamu, po týždni sa pozriete na čísla, jedna má vyššiu mieru prekliku než druhá, tú horšiu vypnete a idete ďalej. Znie to rozumne. Problém je, že takýto postup má hneď niekoľko trhlín naraz:

  • Rozdiel môže byť obyčajný šum. Pri malých počtoch klikov a konverzií čísla kolíšu samy od seba, aj keď sú obe verzie rovnako dobré. Je to ako hodiť mincou desaťkrát: keď padne sedem hláv, minca tým ešte nie je falošná.
  • Verzie nedostali rovnaké podmienky. Google reklamy v zostave nestrieda rovnomerne — systém sám uprednostňuje tú, ktorej dáva väčšiu šancu. Reklama, ktorá dostane viac zobrazení v lepších časoch a na lepších pozíciách, má náskok, ktorý s kvalitou textu nesúvisí.
  • Menilo sa viac vecí naraz. Ak sa nová verzia líši nadpisom, popisom aj cieľovou adresou, po skončení testu neviete, ktorá zmena zabrala — a ani či si dve zmeny navzájom neublížili.
  • Test bežal v nezrovnateľnom období. Päť dní cez sviatok alebo výplatný týždeň vám o reklame nepovie nič — povie to o kalendári.

Riešením je takzvaný kontrolovaný experiment: obe verzie bežia súčasne, premávka sa medzi ne delí náhodne, mení sa jedna vec a metriku aj dĺžku testu určíte dopredu. Presne na tomto princípe stoja online experimenty vo veľkých digitálnych firmách — a rovnaký princíp platí aj pre malý účet so skromným rozpočtom. Rozdiel je len v tom, aký veľký rozdiel dokážete pri svojom objeme dát vôbec spoľahlivo zachytiť.

Čo sa oplatí testovať — a v akom poradí

Základné pravidlo znie: testujte veci, ktoré môžu spraviť veľký rozdiel. Testovať, či na konci popisu má byť bodka, je plytvanie časom aj rozpočtom — aj keby tam nejaký rozdiel bol, nikdy ho pri bežnom objeme dát spoľahlivo nezmeriate. Čím väčšia zmena, tým menej dát na jej potvrdenie potrebujete.

Čo testovaťPrečo to má zmyselPríklad testu
Ponuka a hodnota v textemení sa dôvod, prečo človek klikne a kúpi — najsilnejšia páka vôbec„doprava zdarma“ vs „−15 % na prvý nákup“
Vstupná stránkao konverzii sa rozhoduje až po kliku; reklama sa dá pokaziť aj perfektnáproduktová stránka vs pripravená kampaňová stránka
Uhol nadpisoviný uhol osloví iného človeka — na rozdiel od zámeny synonýmcena vs rýchlosť dodania vs záruka
Stratégia ponúkpriamo mení, za koľko a komu sa kampaň zobrazujecieľová CPA vs cieľový ROAS
Cielenie a publikározhoduje, koho vôbec oslovíteširoké cielenie vs pridaný signál publika
Formát podkladovobrázok a video oslovujú inak a majú inú cenu za výsledokstatický obrázok vs krátke video

Poradie má svoju logiku a oplatí sa ho dodržať zhora nadol: ponuka → vstupná stránka → text reklamy → detaily. Nemá zmysel ladiť tretí nadpis v reklame, keď vstupná stránka načítava päť sekúnd a nemá viditeľné tlačidlo. Čo na vstupnej stránke rozhoduje o konverzii, rozoberá článok Vstupná stránka pre PPC; ako písať samotné texty, nájdete v článku Responzívne reklamy vo vyhľadávaní.

Pri responzívnych reklamách je dôležitá jedna vec navyše: Google si nadpisy a popisy kombinuje sám, takže dve verzie sa nedajú porovnávať tak, že do jednej reklamy nahádžete pätnásť nadpisov. Ak chcete otestovať uhol, spravte dve reklamy (alebo dve variácie), kde všetky nadpisy jednej verzie držia jeden uhol a všetky nadpisy druhej ten druhý. Inak testujete miešaninu, nie hypotézu.

Akými nástrojmi testovať v Google Ads

Google Ads má na testovanie vlastnú sekciu Experimenty a v nej niekoľko typov podľa toho, čo chcete porovnávať. Nemusíte teda nič robiť ručne v Exceli — systém sa postará o náhodné rozdelenie premávky aj o porovnanie výsledkov.

NástrojNa čo slúžiAko delí premávku
Vlastný experimenttestovanie nastavení kampane — ponuky, cielenie, štruktúravytvorí kópiu kampane a rozdelí medzi ne zvolený podiel premávky (typicky 50/50)
Variácie reklámtestovanie textov responzívnych reklám naprieč kampaňami či celým účtomzvolíte percento rozpočtu, používatelia vidia jednu z verzií
Experimenty pre PMax, Demand Gen a videoporovnanie dvoch prístupov v automatizovaných a video kampaniachrozdelenie premávky v rámci daného typu kampane
Dve reklamy v jednej zostavenúdzové riešenie, keď nemôžete použiť nič inénedelí férovo — systém sám uprednostňuje jednu z reklám

Rozdiel medzi prvými dvoma je dôležitý. Variácie reklám sú rýchla cesta, keď chcete otestovať jednu textovú zmenu naraz vo viacerých kampaniach — napríklad iné výzvy na akciu. Vlastný experiment je ťažší kaliber: hodí sa vždy, keď meníte nastavenie, ktoré ovplyvňuje celú kampaň, teda stratégiu ponúk, cielenie alebo štruktúru zostáv.

Praktická poznámka k automatickým ponukám: keď v experimente meníte stratégiu ponúk, kampaň v experimentálnej vetve prechádza fázou učenia — prvé dni sú preto skreslené a nemali by sa počítať do vyhodnotenia. Test s automatickými ponukami preto potrebuje viac času než test dvoch textov; počítajte skôr v týždňoch než v dňoch.

Veľká výhoda experimentov oproti ručnému porovnávaniu je v tom, že Google pri nich sám ukazuje, či je rozdiel medzi vetvami štatisticky významný, alebo je to len kolísanie. Nemusíte teda nič počítať — stačí sa nenechať zlákať pekným číslom, kým systém hovorí, že rozdiel nie je preukázaný.

Ako vyhodnotiť test, aby výsledok niečo znamenal

Najdôležitejšia časť testu sa deje predtým, než ho spustíte. Napíšte si — pokojne do jednej vety v poznámkach — tri veci:

  • Jednu hlavnú metriku, podľa ktorej sa rozhodne. Nie tri, jednu. Keď povolíte tri, vždy nájdete tú, v ktorej vaša obľúbená verzia vyhráva.
  • Minimálnu dĺžku behu — v celých týždňoch, aby v oboch vetvách boli rovnaké dni v týždni.
  • Čo urobíte pri akom výsledku. Napríklad: „ak variant B prekoná A v cene za konverziu a rozdiel bude významný, nasadím B; ak rozdiel významný nebude, nechám A a idem testovať niečo väčšie.“

Pri výbere metriky platí jednoduché pravidlo: merajte to, čo naozaj chcete, nie medzikrok. Miera prekliku je pekná, ale reklama s lákavým sľubom môže mať vysoké CTR a zároveň privádzať ľudí, ktorí nekúpia. Ak vám ide o predaje, rozhoduje cena za konverziu, konverzný pomer alebo návratnosť — čo ktorá metrika presne znamená, vysvetľuje článok Kľúčové metriky Google Ads.

Štatistická významnosť je len odborný názov pre otázku „aká je šanca, že takýto rozdiel vznikol náhodou?“. Čím viac dát máte a čím väčší je rozdiel, tým je táto šanca menšia a tým skôr sa dá výsledku veriť. Platí pritom nepríjemná matematická vlastnosť: čím menší rozdiel chcete spoľahlivo zachytiť, tým viac dát potrebujete — a potreba dát rastie oveľa rýchlejšie, než by človek čakal. Zachytiť zlepšenie o desiatky percent zvládnete pri desiatkach konverzií; zachytiť zlepšenie o pár percent si vyžaduje rádovo viac. Preto malé účty nemajú testovať malé zmeny — nie preto, že by nefungovali, ale preto, že ich nikdy nedokážu.

Ilustračný príklad (vymyslené čísla, slúžia len na ukázanie postupu): variant A má 400 klikov a 20 konverzií (konverzný pomer 5,0 %), variant B má 400 klikov a 24 konverzií (6,0 %). Vyzerá to ako 20 % zlepšenie, no rozdiel štyroch konverzií je taký malý, že ho pokojne mohla spôsobiť náhoda. Rozumný záver znie „zatiaľ nevieme“ — buď test necháme bežať ďalej, alebo priznáme, že pri tomto objeme sa rozdiel potvrdiť nedá.

Ešte jedna slovenská špecialita, ak porovnávate návratnosť: ROAS v Google Ads je nadhodnotený o DPH, keďže tržby sa zapisujú s daňou, no náklady na reklamu sú bez nej. Na porovnanie dvoch variantov to nevadí — korekcia ovplyvní obe rovnako a poradie sa nezmení. Rozdiel je až pri otázke, či je kampaň zisková: tam počítajte netto ROAS ako zobrazenú hodnotu delenú 1,23. Podrobnosti nájdete v článku Čo je ROAS.

Časté chyby pri A/B testovaní

  • Zastavenie testu na prvom peknom čísle. Keď sa na priebežné výsledky pozeráte každý deň a ukončíte test vo chvíli, keď váš favorit vedie, výsledok je bezcenný — skôr či neskôr totiž vedie každý variant. Dĺžku si určte dopredu a dodržte ju.
  • Testovanie viacerých zmien naraz. Ak sa verzie líšia v troch veciach, nezistíte, ktorá z nich zabrala. Výnimkou je zámerné testovanie dvoch celých konceptov proti sebe — ale aj vtedy si to treba priznať a nevydávať to za test jedného prvku.
  • Príliš krátky beh. Test kratší než celé týždne porovnáva rôzne dni a rôzne nálady trhu. Pri automatických ponukách navyše prvé dni požiera fáza učenia.
  • Zásahy počas testu. Zmena rozpočtu, kľúčových slov či cielenia uprostred testu ho znehodnotí. Ak musíte zasiahnuť, test radšej reštartujte.
  • Vyhodnotenie nesprávnou metrikou. Vyššie CTR pri nižších tržbách nie je výhra. Rovnako nemá zmysel hodnotiť test podľa počtu zobrazení alebo priemernej pozície.
  • Testovanie bez hypotézy. „Skúsime, čo z toho vyjde“ nie je test. Bez otázky typu „pomôže konkrétne číslo v nadpise?“ neviete, čo si z výsledku odniesť do ďalšieho testu.
  • Jednorazovosť. Jeden test raz za pol roka nič nezmení. Hodnota testovania je v tom, že sa poznatky kopia — každý ďalší test stavia na predchádzajúcom.

Za väčšinou týchto chýb stojí jedna a tá istá vec: túžba mať výsledok rýchlo. Lenže test má jedinú úlohu — dať vám dôveryhodnú odpoveď. Rýchla, ale nepravdivá odpoveď má zápornú hodnotu, pretože podľa nej prestavíte účet a chybu nesiete ďalej. Kvalita reklamy pritom nie je len o testovaní: dobre nastavené kampane zlepšujú aj skóre kvality, ktoré priamo ovplyvňuje, koľko za klik zaplatíte.

Neviete, či vaše testy niečo dokazujú — alebo len potvrdzujú, čomu ste už verili?

Pozriem sa na váš účet a poviem vám, čo má pri vašom objeme dát zmysel testovať, čím a ako dlho — aby ste rozhodnutia stavali na dôkazoch, nie na dojme. Pri modeli „skin in the game" investujem do vášho marketingu aj vlastný kapitál, takže výsledok riešim rovnako ako vy.

Zistiť, ako to funguje →

Často kladené otázky

Čo je A/B testovanie v Google Ads?

A/B testovanie je porovnanie dvoch verzií tej istej veci — napríklad dvoch textov reklamy, dvoch vstupných stránok alebo dvoch stratégií ponúk — na dvoch porovnateľných skupinách používateľov, ktoré bežia súčasne. Cieľom je zistiť, ktorá verzia dosahuje lepší výsledok, a mať pritom istotu, že rozdiel nespôsobila náhoda alebo iné podmienky. Aby test niečo dokázal, musí sa medzi verziami meniť len jedna vec, premávka sa musí deliť náhodne a hlavná metrika aj dĺžka behu musia byť určené dopredu. V Google Ads na to slúži sekcia Experimenty — vlastné experimenty pre nastavenia kampane a variácie reklám pre texty.

Mám použiť experiment, alebo variácie reklám?

Závisí od toho, čo testujete. Variácie reklám sú vhodné vtedy, keď chcete zmeniť text responzívnej reklamy — napríklad iný nadpis alebo inú výzvu na akciu — a otestovať to naprieč viacerými kampaňami alebo celým účtom. Sú rýchle na nastavenie a nevyžadujú kópiu kampane. Vlastný experiment je vhodný vždy, keď meníte niečo, čo ovplyvňuje celú kampaň: stratégiu ponúk, cielenie, štruktúru zostáv alebo rozpočet. Vytvorí sa kópia kampane a premávka sa medzi originál a experiment rozdelí v zvolenom pomere. Jednoduché pravidlo: testujete slová v reklame? Variácie. Testujete nastavenie kampane? Experiment.

Ako dlho má A/B test bežať?

Vždy v celých týždňoch — minimálne jeden, spravidla dva až štyri. Dôvod je jednoduchý: správanie ľudí sa počas týždňa výrazne líši a test, ktorý beží päť dní, porovnáva rôzne dni v týždni, nie rôzne verzie reklamy. Presná dĺžka závisí od objemu dát: čím menej konverzií kampaň prináša, tým dlhšie musí test bežať, aby sa rozdiel dal potvrdiť. Ak testujete stratégiu ponúk, pripočítajte navyše čas na fázu učenia, počas ktorej sú výsledky skreslené. Dĺžku si určte pred spustením a dodržte ju aj vtedy, keď to priebežne vyzerá jednoznačne.

Akú metriku mám pri vyhodnotení sledovať?

Tú, ktorá zodpovedá vášmu skutočnému cieľu — a len jednu ako hlavnú. Pre e-shop je to zvyčajne cena za konverziu alebo návratnosť výdavkov na reklamu, pre generovanie dopytov cena za dopyt. Miera prekliku (CTR) je zavádzajúca hlavná metrika: reklama s lákavým, ale nepresným sľubom môže mať vysoké CTR a zároveň privádzať ľudí, ktorí nenakúpia. CTR sledujte ako doplnkovú informáciu, nie ako rozhodovacie kritérium. Ak si dopredu nezvolíte jednu metriku, po skončení testu si takmer vždy nájdete tú, v ktorej vyhráva verzia, ktorej ste fandili — a to už nie je meranie, ale hľadanie potvrdenia.

Prečo nestačí len pridať druhú reklamu do zostavy a porovnať výsledky?

Pretože Google reklamy v zostave nestrieda rovnomerne — systém sám uprednostňuje tú, ktorej dáva väčšiu šancu na úspech. Jedna reklama tak môže dostať výrazne viac zobrazení, v lepších časoch a na lepších pozíciách, čo jej dá náskok nesúvisiaci s kvalitou textu. Porovnanie je potom nespravodlivé a rozdiel vo výsledkoch nevypovedá o tom, ktorý text je lepší. Preto sa na testovanie používajú experimenty a variácie reklám, ktoré premávku delia náhodne a férovo. Porovnanie dvoch reklám v jednej zostave berte len ako orientačné, nie ako dôkaz.

Čo je štatistická významnosť a prečo na nej pri testovaní záleží?

Štatistická významnosť je odborný názov pre odpoveď na otázku „aká je pravdepodobnosť, že takýto rozdiel vznikol iba náhodou?“. Každé meranie totiž kolíše — aj dve úplne rovnaké reklamy budú mať za týždeň mierne odlišné čísla. Keď je rozdiel dostatočne veľký vzhľadom na množstvo dát, hovoríme, že je štatisticky významný, a dá sa mu veriť. Keď významný nie je, správny záver nie je „variant B je lepší“, ale „zatiaľ to nevieme“. Google Ads pri experimentoch túto informáciu zobrazuje sám, takže nič nemusíte počítať — stačí ju rešpektovať aj vtedy, keď vám nesedí. Praktický dôsledok: pri malých účtoch s nízkym počtom konverzií sa dajú potvrdiť len veľké rozdiely, takže testovať drobnosti je stratou času.

Môžem testovať viac zmien naraz, aby to išlo rýchlejšie?

Môžete, ale stratíte tým hlavnú hodnotu testu — poznanie, čo presne zabralo. Ak sa variant B líši od A nadpisom, obrázkom aj vstupnou stránkou a vyhrá, viete len to, že celý balík je lepší; netušíte, či za to môže jeden prvok, alebo či dva z nich pomohli a tretí uškodil. Do ďalšieho testu si tak neodnesiete nič použiteľné. Testovanie celých konceptov proti sebe má zmysel vtedy, keď zámerne porovnávate dva odlišné prístupy a viete, že rozhodujete o balíku ako celku — napríklad dva úplne odlišné kreatívne smery. Ak vám ide o učenie sa, meňte jednu vec naraz. Ak vám ide o rýchle rozhodnutie medzi dvoma hotovými riešeniami, balík je v poriadku, len si to priznajte pri interpretácii.

Zdroje a ďalšie čítanie