Matematika
Kalkulačka A/B testu
Porovná návštevy a konverzie dvoch variantov. Ukáže vyšší pozorovaný pomer, absolútny rozdiel, relatívnu zmenu a obojstrannú p-hodnotu, keď údaje spĺňajú podmienky aproximácie.
Bezplatná online kalkulačka
Vyšší pozorovaný konverzný pomer
Variant B
Zadajte návštevy a konverzie pre variant A aj B. Kalkulačka porovná konverzné pomery a ukáže obojstrannú p-hodnotu pri splnení podmienok aproximácie.
Variant A
Variant B
A/B test vyhodnocujte opatrne. Výsledok je orientačný a závisí od veľkosti vzorky, kvality merania, rovnakého rozdelenia návštevnosti, dĺžky testu a toho, či test nebol ukončený príliš skoro.
Kalkulačka A/B testu porovnáva dva varianty podľa návštev a konverzií. Hodí sa pri testovaní titulkov, landing page, tlačidiel, formulárov, cien, reklamných kreatív alebo e-mailových kampaní.
Vyhodnotenie A/B testu podľa návštev a konverzií
Kalkulačka A/B testu je určená na porovnanie dvoch variantov podľa toho, koľko mali návštev a koľko z nich prinieslo konverziu. Hodí sa pri testovaní landing page, titulkov, tlačidiel, formulárov, cien, reklamných kreatív alebo e-mailových kampaní. Pomáha rozlíšiť vyšší pozorovaný konverzný pomer, veľkosť rozdielu a výsledok konkrétneho štatistického testu.
Výpočet pracuje so štyrmi vstupmi. Pre variant A sa zadáva počet návštev a počet konverzií. Rovnaké údaje sa zadávajú aj pre variant B. Počty musia byť celé, návštev musí byť v oboch vzorkách viac ako nula a každá nezávislá návšteva sa počíta ako jedna binárna príležitosť: konverzia alebo bez konverzie. Viacero konverzií tej istej návštevy do tohto testu nepatrí. Z týchto hodnôt kalkulačka vypočíta konverzný pomer oboch variantov, teda podiel konverzií z návštev. Ak napríklad variant získal 100 konverzií z 2000 návštev, jeho konverzný pomer je 5 %.
Výsledky zobrazia konverzné pomery A a B, rozdiel B mínus A v percentuálnych bodoch a relatívnu zmenu oproti A. Pri nulovom pomere A relatívna zmena nie je definovaná. Hlavný výsledok označuje vyšší pozorovaný pomer, nie potvrdeného víťaza. Obojstranná p-hodnota sa počíta pooled z-testom hypotézy, že oba populačné podiely sú rovnaké. Nie je pravdepodobnosťou, že variant B vyhrá alebo že hypotéza je pravdivá.
Normálnu aproximáciu používame len vtedy, keď má každý variant aspoň 10 konverzií aj 10 návštev bez konverzie. Ak táto podmienka neplatí, kalkulačka ponechá popisné pomery a p-hodnotu neuvádza; pri riedkych údajoch treba inú vhodnú metódu, napríklad presný test. Hodnota p pod 0,05 znamená rozdiel podľa tohto testu pri uvedenej hranici, nie automatický obchodný prínos. Hodnota p aspoň 0,05 nepreukazuje zhodu variantov; test pri tejto hranici rozdiel nepreukázal.
Praktický príklad je testovanie dvoch verzií tlačidla na stránke. Variant A má 2000 návštev a 100 konverzií, variant B má 2000 návštev a 128 konverzií. Kalkulačka ukáže konverzný pomer 5 % pri variante A a 6,4 % pri variante B. Rozdiel je +1,4 percentuálneho bodu a relatívne zlepšenie vychádza +28 %, takže vyšší pozorovaný pomer má variant B. Obojstranná p-hodnota vychádza približne 0,056, preto test pri hranici 0,05 rozdiel nepreukázal.
A/B test treba čítať opatrne, najmä ak má málo návštev alebo konverzií. Výsledok závisí od veľkosti vzorky, kvality merania, náhodného priradenia nezávislých pozorovaní, dĺžky testu a od toho, či mal vopred stanovené vyhodnotenie. Opakované kontrolovanie a ukončenie testu pri prvom priaznivom výsledku alebo súbežné testovanie mnohých variantov mení interpretáciu p-hodnoty. Kalkulačka pomáha s rýchlym porovnaním dát, no pri dôležitých rozhodnutiach je vhodné pozerať sa aj na kontext kampane alebo stránky.
Na nadväzujúci výpočet môžete použiť Kalkulačka konverzného pomeru.
Predpoklady a obmedzenia
Model porovnáva dva nezávislé binomické podiely, nie počty opakovaných akcií jednej návštevy. Obojstranný pooled z-test vyžaduje podľa použitej podmienky aspoň 10 úspechov aj 10 neúspechov v každom variante. P-hodnota je približná; pri veľmi malej hodnote uvádzame < 0,000001. Kalkulačka neoveruje nezávislosť, randomizáciu, plán zastavenia, súbežné testy ani obchodný význam rozdielu. Vyšší nameraný pomer a p-hodnota neurčujú pravdepodobnosť víťazstva.
Zdroje a metodika
Časté otázky
Čo počíta kalkulačka A/B testu?
Porovná pozorované konverzné pomery A a B, rozdiel v percentuálnych bodoch a relatívnu zmenu oproti A. Pri dostatočných počtoch zobrazí obojstrannú p-hodnotu z-testu. Vyšší pomer sám neznamená potvrdeného víťaza.
Ktoré údaje potrebujem na výpočet a/B testu?
Pre oba varianty zadajte celé počty návštev a konverzií. Návštevy musia byť kladné a konverzie ich nesmú prevýšiť. Test predpokladá nezávislé binárne pozorovania a vhodné náhodné priradenie; jednu návštevu počítajte najviac s jednou konverziou.
Čo znamená relatívne zlepšenie?
Je to rozdiel pomerov B mínus A vydelený pomerom A a vynásobený 100. Pri pomeroch 5 % a 6,4 % je relatívna zmena +28 %. Ak je pomer A nulový, relatívna zmena nie je definovaná.
Čo znamená absolútny rozdiel?
Absolútny rozdiel ukazuje rozdiel medzi konverznými pomermi variantov v percentuálnych bodoch.
Kedy brať výsledok A/B testu opatrne?
Pri riedkych údajoch p-hodnotu tejto aproximácie neuvádzame: každý variant potrebuje aspoň 10 konverzií aj 10 návštev bez konverzie. Aj pri dostatočných počtoch p-hodnota nie je pravdepodobnosť víťazstva; nezávislosť, spôsob priradenia, dĺžku a plán testu treba posúdiť osobitne.
