Kalkylator för urvalsstorlek för A/B-test

Optimizelys kalkylator för urvalsstorlek skiljer sig från andra kalkylatorer för statistisk signifikans. Den baseras på formeln som används i Intelligence Clouds Stats Engine. Stats Engine beräknar statistisk signifikans med hjälp av sekventiell testning och kontroller för falsk identifieringsfrekvens. När de kombineras innebär dessa två tekniker att du inte längre behöver vänta på en förinställd urvalsstorlek för att säkerställa resultatens giltighet. Om Intelligence Cloud visar att resultatet är 95 % signifikant, kan du fatta ett beslut med 95 % konfidens. Läs mer

Med denna kalkylator för statistisk signifikans kan du beräkna urvalsstorleken för varje variant i ditt test som krävs, i genomsnitt, för att mäta den önskade förändringen av konverteringsgraden. Om Intelligence Cloud upptäcker en större effekt än den du söker kan du avsluta testet i förtid.

Vår kalkylator för urvalsstorlek för A/B-tester använder formeln bakom vår nya Stats Engine. Den använder ett tvåsidigt sekventiellt likelihoodkvot-test med kontroller av falsk upptäcktsfrekvens för att beräkna statistisk signifikans.

Med denna metod behöver du inte längre använda urvalskalkylatorn för att säkerställa resultatens giltighet. Istället används kalkylatorn för urvalsstorlek för A/B-test bäst som ett verktyg för att planera testprogrammet och ta reda på hur länge du kan behöva vänta innan Optimizely kan avgöra om resultaten är signifikanta, beroende på vilken effekt du vill observera.

Du kan titta på historiska data om hur en sida har fungerat tidigare, med ett verktyg som Google Analytics eller annan webbplatsanalys som du använder. Läs mer

Vid traditionell hypotestestning är MDE i princip testets känslighet. Det är med andra ord den minsta relativa förändring i konverteringsgrad som du är intresserad av att kunna upptäcka. Om till exempel baslinjen för konverteringsgraden är 20 % och du ställer in en MDE på 10 %, skulle testet upptäcka eventuella förändringar som flyttar konverteringsgraden utanför det absoluta intervallet 18 % till 22 %. (En 10 % relativ effekt är en 2 % absolut förändring av konverteringsgraden i detta exempel.) 

Bestäm dig för hur villig du är att byta testets känslighet mot hur länge testet kan behöva köras. Ju mindre MDE, desto känsligare blir testet och desto större urvalsstorlek behöver du.

Kom ihåg att statistisk signifikans i Intelligence Clouds Stats Engine visar chansen att resultaten kommer att bli signifikanta medan experimentet körs. Om effekten som Stats Engine observerar är större än den minsta detekterbara effekt du vill ha, kan testet utse en vinnare eller förlorare upp till dubbelt så snabbt som om du måste invänta en förinställd urvalsstorlek. Om mer tid ges kan Stats Engine också hitta en mindre MDE än du förväntar dig. Läs mer

Statistisk tillförlitlighet är i grunden ett mått på om ett test har tillräckliga data för att ge ett tydligt resultat. Stats Engine från Intelligence Cloud kör tester som alltid uppnår tillförlitlighet ett, vilket innebär att testet alltid har tillräckligt med data för att visa resultat som är giltiga för tillfället, och som upptäcker en skillnad om det finns någon. Det innebär att du kan fatta beslut så snart resultaten når signifikans, utan bekymmer för tillförlitligheten.