Statistische Signifikanz ist die Wahrscheinlichkeit, dass der Unterschied den Conversion Raten zwischen einer gegebenen Abweichung und der Basislinie nicht zufällig ist.
Es heißt, das Ergebnis eines Experimentes hat statistische Signifikanz oder ist statistisch signifikant, wenn es für ein gegebenes statistisches Signifikanzniveau wahrscheinlich nicht zufällig erfolgt.
Ihr statistisch signifikantes Niveau spiegelt Ihre Risikotoleranz und statistische Sicherheit wider. Wenn Sie bspw. ein A/B-Test mit einer Signifikanzanzahl von 95% durchführen, bedeutet das, dass Sie bei der Festlegung eines Gewinners zu 95% zuversichtlich sind, dass die beobachteten Ergebnisse wahr sind und kein Fehler, der durch Zufall zustande gekommen ist. Es bedeutet weiterhin, dass es eine 5%-ige Chance gibt, dass Sie sich irren.
Statistische Signifikanz ist ein Weg, mathematisch nachzuweisen, dass eine bestimmte Statistik zuverlässig ist. Wenn Sie Experimente durchführen und aufgrund der Ergebnisse Entscheidungen treffen, dann wollen Sie sicherstellen, dass es den Zusammenhang tatsächlich gibt.
Inhaber von Onlinegeschäften, Marketingfachleute und Werbekunden zeigen zunehmend Interesse daran sicherzustellen, dass ihre A/B-Testversuche (z.B. A/B-Test der Conversion Rate, Änderungen am Werbetext, Optimierungen der Betreffzeile in E-Mails) statistische Signifikanz haben, bevor voreilige Schlüsse gezogen werden.
Ihr statistisch signifikantes Niveau spiegelt Ihre Risikotoleranz und statistische Sicherheit wider. Wenn Sie bspw. ein A/B-Testexperiment mit einer Signifikanzanzahl von 95% durchführen, bedeutet das, dass Sie bei der Festlegung eines Gewinners zu 95% zuversichtlich sind, dass die beobachteten Ergebnisse wahr sind und kein Fehler, der durch Zufall zustande gekommen ist. Es bedeutet weiterhin, dass es eine 5%-ige Chance gibt, dass Sie sich irren.
Statistische Signifikanz ist am brauchbarsten beim Überprüfen statistischer Hypothesen. Bspw. wollen Sie überprüfen, ob der Farbwechsel eines Knopfes auf Ihrer Webseite von Rot nach Grün dazu führt, dass mehr Personen auf diesen klicken.
Ist Ihr Knopf zur Zeit rot, dann wird dies als Ihre "Null-Hypothese" bezeichnet. Ihren Knopf grün zu gestalten ist dann Ihre "alternative Hypothese". Um den beobachteten Unterschied in einem statistischen Signifikanztest zu bestimmen, sollten Sie auf zwei Werte achten: p-Wert und Sicherheitswahrscheinlichkeit im Bereich der Effektgröße.
Der p-Wert bezieht sich auf den Wahrscheinlichkeitswert, mit dem eine Auswirkung an einer Probe beobachtet wird. Ein p-Wert von < 0,05 ist der übliche Grenzwert, der statistische Signifikanz bedeutet.
Sicherheitswahrscheinlichkeit im Bereich der Effektgröße bezieht sich auf die obere und die untere Schranke, die bei Ihrem Versuch eintreten kann.
Statistische Signifikanz ist von Bedeutung, da es Ihnen die Sicherheit vermittelt, dass die Veränderungen, die Sie auf Ihrer Website oder App vornehmen auch tatsächlich eine positive Auswirkung auf Ihre Conversion Rate oder andere metrische Angaben haben. Ihre Metrik und Zahlen können täglich starken Schwankungen unterliegen und die statistische Analyse stellt eine solide mathematische Fundierung dar, um Geschäftsentscheidungen zu fällen und falsche positive Ergebnisse auszuschließen.
Ein statistisch signifikantes Ergebnis wird nicht dem Zufall zugeschrieben und hängt von zwei Schlüsselvariablen ab: Größe der Probe und Effektgröße.
Die Probengröße bezieht sich darauf, wie groß die Probe für Ihren Versuch ist. Je größer Ihr Probenumfang, desto größer ist Ihr Vertrauen in das Ergebnis des Versuchs (unter der Annahme, dass die Probe zufällig gezogen wurde). Wenn Sie Tests an einer Webseite vornehmen, dann erhalten Sie bei größerem Besuchsaufkommen Ihrer Seite zügiger ein ausreichend großes Datenvolumen, um festzulegen, ob Sie statistisch signifikante Ergebnisse haben. Bei zu kleiner Datenmenge laufen Sie Gefahr, Stichprobenfehler zu erhalten.
Effektgröße bezieht sich auf den Größenunterschied bei den Ergebnissen zwischen den beiden Probensätzen und zeigt die praktische Bedeutung an. Gibt es nur eine kleine Effektgröße (z.B. ein Anstieg um 0,1% bei der Conversion Rate), dann brauchen Sie einen sehr großen Probenumfang, um festzulegen, ob der Unterschied signifikant ist oder lediglich auf Zufall basiert.
Neben diesen beiden Faktoren müssen Sie auch Bedeutung der zufälligen Stichprobenprüfung beachten. Wenn das Besuchsaufkommen einer Webseite sich auf zwei Seiten gleichmäßig verteilt, die Stichprobenüberprüfung aber nicht zufällig erfolgt, dann kann dies aufgrund von Unterschieden beim Verhalten der Grundgesamtheit zu Fehlern führen.
Wenn bspw. 100 Personen eine Webseite aufsuchen und allen Männern eine Version der Seite angezeigt wird und allen Frauen eine andere Version, dann ist ein Vergleich zwischen diesen beiden nicht möglich, selbst dann nicht, wenn das Besuchsaufkommen gleichmäßig (50/50) verteilt ist, denn der demografische Unterschied kann Abweichungen in die Datenmenge einfließen lassen. Um festzustellen, ob das Ergebnis des Versuchs statistisch signifikant ist, ist ein vollumfänglich zufälliger Probenumfang erforderlich.
In der pharmazeutischen Industrie verwenden Forscher statistische Tests aus klinischen Versuchen, um neue Medikamente auszuwerten. Forschungsergebnisse von Signifikanztests lassen die Wirksamkeit von Medikamenten erkennen, was zur Finanzierung durch Investoren führen und über Erfolg und Misserfolg eines Produktes entscheiden kann.
Statistische Signifikanz genau zu bestimmen, kann ein schwieriges Unterfangen sein, da es ein solides Verständnis von Statistik und Analysis erfordert.
Zum Glück lässt sich die statistische Signifikanz eines Experiments leicht ohne jede Mathematik bestimmen, indem Sie Stats Engine verwenden, ein ausgeklügeltes statistisches Modell, das Teil von Optimizely ist.
Stats Engine funktioniert, indem fortlaufendes Testen und falsche Entdeckungsratenkontrollzeichen miteinander kombiniert werden, um statistisch signifikante Ergebnisse unabhängig von der Probengröße zu erhalten. Stats Engine prüft mit Aktualisierung in Echtzeit ein 95% Signifikanzniveau, erhöht Ihr Vertrauen darin, die richtigen Entscheidungen für Ihr Unternehmen zu treffen und dabei Fallstricke zu vermeiden.
Um diese bekannten Probleme anzusprechen, wurde Stats Engine erschaffen, um mehr in weniger Zeit zu testen. Indem Sie statistisch begründete Entscheidungen in Echtzeit treffen, passt Stats Engine Werte dauernd an und teilt Ihnen zuverlässige Ergebnisse schnell und korrekt mit.
Beginnen Sie Ihre Tests mit Optimizely noch heute und haben Sie Vertrauen in Ihre Entscheidungen.