Ein Fehler 1. Art ist ein Begriff aus der Statistik. Er bezieht sich auf einen Testfehler, der bei der Bestimmung eines schlüssigen Gewinners gemacht wird, obwohl der Test eigentlich nicht schlüssig ist.
Mit anderen Worten, ein Fehler 1. Art ist wie ein "falsches Positiv", eine fälschliche Auffassung, dass eine Variation in einem Test einen statistisch signifikanten Unterschied bewirkt hat.
Fehler können leicht passieren, wenn Statistiken falsch verstanden oder falsch angewendet werden.
In der Statistik ist der Begriff eines statistischen Fehlers ein integraler Bestandteil beim Testen jeglicher Hypothese.
Ein Hypothesentest ist niemals gewiss. Da jeder Test auf Wahrscheinlichkeiten basiert, besteht immer ein geringes Risiko, dass eine falsche Schlussfolgerung gezogen wird.
Die statistische Signifikanz wird traditionell unter der Annahme berechnet, dass der Test innerhalb eines festen Zeitrahmens abläuft und endet, sobald die entsprechende Stichprobengröße erreicht wird. Man spricht von einem "festen Zeithorizont".
Das Verfahren mit einem festen Zeithorizont geht davon aus, dass Sie erst nach Erreichen der endgültigen Stichprobengröße eine Entscheidung treffen.
So laufen die Dinge natürlich nicht in der Welt der A/B-Tests. Ohne vorgegebene Stichprobengröße (und statistisch nicht signifikante Ergebnisse) ist ein Fehler 1. Art leicht gemacht.
Hypothesentests haben eine statistische Signifikanz, die mit dem griechischen Buchstaben Alpha, α, verbunden ist.
Die durch α dargestellte Zahl ist eine Wahrscheinlichkeit für das Vertrauen in die Genauigkeit der Testergebnisse. In der Welt des digitalen Marketings lautet die Annahme nun, dass bei statistisch signifikanten Ergebnissen Alpha bei 0,05 oder 5 % liegt.
Eine statistische Sicherheit von 95 % bedeutet, dass eine Wahrscheinlichkeit von 5 % besteht, dass Ihre Testergebnisse das Ergebnis eines Fehlers 1. Art sind.
Der Hauptgrund für Vorsicht bei Fehlern 1. Art ist, dass sie Ihr Unternehmen eine Menge Geld kosten können.
Treffen Sie eine fehlerhafte Annahme und ändern dann die kreativen Komponenten einer Zielseite basierend auf dieser Annahme, riskieren sie eine erhebliche Senkung der Conversion Rate Ihres Kunden.
Fehler 1. Art lassen sich am besten vermeiden, indem Sie Ihren Sicherheitsschwellenwert anheben und Experimente länger ausführen, um mehr Daten zu sammeln.
Betrachten wir eine hypothetische Situation. Sie sind für eine E-Commerce-Website verantwortlich und testen Varianten für Ihre Landing Page. Untersuchen wir, wie sich ein Fehler 1. Art auf Ihre Verkäufe auswirkt.
Ihre Hypothese besagt, dass eine Änderung der CTA-Schaltfläche "Jetzt kaufen" von grün zu rot die Conversions im Vergleich zu Ihrer ursprünglichen Seite erheblich steigern wird.
Sie starten Ihren A/B-Test und überprüfen die Ergebnisse innerhalb von 48 Stunden. Sie stellen fest, dass die Conversion Rate für die neue grüne Schaltfläche (5,2 %) die ursprüngliche Rate (4,8 %) bei einer statistischen Sicherheit von 90 % übertrifft.
Mit Begeisterung erklären Sie die grüne Schaltfläche zum Sieger und machen ihn zum Standard auf der Seite.
Zwei Wochen später erscheint Ihr Chef vor Ihrem Schreibtisch und stellt Fragen zu einem großen Rückgang der Conversions. Beim Überprüfen Ihrer Daten erkennen Sie, dass Ihre Daten der vergangenen zwei Wochen angeben, dass die Farbe der ursprünglichen CTA-Schaltfläche der tatsächliche Gewinner war.
Was ist passiert? Obwohl das Experiment ein statistisch signifikantes Ergebnis mit einer statistischen Sicherheit von 90 % ergab, bedeutet dies immer noch, dass 10 % der Zeit die vom Experiment erreichte Schlussfolgerung tatsächlich falsch ist.
Sie können dazu beitragen, Fehler 1. Art zu vermeiden, indem Sie das erforderliche Sicherheitsintervall vor der Entscheidungsfindung anheben (auf 95 % oder 99 %) und das Experiment über einen größeren Zeitraum ausführen, um mehr Daten zu sammeln. Statistiken können jedoch niemals mit 100%iger Sicherheit angeben, ob es sich bei der Version einer Webseite um die beste handelt. Statistiken können lediglich Wahrscheinlichkeit, keine Gewissheit liefern.
Sind A/B-Tests also nutzlos? Nein, überhaupt nicht. Selbst wenn stets die Möglichkeit besteht, einen Fehler 1. Art zu begehen, haben Sie statistisch gesehen immer noch recht, wenn Sie das Sicherheitsintervall ausreichend hoch setzen. Wie in den Ingenieurswissenschaften und anderen Disziplinen ist absolute Gewissheit nicht möglich, durch das Setzen des richtigen Sicherheitsintervalls können wir jedoch das Fehlerrisiko in einen akzeptablen Bereich bringen.