Vergleich von Multivarianten-Tests mit A/B-Tests

---

Vergleich von Multivarianten-Tests mit A/B-Tests

Was unterscheidet einen Multivarianten-Test von einem A/B-Test?

Was unterscheidet das A/B-Testing von Multivarianten-Tests? Sehen wir uns doch einmal die Methodik, häufige Anwendungsfälle, Vorteile und Einschränkungen dieser Testmethoden an.

A/B-Testing

Das A/B-Testing, auch „Split-Testing“ genannt, dient der Website-Optimierung, wobei die Konversionsraten zweier Versionen einer Seite, d. h. Version A und Version B, anhand von Live-Traffic miteinander verglichen werden.Websitebesucher werden entweder der einen oder der anderen Version zugeordnet.Durch das Tracking des Benutzerverhaltens, z. B. welche Videos sich Besucher ansehen, auf welche Elemente sie klicken oder ob sie einen Newsletter abonnieren, können Sie ermitteln, welche Version der Seite am effektivsten ist.

Verwendung

A/B-Tests sind die unkomplizierteste Methode, ein Seitendesign zu bewerten, und sie können vielseitig eingesetzt werden.

Eines der häufigsten Einsatzgebiete von A/B-Tests ist das Testen von zwei sehr unterschiedlichen Webdesignansätzen. Das kann z. B. die aktuelle Version einer Unternehmenshomepage mit Hyperlinks im Text sein, während die neue Version auf diesen Text verzichtet und eine Titelleiste verwendet, in der das neueste Produkt beworben wird. Nachdem eine ausreichende Anzahl an Benutzern beide Seiten besucht hat, können die Klickraten für jeden Call-to-Action (die Handlungsaufforderung) der beiden Versionen miteinander verglichen werden. Trotz der Änderung vieler Designelemente wird bei dieser Testmethode nur der Einfluss des Designs auf das Unternehmensziel als Ganzes und nicht die einzelnen Elemente betrachtet.

Das A/B-Testing eignet sich auch zur Optimierung von Seiten, bei denen nur ein Element infrage gestellt wird. Ein Online-Tierladen könnte beispielsweise bei einem A/B-Test auf seiner Website herausfinden, dass sich 85 % mehr Besucher für den Newsletter anmelden, wenn dieser von einer Zeichentrickmaus und nicht von einer Riesenschlange präsentiert wird. Wenn das A/B-Testing so verwendet wird, können sogar dritte und vierte Versionen der Seite getestet werden, was dann als A/B/C/D-Test bezeichnet wird. Das bedeutet, dass der Traffic auf der Website gedrittelt oder geviertelt werden muss, was dazu führt, dass weniger Benutzer die einzelnen Websiteversionen sehen.

Vorteile

Dank des einfachen Konzepts und Designs handelt es sich bei A/B-Tests um eine leistungsstarke und häufig eingesetzte Testmethode.

Solange die Anzahl der gemessenen Variablen gering gehalten wird, kann der Test ziemlich schnell zuverlässige Daten liefern, da nicht viel Traffic benötigt wird, damit der Test aussagekräftig ist. Das ist besonders von Vorteil, wenn Ihre Website nur wenige Besucher pro Tag verzeichnet. Die Aufteilung des Traffic-Aufkommens in mehr als drei oder vier Segmente würde dazu führen, dass der Test kaum ausgeführt oder ausgewertet werden kann. Das A/B-Testing ist so schnell und einfach, dass einige große Websites hauptsächlich diese Testmethode verwenden, da die Testzyklen nacheinander ausgeführt werden und diese somit nicht so komplex wie Multivarianten-Tests sind.

Das A/B-Testing eignet sich auch hervorragend, um einem skeptischen Team ein Optimierungskonzept vorzustellen, da diese Tests schnell verdeutlichen, welchen Einfluss eine einfache Änderung am Design haben kann.

Einschränkungen

Das A/B-Testing ist ein vielseitiges Tool und in Verbindung mit einem ausgeklügelten Experimentdesign sowie mit dem Willen, Testzyklen und Umgestaltungen iterativ auszuführen, kann diese Testmethode Ihnen dabei helfen, Ihre Website zu verbessern. Doch man sollte nicht vergessen, dass die Grenzen dieser Testmethode sich bereits im Namen widerspiegeln. Das A/B-Testing eignet sich am besten, um den Einfluss von zwei bis vier Variablen auf die Seite zu bestimmen. Tests mit mehr Variablen benötigen mehr Zeit für die Ausführung. Außerdem liefert das A/B-Testing keine Informationen über das Zusammenspiel der einzelnen Variablen auf einer Seite.

Falls Sie mehr darüber erfahren möchten, wie verschiedene Elemente miteinander agieren, sollten Sie sich näher mit Multivarianten-Tests befassen.

Multivarianten-Tests

Bei Multivarianten-Tests wird die gleiche Technologie wie beim A/B-Testing verwendet, doch es wird eine größere Anzahl von Variablen miteinander verglichen, und der Anwender erhält weitere Informationen darüber, wie diese Variablen miteinander agieren. Wie bei einem A/B-Test wird der Traffic einer Seite auf verschiedene Designversionen aufgeteilt. Ziel des Multivarianten-Tests ist es, die Effektivität zu messen, die jede Designkombination auf das Endziel hat.

Sobald eine Website ausreichend Traffic für die Ausführung des Tests aufweist, werden die Daten der einzelnen Varianten miteinander verglichen, um nicht nur das erfolgreichste Design zu bestimmen, sondern möglicherweise auch herauszufinden, welche Elemente den größten positiven oder negativen Einfluss auf das Besucherverhalten haben.

Verwendung

Das am häufigsten angeführte Beispiel für einen Multivarianten-Test ist eine Seite, auf der die Änderung mehrerer Elemente zur Debatte steht, z. B. eine Seite, die ein Anmeldeformular, einen ansprechenden Kopfzeilentext und eine Fußzeile hat. Um einen Multivarianten-Test auf einer solchen Seite auszuführen und nicht völlig unterschiedliche Designs bereitstellen zu müssen wie beim A/B-Testing, können Sie zwei unterschiedlich lange Anmeldeformulare, drei verschiedene Kopfzeilentexte und zwei Fußzeilen erstellen. Daraufhin werden den Benutzern alle erdenklichen Kombinationen dieser Elemente bereitgestellt. Diese Tests werden auch als vollständige Versuchspläne bezeichnet. Multivarianten-Tests werden häufig nur für Websites empfohlen, die jeden Tag hohe Traffic-Zahlen verzeichnen. Je mehr Varianten getestet werden sollen, desto länger dauert es, auswertbare Daten aus dem Test zu gewinnen.

Nachdem der Test ausgeführt wurde, werden die Variablen der einzelnen Seitenvarianten miteinander und in Bezug auf ihre Leistung im Kontext mit anderen Testversionen verglichen. Daraus ergibt sich eine klare Aussage darüber, welche Seite am besten funktioniert und welche Elemente hauptsächlich für diese gute Leistung verantwortlich sind. Die Variation einer Fußzeile hat möglicherweise wenig Einfluss auf die Leistung der Seite, während ein kürzeres Anmeldeformular großen Einfluss haben kann.

Vorteile

Multivarianten-Tests eignen sich hervorragend dazu, eine Neugestaltung mit den Elementen Ihrer Webseite abzugleichen, die den höchsten Einfluss haben. Besonders nützlich ist das beispielsweise für Landing Page-Kampagnen, da die Daten zum Einfluss eines bestimmten Elementdesigns für zukünftige Kampagnen verwendet werden können, auch wenn sich der Kontext des Elements verändert hat.

Einschränkungen

Die einzige große Einschränkung der Multivarianten-Tests ist die für die Ausführung des Tests erforderliche Höhe des Traffics. Da alle Experimente faktoriell ausgeführt werden, können zu viele geänderte Elemente dazu führen, dass ziemlich viele mögliche Kombinationen getestet werden müssen. Selbst eine Website mit viel Traffic kann Probleme damit haben, einen Test mit mehr als 25 Kombinationen in einem realistischen Zeitraum auszuführen.

Bei der Verwendung von Multivarianten-Tests sollten Sie zudem überlegen, wie diese insgesamt in Ihren Testzyklus und Ihre Neugestaltung passen. Selbst wenn Sie auf eine Fülle an Informationen über den Einfluss eines bestimmten Elements zugreifen können, können Sie zusätzlich einen A/B-Test ausführen, um andere, völlig unterschiedliche Ideen auszuprobieren. Außerdem ist es manchmal zu zeitaufwendig, einen kompletten Multivarianten-Test auszuführen, wenn mehrere gut designte A/B-Tests diese Aufgabe ebenfalls zufriedenstellend bewältigen können.

Zusammenfassung

Die Unterschiede zwischen dem A/B-Testing und Multivarianten-Tests sind kein Hinweis darauf, dass die beiden Testarten gegensätzlich sind. Betrachten Sie stattdessen beide Typen als leistungsstarke Optimierungsmethoden, die sich gegenseitig ergänzen. Entscheiden Sie sich für eine der beiden Methoden oder verwenden Sie beide in Kombination, um Ihre Website optimal zu gestalten.