Multivariate Tests (MVT)

Was sind Multivariate-Tests?

Definition von Multivariate-Tests

Multivariate-Tests dienen zum Testen einer Hypothese, bei der mehrere Variablen geändert werden. Das Ziel eines Multivariate-Tests ist es, zu bestimmen, welche Kombination der Varianten die beste Leistung erzielt.

Websites und mobile Apps bestehen aus Kombinationen von veränderbaren Elementen. Bei einem Multivariate-Tests werden mehrere Elemente geändert, zum Beispiel ein Bild und eine Überschrift. Drei Varianten des Bilds und zwei Varianten der Überschrift werden in sechs verschiedenen Versionen des Inhalts kombiniert. Diese sechs Versionen werden gleichzeitig getestet, um eine Gewinnervariante zu ermitteln.

Überschrift und Bild, die getestet werden

Die Gesamtzahl an Varianten wird bei Multivariate-Tests immer folgendermaßen berechnet:

[# Varianten von Element A] x [# Varianten von Element B] x … = [# Varianten insgesamt]

Im Beispiel unten werden Kombinationen aus Überschrift und Bild getestet. Dabei gibt es jeweils einen Ausgangswert und eine Variante für jedes Element. Im Experiment werden also insgesamt vier Varianten getestet.

Kombinationen aus Überschrift und Bild

Die Vorgehensweise bei Multivarianten-Tests ähnelt der beim A/B-Split-Testing, unterscheidet sich aber darin, dass beim A/B-Testing jeweils nur eine Variable getestet wird. Bei einem A/B-Test wird mindestens eine Variable getestet, um die Auswirkungen der Änderung an dieser Variablen zu ermitteln. Bei einem Multivarianten-Test werden mehrere Variablen gemeinsam getestet, um zu sehen, welche Kombination sich optimal dazu eignet, Ihr Ziel zu erreichen.

Vorteile von Multivariate-Tests

Multivariate-Tests sind besonders hilfreich, wenn mehrere Elemente auf derselben Seite parallel geändert werden können, um ein Konversionsziel wie Registrierungen, Klicks, Formularübermittlungen oder Shares zu erreichen. Wenn ein Multivariate-Tests richtig ausgeführt wird, sind keine weiteren A/B-Folgetests für dieselbe Seite und dasselbe Ziel erforderlich. Die Tests erfolgen stattdessen gleichzeitig, und sie weisen eine größere Anzahl an Varianten in einem kürzeren Testzeitraum auf.

Nachteile von Multivariate-Tests

Die größte Herausforderung beim Ausführen von Multivarianten-Tests liegt in der Menge an Besuchern, die zum Erreichen aussagekräftiger Ergebnisse benötigt wird. Da diese Tests komplett auf Kombinationen von Elementen basieren, kann sich die Anzahl an Varianten in einem Test schnell summieren. Bei Tests mit vielen Varianten wird den einzelnen Varianten weniger Traffic zugeordnet. Beim A/B-Testing wird der Traffic bei einem Experiment halbiert, jede Variante erhält also 50 % des gesamten Traffics. In einem Multivarianten-Test wird der Traffic in Viertel, Sechstel, Achtel oder sogar noch kleinere Segmente unterteilt, sodass die einzelnen Varianten einen sehr viel kleineren Anteil am Traffic erhalten als bei einem einfachen A/B-Test.

Legen Sie vor der Ausführung eines Multivarianten-Tests die Traffic-Stichprobengröße fest, die Sie für jede Variante benötigen, damit ein statistisch signifikantes Ergebnis erzielt wird. Falls die zu testende Seite wenig Traffic aufweist, sollten Sie anstelle eines Multivarianten-Tests einen A/B-Test nutzen.

Eine weitere Herausforderung ergibt sich bei Multivariate-Tests, wenn eine oder mehrere getestete Variablen keinen messbaren Effekt auf das Konversionsziel haben. Falls die Varianten eines Bilds auf einer Landing Page zum Beispiel keinen Einfluss auf das Konversionsziel haben, Änderungen an der Überschrift allerdings schon, wäre ein A/B-Test effizienter als ein Multivariate-Tests.

Beispiele für Multivariate-Tests

Zu den gängigen Beispielen von Multivariate-Tests gehören folgende:

  • Gemeinsames Testen von Text und visuellen Elementen auf einer Webseite
  • Gemeinsames Testen von Text und Farbe einer CTA-Schaltfläche
  • Gemeinsames Testen von verschiedenen Formularfeldern und CTA-Text

Der Einsatz von Multivarianten-Tests als Methode zur Website-Optimierung stellt eine gute Möglichkeit dar, um Besucher- und Benutzerdaten zu sammeln, die detaillierte Einblicke in das komplexe Kundenverhalten geben. Die mit Multivarianten-Tests erhobenen Daten beseitigen so Zweifel und Unsicherheiten, die mit der Website-Optimierung einhergehen. Das kontinuierliche Testen, die Implementierung der sich durchsetzenden Varianten und die Weiterentwicklung auf Grundlage der Testergebnisse können zu bedeutenden Steigerungen der Konversionsrate führen.