Cookie-Einstellungen

Zwecke
Menü Test starten

Multivariater Test

Ein multivariater Test prüft mehrere Elemente einer Seite oder Anzeige in einem Test, jedes in mehreren Fassungen. Er misst, wie jedes Element für sich wirkt und wie die Elemente zusammenwirken.

teil1 KPI-Test

Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?

Kostenlos. Ohne Anmeldung.

Definition

Bei einem multivariaten Test prüfen Sie mehrere Elemente einer Seite oder Anzeige in einem Test. Jedes Element gibt es in mehreren Fassungen, zum Beispiel zwei Überschriften, zwei Bilder und zwei Texte für den Button. In der Fachsprache heißen die Elemente Faktoren, der Test kurz MVT.

Im vollständigen Test bekommt jede Kombination der Fassungen ihre eigene, zufällig gebildete Gruppe von Besuchern. Es gibt auch Testpläne, die nur ausgewählte Kombinationen prüfen.

Der Test misst zwei Dinge: wie jedes Element für sich wirkt und ob Elemente zusammenwirken. Zwei Elemente wirken zusammen, wenn ihre gemeinsame Wirkung nicht die Summe der einzelnen ist. Eine Überschrift kann zum Beispiel nur neben einem bestimmten Bild gut ankommen.

Abgrenzung

Ein A/B-Test prüft einen Faktor, meist in zwei Fassungen: die bestehende und die geänderte. Split-Test ist ein anderer Name dafür.

Auch ein A/B-Test mit drei Fassungen derselben Überschrift bleibt ein Test mit einem Faktor. Multivariat wird ein Test erst, wenn mehrere Elemente in Kombination geprüft werden.

Der multivariate Test prüft mehrere Elemente in kurzer Zeit und zeigt, ob sie zusammenwirken. Dafür ist er komplexer: Manche Kombinationen ergeben eine schlechte Seite, die Auswertung ist schwieriger, und vor dem Start müssen alle Fassungen fertig sein. Die Fachliteratur empfiehlt deshalb, den ersten Test als A/B-Test anzulegen.

Rechenweg

Beispielrechnung: Eine Seite hat drei Elemente mit je zwei Fassungen: Überschrift, Bild und Text des Buttons. Im vollständigen Test kommt jede Fassung mit jeder Fassung der anderen Elemente vor. Das ergibt 2 × 2 × 2 = 8 Kombinationen, also acht Fassungen der Seite.

Jedes weitere Element mit zwei Fassungen verdoppelt die Zahl: Vier Elemente ergeben 16 Kombinationen, fünf ergeben 32. Zählen Sie die Kombinationen, bevor Sie einen Test planen.

Typischer Irrtum

Der Irrtum: mehrere Änderungen in eine Variante packen und danach glauben, man wisse, was gewirkt hat. Wer Überschrift, Bild und Button zugleich ändert und nur Alt gegen Neu vergleicht, hat einen A/B-Test eines Pakets gemacht. Das Ergebnis sagt, ob das Paket wirkt. Welche der drei Änderungen den Unterschied gemacht hat, sagt es nicht.

Ein multivariater Test ist das nicht. Die Wirkung der einzelnen Elemente lässt sich erst trennen, wenn jedes Element für sich oder in Kombination geprüft wird.

Legen Sie deshalb vor dem Test fest, was Sie wissen wollen. Ob ein neuer Entwurf insgesamt besser ist, zeigt der A/B-Test des Pakets. Welches Element wirkt, zeigt ein Test je Element oder ein multivariater Test.

Quellen

Stand:

  1. A/B testing (Wikipedia, englisch), extern
  2. Controlled experiments on the web: survey and practical guide (Kohavi, Longbotham, Sommerfield, Henne, 2009), extern
  3. NIST/SEMATECH e-Handbook of Statistical Methods, 5.3.3.3 „Full factorial designs“ (National Institute of Standards and Technology), extern

Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?

Kostenlos. Ohne Anmeldung.

Gespräch anfragen