Cookie-Einstellungen

Zwecke
Menü Test starten

A/B-Test

Ein A/B-Test ist ein zufallsgesteuertes kontrolliertes Experiment: Besucher werden zufällig auf Version A oder Version B verteilt. Ändert Version B beim A/B-Testing nur eine Sache, lässt sich ein Unterschied im Ergebnis dieser einen Änderung zuschreiben.

teil1 KPI-Test

Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?

Kostenlos. Ohne Anmeldung.

Definition

Ein A/B-Test vergleicht zwei Versionen derselben Sache, zum Beispiel einer Anzeige, einer Überschrift oder einer Landingpage. Die Besucher werden zufällig auf Version A oder Version B verteilt. Weil der Zufall entscheidet, wer welche Version sieht, lässt sich ein Unterschied im Ergebnis der Änderung zuschreiben und nicht anderen Einflüssen.

Ablauf in fünf Schritten

  1. Annahme festhalten: Welche eine Sache wird geändert, und was soll sich dadurch ändern?
  2. Messgröße und Stichprobe vorab festlegen. Wer die Messgröße erst nachher wählt, sucht sich die Zahl aus, die sich zufällig bewegt hat.
  3. Besucher zufällig aufteilen. Beide Versionen laufen gleichzeitig.
  4. Laufen lassen, bis die festgelegte Stichprobe erreicht ist, und dann einmal auswerten.
  5. Entscheiden: Gewinnt eine Version, wird sie zur neuen Ausgangsbasis. Gewinnt keine, ist die Annahme in diesem Test nicht bestätigt.

Was signifikant heißt

Ein Ergebnis heißt signifikant, wenn ein so großer Unterschied selten wäre, falls die Änderung in Wahrheit nichts bewirkt. Üblich ist dafür eine Schwelle von 5 Prozent. Was das Wort nicht sagt, erklärt der Eintrag zur statistischen Signifikanz.

Typischer Irrtum

Der häufigste Fehler ist, zwischendurch auf die Zahlen zu schauen und den Test beim ersten scheinbaren Gewinner abzubrechen. Das erhöht die Zahl der Fehlalarme. Ein weiterer Fehler ist eine zu kleine Stichprobe. Und wer fünf Dinge zugleich ändert, weiß danach nur, ob das Paket wirkt, nicht welche Änderung. Nicht jeder Test hat einen Gewinner.

A/B-Test, Split-Test und multivariater Test

Ein A/B-Test vergleicht zwei Versionen. Bei teil1 gilt dazu die Regel: Wir ändern genau eine Sache. Die Statistik verlangt das nicht: Stecken mehrere Änderungen in Version B, bleibt es ein A/B-Test. Er zeigt dann, ob das Paket wirkt, aber nicht, welche Änderung. Ein multivariater Test prüft dagegen mehrere Elemente in einem Test, jedes in mehreren Fassungen; er ist komplexer.

A/B-Tests in Google Ads

Google Ads hat einen Bereich „Experimente“. Der Traffic wird zwischen der ursprünglichen Kampagne und der Testkampagne geteilt, das Ergebnis lässt sich in die Kampagne übernehmen.

Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?

Kostenlos. Ohne Anmeldung.

Gespräch anfragen