A/B-Test
Ein A/B-Test ist ein zufallsgesteuertes kontrolliertes Experiment: Besucher werden zufällig auf Version A oder Version B verteilt. Ändert Version B beim A/B-Testing nur eine Sache, lässt sich ein Unterschied im Ergebnis dieser einen Änderung zuschreiben.
teil1 KPI-Test
Geprüft werden nur öffentlich erreichbare Inhalte. Über den Prüf-Bot
Definition
Ein A/B-Test vergleicht zwei Versionen derselben Sache, zum Beispiel einer Anzeige, einer Überschrift oder einer Landingpage. Die Besucher werden zufällig auf Version A oder Version B verteilt. Weil der Zufall entscheidet, wer welche Version sieht, lässt sich ein Unterschied im Ergebnis der Änderung zuschreiben und nicht anderen Einflüssen.
Ablauf in fünf Schritten
- Annahme festhalten: Welche eine Sache wird geändert, und was soll sich dadurch ändern?
- Messgröße und Stichprobe vorab festlegen. Wer die Messgröße erst nachher wählt, sucht sich die Zahl aus, die sich zufällig bewegt hat.
- Besucher zufällig aufteilen. Beide Versionen laufen gleichzeitig.
- Laufen lassen, bis die festgelegte Stichprobe erreicht ist, und dann einmal auswerten.
- Entscheiden: Gewinnt eine Version, wird sie zur neuen Ausgangsbasis. Gewinnt keine, ist die Annahme in diesem Test nicht bestätigt.
Was signifikant heißt
Ein Ergebnis heißt signifikant, wenn ein so großer Unterschied selten wäre, falls die Änderung in Wahrheit nichts bewirkt. Üblich ist dafür eine Schwelle von 5 Prozent. Was das Wort nicht sagt, erklärt der Eintrag zur statistischen Signifikanz.
Typischer Irrtum
Der häufigste Fehler ist, zwischendurch auf die Zahlen zu schauen und den Test beim ersten scheinbaren Gewinner abzubrechen. Das erhöht die Zahl der Fehlalarme. Ein weiterer Fehler ist eine zu kleine Stichprobe. Und wer fünf Dinge zugleich ändert, weiß danach nur, ob das Paket wirkt, nicht welche Änderung. Nicht jeder Test hat einen Gewinner.
A/B-Test, Split-Test und multivariater Test
Ein A/B-Test vergleicht zwei Versionen. Bei teil1 gilt dazu die Regel: Wir ändern genau eine Sache. Die Statistik verlangt das nicht: Stecken mehrere Änderungen in Version B, bleibt es ein A/B-Test. Er zeigt dann, ob das Paket wirkt, aber nicht, welche Änderung. Ein multivariater Test prüft dagegen mehrere Elemente in einem Test, jedes in mehreren Fassungen; er ist komplexer.
A/B-Tests in Google Ads
Google Ads hat einen Bereich „Experimente“. Der Traffic wird zwischen der ursprünglichen Kampagne und der Testkampagne geteilt, das Ergebnis lässt sich in die Kampagne übernehmen.
Verwandte Begriffe
- Cost per Lead Die durchschnittlichen Kosten für die Gewinnung eines qualifizierten Interessenten.
- Multivariater Test Ein multivariater Test prüft mehrere Elemente einer Seite oder Anzeige in einem Test, jedes in mehreren Fassungen.
- Konfidenzniveau Das Konfidenzniveau gibt an, wie streng ein Testergebnis gegen Zufall abgesichert sein muss, bevor es als Ergebnis gilt.
- Kontrolle und Variante Die Kontrolle ist die bestehende Fassung, die Variante die geänderte Fassung in einem A/B-Test.
- Statistische Signifikanz Statistisch signifikant heißt: Ein so großer Unterschied wäre selten, wenn die Änderung in Wahrheit nichts bewirkt.
- Stichprobengröße Die Stichprobengröße ist die Zahl der Besucher oder Messwerte, die ein Test je Fassung braucht.
Quellen
- Wikipedia (englisch): A/B testing, extern
- A/B Testing, Experimental Design (mukulpareek.github.io), extern
- KDnuggets: 5 Things to Know About A/B Testing, extern
- Google Ads-Hilfe: Experimente, extern
- Controlled experiments on the web: survey and practical guide (Kohavi, Longbotham, Sommerfield, Henne, 2009), extern
- NIST/SEMATECH e-Handbook of Statistical Methods, 7.1.3: What are statistical tests?, extern
Nächste Schritte
-
Messen Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?
- Messen Zum Test
- Messen Zum Test
- Protokoll Hopkins1 Protokoll Hopkins1 ist das System von teil1 für Anzeigen und Landingpages.
- A/B-Testing Beiträge zu A/B-Tests: was Claude Hopkins gemacht hat, was A/B-Testing ist und wie ein Test bei teil1 abläuft — aus der teil1 Redaktion.