Statistische Signifikanz
Statistisch signifikant heißt: Ein so großer Unterschied wäre selten, wenn die Änderung in Wahrheit nichts bewirkt. Im A/B-Test legt das Signifikanzniveau vorab fest, ab wann ein Unterschied zwischen den Fassungen als Ergebnis gilt.
teil1 KPI-Test
Geprüft werden nur öffentlich erreichbare Inhalte. Über den Prüf-Bot
Bedeutung
Ein A/B-Test verteilt Besucher zufällig auf zwei Fassungen, zum Beispiel auf zwei Überschriften einer Seite. Am Ende stehen zwei Ergebnisse nebeneinander. Offen ist, ob die Änderung den Unterschied erzeugt hat oder der Zufall.
Die Statistik beginnt deshalb mit einer Annahme, der Nullhypothese: Die Fassungen unterscheiden sich nicht, und was Sie sehen, sind Zufallsschwankungen. Weichen die Daten stark genug von dieser Annahme ab, wird sie verworfen. Dann heißt der Unterschied statistisch signifikant. Erst dann gilt er als Ergebnis des Tests.
Funktionsweise
Wie stark die Daten abweichen müssen, steht vor dem Test fest. Die Regel dafür ist das Signifikanzniveau: das Risiko eines Fehlalarms, das Sie in Kauf nehmen. Ein Fehlalarm heißt, der Test meldet einen Unterschied, obwohl es keinen gibt.
Üblich ist ein Signifikanzniveau von 5 %. Gibt es in Wahrheit keinen Unterschied, meldet der Test dann in etwa 5 von 100 Fällen trotzdem einen. Das Gegenstück zum Signifikanzniveau ist das Konfidenzniveau.
Es gibt einen zweiten Fehler: einen vorhandenen Unterschied übersehen. Kleine Unterschiede werden leichter übersehen als große. Sinkt das eine Risiko, steigt bei gleichen Daten das andere.
Deshalb stehen vorab auch die Messgröße und die Stichprobengröße fest. Der Test läuft, bis die Stichprobe erreicht ist. Ausgewertet wird einmal, am Ende.
Typischer Irrtum
Signifikant wird oft gelesen als „das Ergebnis stimmt wahrscheinlich“. Das sagt der Begriff nicht. Signifikanz ist nicht die Wahrscheinlichkeit, dass eine Annahme stimmt, und nicht die Wahrscheinlichkeit, dass das Ergebnis reiner Zufall ist.
Sie misst auch nicht, wie groß oder wie wichtig ein Unterschied ist. Und „nicht signifikant“ heißt nicht „kein Unterschied“: Es kann auch heißen, dass die Daten noch nicht reichen.
Dazu kommt ein Fehler im Ablauf. Wer zwischendurch auf die Zahlen schaut und beim ersten Vorsprung abbricht, bekommt mehr Fehlalarme; warum, erklärt der Eintrag zur Stichprobengröße.
Für Ihre Tests heißt das: Legen Sie Messgröße, Stichprobe und Signifikanzniveau vor dem Start fest und werten Sie einmal aus. Entscheiden Sie dann nicht allein danach, ob die Schwelle erreicht ist. Fragen Sie auch, wie groß der Unterschied ist.
Verwandte Begriffe
- A/B-Test Ein A/B-Test ist ein zufallsgesteuertes kontrolliertes Experiment: Besucher werden zufällig auf Version A oder Version B verteilt.
- Konfidenzniveau Das Konfidenzniveau gibt an, wie streng ein Testergebnis gegen Zufall abgesichert sein muss, bevor es als Ergebnis gilt.
- Randomisierung Randomisierung ist die zufällige Aufteilung der Besucher auf die Fassungen eines Tests.
- Stichprobengröße Die Stichprobengröße ist die Zahl der Besucher oder Messwerte, die ein Test je Fassung braucht.
- Hypothese Eine Hypothese ist die vorab festgeschriebene Annahme, die ein Test prüft.
- Multivariater Test Ein multivariater Test prüft mehrere Elemente einer Seite oder Anzeige in einem Test, jedes in mehreren Fassungen.
Quellen
Stand:
- A/B testing (Wikipedia, englisch), extern
- A/B Testing and Experimental Design (Mukul Pareek), extern
- Controlled experiments on the web: survey and practical guide (Kohavi, Longbotham, Sommerfield, Henne, 2009), extern
- NIST/SEMATECH e-Handbook of Statistical Methods, 7.1.3: What are statistical tests?, extern
- American Statistical Association Releases Statement on Statistical Significance and P-Values (American Statistical Association, 2016), extern
Nächste Schritte
-
Messen Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?
- Messen Zum Test
- Messen Zum Test
- Protokoll Hopkins1 Protokoll Hopkins1 ist das System von teil1 für Anzeigen und Landingpages. Eine Variable je Test, gemessen an Kosten pro Lead und Qualitätsquote.
- A/B-Testing Beiträge zu A/B-Tests: was Claude Hopkins gemacht hat, was A/B-Testing ist und wie ein Test bei teil1 abläuft — aus der teil1 Redaktion.