Cookie-Einstellungen

Zwecke
Menü Test starten

Statistische Signifikanz

Statistisch signifikant heißt: Ein so großer Unterschied wäre selten, wenn die Änderung in Wahrheit nichts bewirkt. Im A/B-Test legt das Signifikanzniveau vorab fest, ab wann ein Unterschied zwischen den Fassungen als Ergebnis gilt.

teil1 KPI-Test

Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?

Kostenlos. Ohne Anmeldung.

Bedeutung

Ein A/B-Test verteilt Besucher zufällig auf zwei Fassungen, zum Beispiel auf zwei Überschriften einer Seite. Am Ende stehen zwei Ergebnisse nebeneinander. Offen ist, ob die Änderung den Unterschied erzeugt hat oder der Zufall.

Die Statistik beginnt deshalb mit einer Annahme, der Nullhypothese: Die Fassungen unterscheiden sich nicht, und was Sie sehen, sind Zufallsschwankungen. Weichen die Daten stark genug von dieser Annahme ab, wird sie verworfen. Dann heißt der Unterschied statistisch signifikant. Erst dann gilt er als Ergebnis des Tests.

Funktionsweise

Wie stark die Daten abweichen müssen, steht vor dem Test fest. Die Regel dafür ist das Signifikanzniveau: das Risiko eines Fehlalarms, das Sie in Kauf nehmen. Ein Fehlalarm heißt, der Test meldet einen Unterschied, obwohl es keinen gibt.

Üblich ist ein Signifikanzniveau von 5 %. Gibt es in Wahrheit keinen Unterschied, meldet der Test dann in etwa 5 von 100 Fällen trotzdem einen. Das Gegenstück zum Signifikanzniveau ist das Konfidenzniveau.

Es gibt einen zweiten Fehler: einen vorhandenen Unterschied übersehen. Kleine Unterschiede werden leichter übersehen als große. Sinkt das eine Risiko, steigt bei gleichen Daten das andere.

Deshalb stehen vorab auch die Messgröße und die Stichprobengröße fest. Der Test läuft, bis die Stichprobe erreicht ist. Ausgewertet wird einmal, am Ende.

Typischer Irrtum

Signifikant wird oft gelesen als „das Ergebnis stimmt wahrscheinlich“. Das sagt der Begriff nicht. Signifikanz ist nicht die Wahrscheinlichkeit, dass eine Annahme stimmt, und nicht die Wahrscheinlichkeit, dass das Ergebnis reiner Zufall ist.

Sie misst auch nicht, wie groß oder wie wichtig ein Unterschied ist. Und „nicht signifikant“ heißt nicht „kein Unterschied“: Es kann auch heißen, dass die Daten noch nicht reichen.

Dazu kommt ein Fehler im Ablauf. Wer zwischendurch auf die Zahlen schaut und beim ersten Vorsprung abbricht, bekommt mehr Fehlalarme; warum, erklärt der Eintrag zur Stichprobengröße.

Für Ihre Tests heißt das: Legen Sie Messgröße, Stichprobe und Signifikanzniveau vor dem Start fest und werten Sie einmal aus. Entscheiden Sie dann nicht allein danach, ob die Schwelle erreicht ist. Fragen Sie auch, wie groß der Unterschied ist.

Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?

Kostenlos. Ohne Anmeldung.

Gespräch anfragen