Cookie-Einstellungen

Zwecke
Menü Test starten

Stichprobengröße

Die Stichprobengröße ist die Zahl der Besucher oder Messwerte, die ein Test je Fassung braucht. Sie wird vor dem Test festgelegt, ausgewertet wird einmal am Ende.

teil1 KPI-Test

Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?

Kostenlos. Ohne Anmeldung.

Bedeutung

Zwei Gruppen von Besuchern liefern selten genau dasselbe Ergebnis, auch wenn beide dieselbe Seite sehen. In jedem A/B-Test steckt deshalb Zufall. Je mehr Daten der Test sammelt, desto weniger schwankt das Ergebnis durch Zufall.

Zu kleine Stichproben sind ein häufiger Fehler beim Testen. Der Test übersieht dann leicht einen Unterschied, den es gibt: Eine Änderung, die wirkt, bleibt oft unentdeckt.

Funktionsweise

Wie viele Besucher braucht ein Test? Ohne weitere Angaben gibt es darauf keine richtige Antwort. Die nötige Stichprobe hängt von vier Dingen ab:

  • Der Unterschied, den der Test erkennen soll. Große Unterschiede sind leicht zu erkennen, kleine brauchen viel mehr Daten.
  • Die Schwankung der Messgröße, also der Zahl, an der Sie den Test messen. Je stärker sie schwankt, desto mehr Daten sind nötig.
  • Die Strenge der Auswertung. Wer seltener einen Fehlalarm will, also einen gemeldeten Unterschied, den es nicht gibt, braucht mehr Daten.
  • Die Teststärke (englisch Power): wie verlässlich der Test einen Unterschied findet, den es gibt.

Für eine Website heißt das: Soll der Test nur einen großen Unterschied bei den Anfragen erkennen, genügt eine kleinere Stichprobe. Je weniger Besucher die Seite hat, desto größer muss der Unterschied sein, damit ein Test ihn erkennt.

Diese Angaben und die Messgröße stehen vor dem Start fest. Daraus wird die Stichprobe berechnet. Der Test läuft, bis jede Fassung sie erreicht hat, und wird dann einmal ausgewertet. Ob der Unterschied als Ergebnis gilt, entscheidet die statistische Signifikanz.

Rechenweg

Beispielrechnung: Die Seite eines Unternehmens macht aus 2 von 100 Besuchern eine Anfrage. Ihre Conversion-Rate, die Messgröße des Tests, liegt bei 2 %. Der Test soll einen Unterschied von einem Prozentpunkt erkennen, also 3 % statt 2 %.

Für den Überschlag gibt es eine Faustformel der Fachliteratur: 16 mal die Schwankung der Messgröße, geteilt durch das Quadrat des Unterschieds. Das Ergebnis ist die Stichprobe je Fassung. Gerechnet wird mit Anteilen: 2 % sind 0,02, ein Prozentpunkt ist 0,01. Die Schwankung einer Conversion-Rate, in der Statistik ihre Varianz, ist die Rate mal ihrem Rest auf 100 %: 0,02 mal 0,98.

Beispielrechnung: Stichprobe je Fassung
Schritt Rechnung Ergebnis
Schwankung der Messgröße 0,02 × 0,98 0,0196
Unterschied im Quadrat 0,01 × 0,01 0,0001
16 mal die Schwankung 16 × 0,0196 0,3136
Geteilt durch den Unterschied im Quadrat 0,3136 ÷ 0,0001 3.136
Stichprobe je Fassung 3.136, aufgerundet 3.200 Besucher

Beide Fassungen zusammen brauchen in diesem Beispiel 6.400 Besucher. Die Zahl gilt nur für diese Annahmen: Soll der Test schon einen halben Prozentpunkt erkennen, vervierfacht sich das Ergebnis der Rechnung von 3.136 auf 12.544 Besucher je Fassung, weil der Unterschied im Quadrat in die Rechnung eingeht.

Die Rechnung ist eine Faustformel und ergibt einen Überschlag, keine genaue Zahl: Sie setzt ein Konfidenzniveau von 95 % und eine Teststärke von 80 % voraus.

Typischer Irrtum

Der Test läuft erst kurz, und eine Fassung liegt vorne. Es liegt nahe, jetzt abzubrechen und den Gewinner zu übernehmen. Genau das macht die Auswertung unzuverlässig.

Der Grund: Am Anfang ist die Stichprobe klein und der Zufall groß. Ein früher Vorsprung kann reiner Zufall sein.

Jeder Blick auf den Zwischenstand ist eine weitere Gelegenheit, einen solchen Vorsprung für das Ergebnis zu halten. Wer öfter schaut und beim ersten Vorsprung abbricht, bekommt mehr Fehlalarme. Die Auswertung gilt für die vorab festgelegte Stichprobe und für eine Auswertung am Ende.

Für Ihre Tests heißt das: Schreiben Sie die Stichprobe vor dem Start auf. Entscheiden Sie erst, wenn jede Fassung sie erreicht hat, auch wenn eine früh vorne liegt.

Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?

Kostenlos. Ohne Anmeldung.

Gespräch anfragen