Stichprobengröße
Die Stichprobengröße ist die Zahl der Besucher oder Messwerte, die ein Test je Fassung braucht. Sie wird vor dem Test festgelegt, ausgewertet wird einmal am Ende.
teil1 KPI-Test
Geprüft werden nur öffentlich erreichbare Inhalte. Über den Prüf-Bot
Bedeutung
Zwei Gruppen von Besuchern liefern selten genau dasselbe Ergebnis, auch wenn beide dieselbe Seite sehen. In jedem A/B-Test steckt deshalb Zufall. Je mehr Daten der Test sammelt, desto weniger schwankt das Ergebnis durch Zufall.
Zu kleine Stichproben sind ein häufiger Fehler beim Testen. Der Test übersieht dann leicht einen Unterschied, den es gibt: Eine Änderung, die wirkt, bleibt oft unentdeckt.
Funktionsweise
Wie viele Besucher braucht ein Test? Ohne weitere Angaben gibt es darauf keine richtige Antwort. Die nötige Stichprobe hängt von vier Dingen ab:
- Der Unterschied, den der Test erkennen soll. Große Unterschiede sind leicht zu erkennen, kleine brauchen viel mehr Daten.
- Die Schwankung der Messgröße, also der Zahl, an der Sie den Test messen. Je stärker sie schwankt, desto mehr Daten sind nötig.
- Die Strenge der Auswertung. Wer seltener einen Fehlalarm will, also einen gemeldeten Unterschied, den es nicht gibt, braucht mehr Daten.
- Die Teststärke (englisch Power): wie verlässlich der Test einen Unterschied findet, den es gibt.
Für eine Website heißt das: Soll der Test nur einen großen Unterschied bei den Anfragen erkennen, genügt eine kleinere Stichprobe. Je weniger Besucher die Seite hat, desto größer muss der Unterschied sein, damit ein Test ihn erkennt.
Diese Angaben und die Messgröße stehen vor dem Start fest. Daraus wird die Stichprobe berechnet. Der Test läuft, bis jede Fassung sie erreicht hat, und wird dann einmal ausgewertet. Ob der Unterschied als Ergebnis gilt, entscheidet die statistische Signifikanz.
Rechenweg
Beispielrechnung: Die Seite eines Unternehmens macht aus 2 von 100 Besuchern eine Anfrage. Ihre Conversion-Rate, die Messgröße des Tests, liegt bei 2 %. Der Test soll einen Unterschied von einem Prozentpunkt erkennen, also 3 % statt 2 %.
Für den Überschlag gibt es eine Faustformel der Fachliteratur: 16 mal die Schwankung der Messgröße, geteilt durch das Quadrat des Unterschieds. Das Ergebnis ist die Stichprobe je Fassung. Gerechnet wird mit Anteilen: 2 % sind 0,02, ein Prozentpunkt ist 0,01. Die Schwankung einer Conversion-Rate, in der Statistik ihre Varianz, ist die Rate mal ihrem Rest auf 100 %: 0,02 mal 0,98.
| Schritt | Rechnung | Ergebnis |
|---|---|---|
| Schwankung der Messgröße | 0,02 × 0,98 | 0,0196 |
| Unterschied im Quadrat | 0,01 × 0,01 | 0,0001 |
| 16 mal die Schwankung | 16 × 0,0196 | 0,3136 |
| Geteilt durch den Unterschied im Quadrat | 0,3136 ÷ 0,0001 | 3.136 |
| Stichprobe je Fassung | 3.136, aufgerundet | 3.200 Besucher |
Beide Fassungen zusammen brauchen in diesem Beispiel 6.400 Besucher. Die Zahl gilt nur für diese Annahmen: Soll der Test schon einen halben Prozentpunkt erkennen, vervierfacht sich das Ergebnis der Rechnung von 3.136 auf 12.544 Besucher je Fassung, weil der Unterschied im Quadrat in die Rechnung eingeht.
Die Rechnung ist eine Faustformel und ergibt einen Überschlag, keine genaue Zahl: Sie setzt ein Konfidenzniveau von 95 % und eine Teststärke von 80 % voraus.
Typischer Irrtum
Der Test läuft erst kurz, und eine Fassung liegt vorne. Es liegt nahe, jetzt abzubrechen und den Gewinner zu übernehmen. Genau das macht die Auswertung unzuverlässig.
Der Grund: Am Anfang ist die Stichprobe klein und der Zufall groß. Ein früher Vorsprung kann reiner Zufall sein.
Jeder Blick auf den Zwischenstand ist eine weitere Gelegenheit, einen solchen Vorsprung für das Ergebnis zu halten. Wer öfter schaut und beim ersten Vorsprung abbricht, bekommt mehr Fehlalarme. Die Auswertung gilt für die vorab festgelegte Stichprobe und für eine Auswertung am Ende.
Für Ihre Tests heißt das: Schreiben Sie die Stichprobe vor dem Start auf. Entscheiden Sie erst, wenn jede Fassung sie erreicht hat, auch wenn eine früh vorne liegt.
Verwandte Begriffe
- A/B-Test Ein A/B-Test ist ein zufallsgesteuertes kontrolliertes Experiment: Besucher werden zufällig auf Version A oder Version B verteilt.
- Statistische Signifikanz Statistisch signifikant heißt: Ein so großer Unterschied wäre selten, wenn die Änderung in Wahrheit nichts bewirkt.
- Hypothese Eine Hypothese ist die vorab festgeschriebene Annahme, die ein Test prüft.
- Multivariater Test Ein multivariater Test prüft mehrere Elemente einer Seite oder Anzeige in einem Test, jedes in mehreren Fassungen.
- Konfidenzniveau Das Konfidenzniveau gibt an, wie streng ein Testergebnis gegen Zufall abgesichert sein muss, bevor es als Ergebnis gilt.
- Randomisierung Randomisierung ist die zufällige Aufteilung der Besucher auf die Fassungen eines Tests.
Quellen
Stand:
- A/B testing (Wikipedia, englisch), extern
- A/B Testing and Experimental Design (Mukul Pareek), extern
- Controlled experiments on the web: survey and practical guide (Kohavi, Longbotham, Sommerfield, Henne, 2009), extern
- NIST/SEMATECH e-Handbook of Statistical Methods, 7.2.2.2: Sample sizes required, extern
- Always Valid Inference: Bringing Sequential Analysis to A/B Testing (Johari, Pekelis, Walsh, 2015), extern
Nächste Schritte
-
Messen Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?
- Messen Zum Test
- Messen Zum Test
- Protokoll Hopkins1 Protokoll Hopkins1 ist das System von teil1 für Anzeigen und Landingpages. Eine Variable je Test, gemessen an Kosten pro Lead und Qualitätsquote.
- A/B-Testing Beiträge zu A/B-Tests: was Claude Hopkins gemacht hat, was A/B-Testing ist und wie ein Test bei teil1 abläuft — aus der teil1 Redaktion.