Randomisierung
Randomisierung ist die zufällige Aufteilung der Besucher auf die Fassungen eines Tests. Dadurch lässt sich ein Unterschied im Ergebnis der Änderung zuschreiben und nicht anderen Einflüssen.
teil1 KPI-Test
Geprüft werden nur öffentlich erreichbare Inhalte. Über den Prüf-Bot
Definition
Bei der Randomisierung entscheidet der Zufall, welcher Besucher in einem A/B-Test welche Fassung sieht. Das deutsche Wort dafür ist Zufallszuteilung. Kein Merkmal des Besuchers darf die Zuteilung beeinflussen, weder das Gerät noch die Uhrzeit noch die Herkunft.
Die zufällige Zuteilung ist das Kernmerkmal eines kontrollierten Experiments, und ein A/B-Test ist ein solches Experiment. Eine Zufallsstichprobe ist etwas anderes: Dort bestimmt der Zufall, wer überhaupt befragt wird, hier bestimmt er, wer welche Fassung sieht.
Bedeutung
Besucher unterscheiden sich in vielem, das Sie kennen, und in vielem, das Sie nicht kennen. Verteilt der Zufall, verteilen sich diese Einflüsse gleichmäßig auf die Gruppen. Im Durchschnitt herrschen in beiden Gruppen gleiche Voraussetzungen.
Die Gruppen unterscheidet dann nur die geprüfte Änderung. Ein Unterschied im Ergebnis lässt sich deshalb der Änderung zuschreiben. Im Protokoll Hopkins1 von teil1 gilt dazu die Regel: Wir ändern genau eine Sache.
Gleich sind die Gruppen nur im Durchschnitt. Die Schwankung, die bleibt, berücksichtigt die Auswertung des Tests. Auch sie setzt voraus, dass der Zufall die Besucher verteilt hat.
Funktionsweise
Die Zuteilung übernimmt ein Programm. Im Web erfüllt es drei Bedingungen:
- Bei einer Aufteilung je zur Hälfte sieht jeder Besucher jede Fassung mit gleicher Wahrscheinlichkeit. Keine Fassung wird bevorzugt.
- Derselbe Besucher sieht bei jedem Besuch dieselbe Fassung.
- Laufen mehrere Tests zugleich, hängen ihre Zuteilungen nicht zusammen.
Die bestehende und die geänderte Fassung, also Kontrolle und Variante, laufen gleichzeitig und mit gleichem Budget. Wie viele Besucher ein Test braucht, sagt die Randomisierung nicht. Das klärt die Stichprobengröße.
Typischer Irrtum
Diesen Monat die alte Fassung, nächsten Monat die neue: Das ist keine zufällige Aufteilung. Dann unterscheiden sich auch Zeitraum und Publikum. Am Wochenende kommen oft andere Besucher als unter der Woche, dazu kommen Feiertage und Jahreszeiten. Ob die Änderung gewirkt hat oder der Kalender, lässt sich nicht mehr trennen.
Auch ein festes Muster ist kein Zufall: abwechselnd A und B, oder vormittags A und nachmittags B.
Lassen Sie deshalb beide Fassungen gleichzeitig laufen und die Zuteilung ein Programm treffen. Fragen Sie bei jedem Testergebnis zuerst, wie aufgeteilt wurde.
Verwandte Begriffe
- A/B-Test Der Test, in dem die zufällige Aufteilung eingesetzt wird.
- Kontrolle und Variante Die Kontrolle ist die bestehende Fassung, die Variante die geänderte Fassung in einem A/B-Test.
- Stichprobengröße Die Stichprobengröße ist die Zahl der Besucher oder Messwerte, die ein Test je Fassung braucht.
- Statistische Signifikanz Statistisch signifikant heißt: Ein so großer Unterschied wäre selten, wenn die Änderung in Wahrheit nichts bewirkt.
- Multivariater Test Ein multivariater Test prüft mehrere Elemente einer Seite oder Anzeige in einem Test, jedes in mehreren Fassungen.
- Konfidenzniveau Das Konfidenzniveau gibt an, wie streng ein Testergebnis gegen Zufall abgesichert sein muss, bevor es als Ergebnis gilt.
Quellen
Stand:
Nächste Schritte
-
Messen Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?
- Messen Zum Test
- Messen Zum Test
- Protokoll Hopkins1 Protokoll Hopkins1 ist das System von teil1 für Anzeigen und Landingpages. Eine Variable je Test, gemessen an Kosten pro Lead und Qualitätsquote.
- A/B-Testing Beiträge zu A/B-Tests: was Claude Hopkins gemacht hat, was A/B-Testing ist und wie ein Test bei teil1 abläuft — aus der teil1 Redaktion.