Cookie-Einstellungen

Zwecke
Menü Test starten

Randomisierung

Randomisierung ist die zufällige Aufteilung der Besucher auf die Fassungen eines Tests. Dadurch lässt sich ein Unterschied im Ergebnis der Änderung zuschreiben und nicht anderen Einflüssen.

teil1 KPI-Test

Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?

Kostenlos. Ohne Anmeldung.

Definition

Bei der Randomisierung entscheidet der Zufall, welcher Besucher in einem A/B-Test welche Fassung sieht. Das deutsche Wort dafür ist Zufallszuteilung. Kein Merkmal des Besuchers darf die Zuteilung beeinflussen, weder das Gerät noch die Uhrzeit noch die Herkunft.

Die zufällige Zuteilung ist das Kernmerkmal eines kontrollierten Experiments, und ein A/B-Test ist ein solches Experiment. Eine Zufallsstichprobe ist etwas anderes: Dort bestimmt der Zufall, wer überhaupt befragt wird, hier bestimmt er, wer welche Fassung sieht.

Bedeutung

Besucher unterscheiden sich in vielem, das Sie kennen, und in vielem, das Sie nicht kennen. Verteilt der Zufall, verteilen sich diese Einflüsse gleichmäßig auf die Gruppen. Im Durchschnitt herrschen in beiden Gruppen gleiche Voraussetzungen.

Die Gruppen unterscheidet dann nur die geprüfte Änderung. Ein Unterschied im Ergebnis lässt sich deshalb der Änderung zuschreiben. Im Protokoll Hopkins1 von teil1 gilt dazu die Regel: Wir ändern genau eine Sache.

Gleich sind die Gruppen nur im Durchschnitt. Die Schwankung, die bleibt, berücksichtigt die Auswertung des Tests. Auch sie setzt voraus, dass der Zufall die Besucher verteilt hat.

Funktionsweise

Die Zuteilung übernimmt ein Programm. Im Web erfüllt es drei Bedingungen:

  • Bei einer Aufteilung je zur Hälfte sieht jeder Besucher jede Fassung mit gleicher Wahrscheinlichkeit. Keine Fassung wird bevorzugt.
  • Derselbe Besucher sieht bei jedem Besuch dieselbe Fassung.
  • Laufen mehrere Tests zugleich, hängen ihre Zuteilungen nicht zusammen.

Die bestehende und die geänderte Fassung, also Kontrolle und Variante, laufen gleichzeitig und mit gleichem Budget. Wie viele Besucher ein Test braucht, sagt die Randomisierung nicht. Das klärt die Stichprobengröße.

Typischer Irrtum

Diesen Monat die alte Fassung, nächsten Monat die neue: Das ist keine zufällige Aufteilung. Dann unterscheiden sich auch Zeitraum und Publikum. Am Wochenende kommen oft andere Besucher als unter der Woche, dazu kommen Feiertage und Jahreszeiten. Ob die Änderung gewirkt hat oder der Kalender, lässt sich nicht mehr trennen.

Auch ein festes Muster ist kein Zufall: abwechselnd A und B, oder vormittags A und nachmittags B.

Lassen Sie deshalb beide Fassungen gleichzeitig laufen und die Zuteilung ein Programm treffen. Fragen Sie bei jedem Testergebnis zuerst, wie aufgeteilt wurde.

Quellen

Stand:

  1. A/B testing (Wikipedia, englisch), extern
  2. Controlled experiments on the web: survey and practical guide (Kohavi, Longbotham, Sommerfield, Henne, 2009), extern
  3. NIST/SEMATECH e-Handbook of Statistical Methods, 5.3.3.1 „Completely randomized designs“, extern
  4. Randomisierung (Wikipedia, deutsch), extern

Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?

Kostenlos. Ohne Anmeldung.

Gespräch anfragen