Cookie-Einstellungen

Zwecke
Menü Test starten

Kontrolle und Variante

Die Kontrolle ist die bestehende Fassung, die Variante die geänderte Fassung in einem A/B-Test. Beide laufen gleichzeitig, und der Zufall entscheidet, wer welche sieht.

teil1 KPI-Test

Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?

Kostenlos. Ohne Anmeldung.

Definition

Kontrolle und Variante sind die zwei Fassungen, die ein A/B-Test vergleicht. Die Kontrolle ist die Fassung, die bisher läuft. Das kann Ihre heutige Anzeige sein oder die Seite, auf die sie führt (Landingpage). Die Variante ist die geänderte Fassung, die dagegen geprüft wird.

Oft heißen die beiden Version A und Version B, in englischen Texten „Control“ und „Treatment“. Manche Texte nennen beide Fassungen Variante: Variante A ist dann die Kontrolle.

Bedeutung

Die Kontrolle ist der Maßstab. Ohne sie wissen Sie nicht, ob die neue Fassung besser ist oder ob sich nur die Umstände geändert haben.

Der Zufall entscheidet, wer welche Fassung sieht. So sind beide Gruppen im Mittel gleich, bis auf die Änderung. Ein Unterschied im Ergebnis lässt sich dann der Änderung zuschreiben.

Funktionsweise

Beide Fassungen laufen gleichzeitig. Empfohlen ist die Hälfte der Besucher je Fassung, weil der Test so am schnellsten genug Daten hat. Ausgewertet wird einmal, am Ende des Tests.

Im Protokoll Hopkins1 von teil1 gilt: Wir ändern genau eine Sache. Beide Fassungen laufen mit gleichem Budget, das Publikum wird zufällig 50/50 aufgeteilt. Gewinnt die Variante, wird sie die neue Kontrolle für den nächsten Test.

Google Ads hat für solche Tests den Bereich „Experimente“. Dort lassen sich Budget oder Zugriffe (Traffic) zwischen der ursprünglichen Kampagne und der Testkampagne teilen.

Praxisbeispiel

Ein Unternehmen schaltet Anzeigen, die auf eine Landingpage führen.

  • Kontrolle: die heutige Seite. Die Überschrift nennt die Leistung.
  • Variante: dieselbe Seite. Die Überschrift nennt den Nutzen.

Sonst ist alles gleich. Messgröße ist der Anteil der Besucher, die eine Anfrage senden (Conversion-Rate).

Vor dem Start steht fest: Ausgewertet wird einmal, sobald jede Fassung 3.200 Besucher hatte. Gewinnt die Variante, ersetzt sie die heutige Seite. Sonst bleibt die Kontrolle.

Typischer Irrtum

Erst die alte Fassung zeigen, dann die neue: Das ist ein Vorher-Nachher-Vergleich, kein Test. Ein Unterschied kann dann am Zeitraum liegen statt an der Änderung; warum, erklärt der Eintrag zur Randomisierung.

Der zweite Irrtum: mehrere Änderungen in eine Variante packen und danach glauben, man wisse, was gewirkt hat. Der Test zeigt dann, ob das Paket wirkt, aber nicht, welche Änderung. Wer die Wirkung jeder Änderung kennen will, braucht je Änderung einen Test oder einen multivariaten Test.

Legen Sie deshalb vor jedem Test fest, was die Kontrolle ist und was die Variante ändert.

Quellen

Stand:

  1. A/B testing (Wikipedia, englisch), extern
  2. A/B Testing and Experimental Design (Mukul Pareek), extern
  3. Controlled experiments on the web: survey and practical guide (Kohavi, Longbotham, Sommerfield, Henne, 2009), extern
  4. Google Ads-Hilfe: Experimente, extern

Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?

Kostenlos. Ohne Anmeldung.

Gespräch anfragen