Kontrolle und Variante
Die Kontrolle ist die bestehende Fassung, die Variante die geänderte Fassung in einem A/B-Test. Beide laufen gleichzeitig, und der Zufall entscheidet, wer welche sieht.
teil1 KPI-Test
Geprüft werden nur öffentlich erreichbare Inhalte. Über den Prüf-Bot
Definition
Kontrolle und Variante sind die zwei Fassungen, die ein A/B-Test vergleicht. Die Kontrolle ist die Fassung, die bisher läuft. Das kann Ihre heutige Anzeige sein oder die Seite, auf die sie führt (Landingpage). Die Variante ist die geänderte Fassung, die dagegen geprüft wird.
Oft heißen die beiden Version A und Version B, in englischen Texten „Control“ und „Treatment“. Manche Texte nennen beide Fassungen Variante: Variante A ist dann die Kontrolle.
Bedeutung
Die Kontrolle ist der Maßstab. Ohne sie wissen Sie nicht, ob die neue Fassung besser ist oder ob sich nur die Umstände geändert haben.
Der Zufall entscheidet, wer welche Fassung sieht. So sind beide Gruppen im Mittel gleich, bis auf die Änderung. Ein Unterschied im Ergebnis lässt sich dann der Änderung zuschreiben.
Funktionsweise
Beide Fassungen laufen gleichzeitig. Empfohlen ist die Hälfte der Besucher je Fassung, weil der Test so am schnellsten genug Daten hat. Ausgewertet wird einmal, am Ende des Tests.
Im Protokoll Hopkins1 von teil1 gilt: Wir ändern genau eine Sache. Beide Fassungen laufen mit gleichem Budget, das Publikum wird zufällig 50/50 aufgeteilt. Gewinnt die Variante, wird sie die neue Kontrolle für den nächsten Test.
Google Ads hat für solche Tests den Bereich „Experimente“. Dort lassen sich Budget oder Zugriffe (Traffic) zwischen der ursprünglichen Kampagne und der Testkampagne teilen.
Praxisbeispiel
Ein Unternehmen schaltet Anzeigen, die auf eine Landingpage führen.
- Kontrolle: die heutige Seite. Die Überschrift nennt die Leistung.
- Variante: dieselbe Seite. Die Überschrift nennt den Nutzen.
Sonst ist alles gleich. Messgröße ist der Anteil der Besucher, die eine Anfrage senden (Conversion-Rate).
Vor dem Start steht fest: Ausgewertet wird einmal, sobald jede Fassung 3.200 Besucher hatte. Gewinnt die Variante, ersetzt sie die heutige Seite. Sonst bleibt die Kontrolle.
Typischer Irrtum
Erst die alte Fassung zeigen, dann die neue: Das ist ein Vorher-Nachher-Vergleich, kein Test. Ein Unterschied kann dann am Zeitraum liegen statt an der Änderung; warum, erklärt der Eintrag zur Randomisierung.
Der zweite Irrtum: mehrere Änderungen in eine Variante packen und danach glauben, man wisse, was gewirkt hat. Der Test zeigt dann, ob das Paket wirkt, aber nicht, welche Änderung. Wer die Wirkung jeder Änderung kennen will, braucht je Änderung einen Test oder einen multivariaten Test.
Legen Sie deshalb vor jedem Test fest, was die Kontrolle ist und was die Variante ändert.
Verwandte Begriffe
- A/B-Test Ein A/B-Test ist ein zufallsgesteuertes kontrolliertes Experiment: Besucher werden zufällig auf Version A oder Version B verteilt.
- Randomisierung Randomisierung ist die zufällige Aufteilung der Besucher auf die Fassungen eines Tests.
- Hypothese Eine Hypothese ist die vorab festgeschriebene Annahme, die ein Test prüft.
- Multivariater Test Ein multivariater Test prüft mehrere Elemente einer Seite oder Anzeige in einem Test, jedes in mehreren Fassungen.
- Statistische Signifikanz Statistisch signifikant heißt: Ein so großer Unterschied wäre selten, wenn die Änderung in Wahrheit nichts bewirkt.
- Stichprobengröße Die Stichprobengröße ist die Zahl der Besucher oder Messwerte, die ein Test je Fassung braucht.
Nächste Schritte
-
Messen Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?
- Messen Zum Test
- Messen Zum Test
- Protokoll Hopkins1 Protokoll Hopkins1 ist das System von teil1 für Anzeigen und Landingpages. Eine Variable je Test, gemessen an Kosten pro Lead und Qualitätsquote.
- A/B-Testing Beiträge zu A/B-Tests: was Claude Hopkins gemacht hat, was A/B-Testing ist und wie ein Test bei teil1 abläuft — aus der teil1 Redaktion.