Konfidenzniveau
Das Konfidenzniveau gibt an, wie streng ein Testergebnis gegen Zufall abgesichert sein muss, bevor es als Ergebnis gilt. Es wird vor dem Test festgelegt und ist das Gegenstück zum Signifikanzniveau.
teil1 KPI-Test
Geprüft werden nur öffentlich erreichbare Inhalte. Über den Prüf-Bot
Definition
Das Konfidenzniveau ist die vorab festgelegte Strenge, mit der ein Test ausgewertet wird. Genauer: Es ist die Wahrscheinlichkeit, dass die Auswertung keinen Unterschied meldet, wenn es in Wahrheit keinen gibt.
In einem A/B-Test legt es fest, wann ein Unterschied zwischen zwei Fassungen als Ergebnis gilt. Man spricht dann von statistischer Signifikanz: Ein so großer Unterschied wäre selten, wenn die Änderung in Wahrheit nichts bewirkt.
Bedeutung
Das Niveau wählen Sie selbst, und zwar vor dem Test. Damit steht die Regel fest, bevor die erste Zahl vorliegt.
Zum Niveau gehören eine feste Stichprobe und eine einzige Auswertung am Ende. Wer zwischendurch schaut und beim ersten Vorsprung abbricht, bekommt mehr Fehlalarme, als das gewählte Niveau vorsieht. Ein Fehlalarm heißt, der Test meldet einen Unterschied, obwohl es keinen gibt.
Funktionsweise
Das Konfidenzniveau ist das Gegenstück zum Signifikanzniveau, dem vorab gewählten Risiko eines Fehlalarms. Beide ergeben zusammen 100 %. Häufig werden 95 % gewählt, das entspricht einem Signifikanzniveau von 5 %. Gibt es in Wahrheit keinen Unterschied, meldet der Test dann in etwa 5 von 100 Fällen trotzdem einen.
Ein höheres Niveau senkt die Fehlalarme. Dafür wird bei gleichen Daten ein vorhandener Unterschied seltener erkannt. Wer strenger auswerten will, braucht mehr Daten.
Praxisbeispiel
Ein Unternehmen testet die Überschrift seiner Landingpage, der Seite, auf die seine Anzeigen führen. Die bestehende Fassung nennt die Leistung, die geänderte Fassung nennt den Nutzen. Sonst ist alles gleich. Gemessen wird, wie viele Besucher eine Anfrage senden.
Vor dem Start legt das Unternehmen drei Dinge fest: ein Konfidenzniveau von 95 %, eine Mindeststichprobe von 3.200 Besuchern je Fassung und den Zeitpunkt der Auswertung. Ausgewertet wird einmal, wenn beide Fassungen die Mindeststichprobe erreicht haben.
Liegt eine Fassung vorher vorne, läuft der Test trotzdem weiter. Erst die Auswertung am Ende entscheidet, ob der Unterschied als Ergebnis gilt.
Typischer Irrtum
Ein Konfidenzniveau von 95 % heißt nicht, dass die geänderte Fassung mit 95 % Wahrscheinlichkeit besser ist. Die Zahl beschreibt das Verfahren, nicht das einzelne Ergebnis: Sie sagt, wie selten die Auswertung falschen Alarm gibt, wenn es keinen Unterschied gibt.
Ein hohes Niveau ersetzt auch keine ausreichende Stichprobe. Ein Test mit zu wenig Daten übersieht einen vorhandenen Unterschied leicht, gleich wie streng er ausgewertet wird.
Legen Sie deshalb beides vor dem Start fest, das Niveau und die Stichprobe. Lesen Sie das Ergebnis dann als Entscheidung nach fester Regel, nicht als Gewissheit.
Verwandte Begriffe
- A/B-Test Ein A/B-Test ist ein zufallsgesteuertes kontrolliertes Experiment: Besucher werden zufällig auf Version A oder Version B verteilt.
- Statistische Signifikanz Statistisch signifikant heißt: Ein so großer Unterschied wäre selten, wenn die Änderung in Wahrheit nichts bewirkt.
- Stichprobengröße Die Stichprobengröße ist die Zahl der Besucher oder Messwerte, die ein Test je Fassung braucht.
- Hypothese Eine Hypothese ist die vorab festgeschriebene Annahme, die ein Test prüft.
- Randomisierung Randomisierung ist die zufällige Aufteilung der Besucher auf die Fassungen eines Tests.
- Kontrolle und Variante Die Kontrolle ist die bestehende Fassung, die Variante die geänderte Fassung in einem A/B-Test.
Quellen
Stand:
- A/B testing (Wikipedia, englisch), extern
- A/B Testing and Experimental Design (Mukul Pareek), extern
- Controlled experiments on the web: survey and practical guide (Kohavi, Longbotham, Sommerfield, Henne, 2009), extern
- NIST/SEMATECH e-Handbook of Statistical Methods, 7.1.4 „What are confidence intervals?“, extern
Nächste Schritte
-
Messen Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?
- Messen Zum Test
- Messen Zum Test
- Protokoll Hopkins1 Protokoll Hopkins1 ist das System von teil1 für Anzeigen und Landingpages. Eine Variable je Test, gemessen an Kosten pro Lead und Qualitätsquote.
- A/B-Testing Beiträge zu A/B-Tests: was Claude Hopkins gemacht hat, was A/B-Testing ist und wie ein Test bei teil1 abläuft — aus der teil1 Redaktion.