Hypothese
Eine Hypothese ist die vorab festgeschriebene Annahme, die ein Test prüft. Sie nennt, was sich ändert, die erwartete Wirkung, die Messgröße und die Mindeststichprobe.
teil1 KPI-Test
Geprüft werden nur öffentlich erreichbare Inhalte. Über den Prüf-Bot
Definition
Eine Hypothese ist eine Annahme, die an Daten geprüft wird. Im Test von Werbung steht sie vor dem Start schriftlich fest. Sie sagt, was geändert wird und welche Wirkung die Änderung haben soll.
Die Hypothese ist die Annahme, der A/B-Test das Verfahren, das sie prüft: Zwei Fassungen laufen gleichzeitig, der Zufall verteilt die Besucher.
Bedeutung
Die Hypothese legt vor dem Test fest, woran das Ergebnis gemessen wird und wie viele Daten es braucht. Wer die Messgröße erst nachher wählt, findet leichter ein Ergebnis, das nur zufällig auffällt.
Ein Test macht aus der Annahme keine Gewissheit. Genau genommen prüft die Statistik die Gegenannahme, die Nullhypothese: Zwischen den Fassungen gibt es keinen Unterschied.
Gewinnt keine Fassung, ist die Annahme in diesem Test nicht bestätigt. Auch das ist ein Ergebnis. Widerlegt ist die Annahme damit nicht: Vielleicht reichen die Daten noch nicht.
Funktionsweise
Für einen Test nennt eine Hypothese vier Dinge:
- Variable: das, was sich ändert.
- Erwartung: die Wirkung, die die Änderung haben soll.
- Messgröße: die Kennzahl, an der das Ergebnis abgelesen wird.
- Mindeststichprobe: so viele Besucher braucht jede Fassung, bevor ausgewertet wird.
Bei teil1 laufen Tests nach dem Protokoll Hopkins1. Dort gilt die Regel: „Wir ändern genau eine Sache.“ So ist nach dem Test klar, was gewirkt hat.
Jede Runde hat vier Schritte: Hypothese, Test, Auswertung, Entscheidung. Die Hypothese wird vor dem Start in ein Logbuch geschrieben.
Praxisbeispiel
Ein Unternehmen will wissen, welche Überschrift seiner Landingpage, der Zielseite seiner Anzeigen, mehr Anfragen bringt. Vor dem Test steht dieser Eintrag im Logbuch:
- Variable: die Überschrift. Bisher nennt sie die Leistung, die neue Fassung nennt den Nutzen. Sonst bleibt alles gleich.
- Erwartung: mehr Anfragen je 100 Besucher.
- Messgröße: Conversion-Rate der Seite, also Anfragen geteilt durch Besucher.
- Mindeststichprobe: 3.200 Besucher je Fassung.
Ausgewertet wird einmal, wenn beide Fassungen die Mindeststichprobe erreicht haben. Auch das steht vor dem Start fest.
Typischer Irrtum
Zwei Fehler nehmen der Hypothese ihren Wert. Der erste: die Annahme erst nach dem Blick auf die Daten formulieren. Dann erklärt sie ein Ergebnis im Nachhinein, geprüft hat der Test sie nicht.
Der zweite: mehrere Dinge zugleich ändern und danach glauben, man wisse, was gewirkt hat. Der Test zeigt dann nur, ob das Paket wirkt, nicht welche Änderung.
Schreiben Sie die vier Angaben auf, bevor der Test startet. Ausgewertet wird nach dem, was dort steht.
Verwandte Begriffe
- A/B-Test Ein A/B-Test ist ein zufallsgesteuertes kontrolliertes Experiment: Besucher werden zufällig auf Version A oder Version B verteilt.
- Kontrolle und Variante Die Kontrolle ist die bestehende Fassung, die Variante die geänderte Fassung in einem A/B-Test.
- Stichprobengröße Die Stichprobengröße ist die Zahl der Besucher oder Messwerte, die ein Test je Fassung braucht.
- Randomisierung Randomisierung ist die zufällige Aufteilung der Besucher auf die Fassungen eines Tests.
- Multivariater Test Ein multivariater Test prüft mehrere Elemente einer Seite oder Anzeige in einem Test, jedes in mehreren Fassungen.
- Statistische Signifikanz Statistisch signifikant heißt: Ein so großer Unterschied wäre selten, wenn die Änderung in Wahrheit nichts bewirkt.
Quellen
Stand:
- A/B testing (Wikipedia, englisch), extern
- A/B Testing and Experimental Design (Mukul Pareek), extern
- Controlled experiments on the web: survey and practical guide (Kohavi, Longbotham, Sommerfield, Henne, 2009), extern
- NIST/SEMATECH e-Handbook of Statistical Methods, 7.1.3: What are statistical tests?, extern
- Hypothese (Statistik), Wikipedia (deutsch), extern
Nächste Schritte
-
Messen Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?
- Messen Zum Test
- Messen Zum Test
- Protokoll Hopkins1 Protokoll Hopkins1 ist das System von teil1 für Anzeigen und Landingpages. Eine Variable je Test, gemessen an Kosten pro Lead und Qualitätsquote.
- A/B-Testing Beiträge zu A/B-Tests: was Claude Hopkins gemacht hat, was A/B-Testing ist und wie ein Test bei teil1 abläuft — aus der teil1 Redaktion.