Cookie-Einstellungen

Zwecke
Menü Test starten

Hypothese

Eine Hypothese ist die vorab festgeschriebene Annahme, die ein Test prüft. Sie nennt, was sich ändert, die erwartete Wirkung, die Messgröße und die Mindeststichprobe.

teil1 KPI-Test

Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?

Kostenlos. Ohne Anmeldung.

Definition

Eine Hypothese ist eine Annahme, die an Daten geprüft wird. Im Test von Werbung steht sie vor dem Start schriftlich fest. Sie sagt, was geändert wird und welche Wirkung die Änderung haben soll.

Die Hypothese ist die Annahme, der A/B-Test das Verfahren, das sie prüft: Zwei Fassungen laufen gleichzeitig, der Zufall verteilt die Besucher.

Bedeutung

Die Hypothese legt vor dem Test fest, woran das Ergebnis gemessen wird und wie viele Daten es braucht. Wer die Messgröße erst nachher wählt, findet leichter ein Ergebnis, das nur zufällig auffällt.

Ein Test macht aus der Annahme keine Gewissheit. Genau genommen prüft die Statistik die Gegenannahme, die Nullhypothese: Zwischen den Fassungen gibt es keinen Unterschied.

Gewinnt keine Fassung, ist die Annahme in diesem Test nicht bestätigt. Auch das ist ein Ergebnis. Widerlegt ist die Annahme damit nicht: Vielleicht reichen die Daten noch nicht.

Funktionsweise

Für einen Test nennt eine Hypothese vier Dinge:

  • Variable: das, was sich ändert.
  • Erwartung: die Wirkung, die die Änderung haben soll.
  • Messgröße: die Kennzahl, an der das Ergebnis abgelesen wird.
  • Mindeststichprobe: so viele Besucher braucht jede Fassung, bevor ausgewertet wird.

Bei teil1 laufen Tests nach dem Protokoll Hopkins1. Dort gilt die Regel: „Wir ändern genau eine Sache.“ So ist nach dem Test klar, was gewirkt hat.

Jede Runde hat vier Schritte: Hypothese, Test, Auswertung, Entscheidung. Die Hypothese wird vor dem Start in ein Logbuch geschrieben.

Praxisbeispiel

Ein Unternehmen will wissen, welche Überschrift seiner Landingpage, der Zielseite seiner Anzeigen, mehr Anfragen bringt. Vor dem Test steht dieser Eintrag im Logbuch:

  • Variable: die Überschrift. Bisher nennt sie die Leistung, die neue Fassung nennt den Nutzen. Sonst bleibt alles gleich.
  • Erwartung: mehr Anfragen je 100 Besucher.
  • Messgröße: Conversion-Rate der Seite, also Anfragen geteilt durch Besucher.
  • Mindeststichprobe: 3.200 Besucher je Fassung.

Ausgewertet wird einmal, wenn beide Fassungen die Mindeststichprobe erreicht haben. Auch das steht vor dem Start fest.

Typischer Irrtum

Zwei Fehler nehmen der Hypothese ihren Wert. Der erste: die Annahme erst nach dem Blick auf die Daten formulieren. Dann erklärt sie ein Ergebnis im Nachhinein, geprüft hat der Test sie nicht.

Der zweite: mehrere Dinge zugleich ändern und danach glauben, man wisse, was gewirkt hat. Der Test zeigt dann nur, ob das Paket wirkt, nicht welche Änderung.

Schreiben Sie die vier Angaben auf, bevor der Test startet. Ausgewertet wird nach dem, was dort steht.

Quellen

Stand:

  1. A/B testing (Wikipedia, englisch), extern
  2. A/B Testing and Experimental Design (Mukul Pareek), extern
  3. Controlled experiments on the web: survey and practical guide (Kohavi, Longbotham, Sommerfield, Henne, 2009), extern
  4. NIST/SEMATECH e-Handbook of Statistical Methods, 7.1.3: What are statistical tests?, extern
  5. Hypothese (Statistik), Wikipedia (deutsch), extern

Anzeigen wirken nur auf einer Seite, die schnell lädt. Wie schnell ist Ihre?

Kostenlos. Ohne Anmeldung.

Gespräch anfragen