So berechnen Sie die statistische Signifikanz

Wurden Sie schon einmal gefragt, ob die Ergebnisse einer Marketing-Kampagne, die Sie gerade präsentiert haben, oder des letzten A/B-Tests auch statistisch relevant sind? Im datenorientierten Marketing müssen wir die Ergebnisse unserer Kampagnen nämlich nicht nur messen, sondern auch beweisen, dass die Daten aussagekräftig sind. Deshalb klären wir hier, wie Sie die statistische Signifikanz berechnen können und warum sie so wichtig ist.

Statistische Signifikanz im Unternehmenskontext – ein Szenario zur Einführung

Stellen Sie sich einmal vor: Sie haben ein Gespräch mit einem Kunden geführt, der die Frage stellte, ob die Ergebnisse von statistischer Relevanz seien. Er hatte mit seiner Kollegin jeweils eine unterschiedliche Version einer Landing-Page erstellt und A/B-Testing durchgeführt, um die Ergebnisse zu erfassen. Sie hatten eine Wette abgeschlossen, welche Version besser abschneiden würde.

Nach ein paar Tagen lagen die Ergebnisse vor: Die eine Version hatte eine etwas höhere Konversionsrate, aber dann kam die Frage auf, ob dieser Unterschied wohl auch statistisch relevant sei.

Nicht beurteilen zu können, ob Daten statistisch signifikant sind, bringt Marketerinnen und Marketer in eine schwierige Lage. Entscheidungen werden getroffen, ohne dass nachgewiesen werden kann, ob ein Zusammenhang besteht. Die statistische Signifikanz ist dabei eine wissenschaftliche Grundlage, anhand derer die Daten aus A/B-Tests interpretiert werden können.

Was ist die statistische Signifikanz?

Mit dem Verfahren des statistischen Signifikanztests wird bestimmt, ob Ergebnisse einer Stichprobe auf die gesamte Population übertragen werden können. Die häufigste Methode, um die statistische Signifikanz nachzuweisen, ist die Chi-Quadrat-Verteilung (Pearson), bei der die Ergebnisse quadriert werden.

Das Ergebnis gilt dann als statistisch signifikant, wenn die Wahrscheinlichkeit (p) kleiner ist als der zuvor definierte Schwellenwert (ɑ). Das bedeutet:

Statistische Signifikanz = Wahrscheinlichkeit (p) < Schwellenwert (ɑ)

So berechnen Sie die statistische Signifikanz

Es gibt verschiedene kostenlose Tools, um die statistische Signifikanz von Ergebnissen zu berechnen. Doch damit Sie die Lösungen aus diesen Tools richtig einschätzen können, ist es wichtig zu verstehen, was genau sie berechnen und was das bedeutet. Deshalb sehen wir uns jetzt anhand eines Beispiels an, wie die statistische Signifikanz berechnet wird.

1. Legen Sie fest, was Sie testen wollen

Zuerst müssen Sie festlegen, was genau Sie testen möchten. Hier ein paar Beispiele für mögliche Szenarien:

• Die Conversion Rate auf zwei Landing-Pages mit unterschiedlichen Bildern
• Die Klickraten von E-Mails mit unterschiedlichen Betreffzeilen
• Die Konversionsraten verschiedener Call-to-Action-Buttons unter einem Blog-Beitrag

Es gibt endlos viele Möglichkeiten. Doch machen Sie es nicht zu kompliziert. Nehmen Sie für den Anfang einfach ein Content-Element, von dem Sie zwei unterschiedliche Versionen erstellen, und entscheiden Sie, was Ihr Ziel ist – zum Beispiel eine bessere Konversionsrate oder mehr Seitenaufrufe.

Sie können auch zusätzliche Versionen testen oder sogar einen multivariaten Test erstellen. Aber in unserem Beispiel betrachten wir lediglich die zwei Versionen einer Landing-Page mit dem Ziel, die Konversionsrate zu erhöhen.

2. Erfassen Sie Ihre Daten

Nachdem Sie festgelegt haben, was Sie testen wollen, erfassen Sie nun Ihre Daten. Da Sie testen wollen, welches Content-Element die besseren Ergebnisse liefert, müssen Sie die Stichprobengröße oder die Dauer des Tests definieren. Bei einer Landing-Page können das beispielsweise drei Tage sein, für die Sie die Seite live schalten.

Für E-Mails können Sie eine zufällige Stichprobe aus Ihrer Empfängerliste nehmen, an die Sie die unterschiedlichen Versionen versenden. Die richtige Stichprobengröße zu ermitteln, ist nicht einfach.

Sie kann zudem von Test zu Test unterschiedlich ausfallen. Als Faustregel sollten Sie dafür sorgen, dass der Erwartungswert für jede Version größer als fünf ist. Wir behandeln den Erwartungswert später noch genauer.

3. Berechnen Sie Ihre Chi-Quadrat-Ergebnisse

Es gibt eine ganze Reihe von Tests, um die statistische Signifikanz Ihrer Ergebnisse zu messen. Die Entscheidung, welcher Weg der beste ist, hängt davon ab, was Sie testen möchten und welche Art von Daten Sie erfassen.

In den meisten Fällen verwenden Sie einen Chi-Quadrat-Test, da Sie mit diskreten Daten arbeiten. Dieser ist ein mathematischer Begriff, der besagt, dass es eine endliche Anzahl von Ergebnissen gibt. Ein Besucher wird entweder zu einem Lead oder eben nicht. Es gibt also genau zwei mögliche Ergebnisse für die Conversion eines Besuchers oder einer Besucherin.

4. Nullhypothese aufstellen

Bevor Sie damit beginnen, Daten für Ihren Test zu sammeln, sollten Sie dann noch eine Hypothese aufstellen und Ihren Vertrauensbereich festlegen. Die Nullhypothese gilt als Ausgangsfeststellung, die durch den Test belegt oder widerlegt wird.

Da wir in unserem Beispiel zwei Versionen einer Landing-Page testen und herausfinden möchten, welche besser funktioniert, ist unsere Hypothese, dasses einen statistischen Zusammenhang zwischen der Landing-Page-Version und der Konversionsrate gibt.

5. Vertrauensbereich (auch: Schwellenwert) definieren

Sie können mit unterschiedlichen Vertrauensbereichen testen; die Abweichung wird auch als Alpha oder α bezeichnet. Je höher die Wahrscheinlichkeit sein soll, dass Ihre Ergebnisse statistisch signifikant sind, desto niedriger muss Ihr Alpha sein.

Das heißt, der Vertrauensbereich wird enger gefasst. Sie haben vielleicht schon einmal gehört, dass statistische Signifikanz mit einer Wahrscheinlichkeit angegeben wird. Beispielsweise: „Die Ergebnisse sind mit einer Wahrscheinlichkeit von 95 Prozent statistisch signifikant.“

Die Formel für diese Wahrscheinlichkeit lautet: 1 - α.

Bei einer Wahrscheinlichkeit von 95 Prozent ist Alpha 0,05. Das heißt, es besteht eine Chance von eins zu 20, dass bei der behaupteten Hypothese ein Fehler vorliegt.

Nachdem Sie Ihre Daten erfasst haben, tragen Sie sie in eine Tabelle ein, um die statistische Signifikanz zu berechnen. Da wir in unserem Beispiel zwei Varianten (A und B) testen und es zwei mögliche Ergebnisse (konvertiert und nicht konvertiert) gibt, erhalten wir eine Tabelle mit zwei Zeilen und zwei Spalten. Wir fügen beiden Zeilen und Spalten jeweils eine Summe hinzu, um die Gesamtzahlen zu sehen.

Als nächstes berechnen Sie die Erwartungswerte. Wenn es in unserem Beispiel keinen Zusammenhang zwischen der Version der Landing-Page und der Konversionsrate gäbe, würden wir die gleichen Konversionsraten für Version A und B erhalten. In diesem Fall können wir sehen, dass von den 4.935 Besucherinnen und Besuchern 1.945 konvertierten – also nur ungefähr 39 Prozent.

Um die erwartete Häufigkeit für jede Version der Landing-Page mit der Annahme zu berechnen, dass es keinen Unterschied gibt, multipliziert man die Summe der Zeile mit der Summe der Spalte der jeweiligen Zelle und teilt sie durch die Gesamtzahl der Besucherinnen und Besucher.

Für den erwarteten Wert der Konversion bei Version A wird folgende Berechnung durchgeführt:

Erwarteter Wert = (1945*2401)/4935 = 946

Um nun Chi-Quadrat zu berechnen, vergleicht man die beobachtete Häufigkeit mit der erwarteten Häufigkeit. Dafür zieht man die beobachtete Häufigkeit von der erwarteten Häufigkeit ab, quadriert das Ergebnis und teilt es durch die erwartete Häufigkeit. Dadurch wird deutlich, wie groß der Unterschied zwischen den tatsächlichen und den erwarteten Ergebnissen ist.

Wenn Sie die Differenz quadrieren, wird der Unterschied verstärkt. Teilen Sie das Ergebnis durch die erwarteten Ergebnisse, normalisiert sich die Lösung wieder. Die Gleichung sieht also folgendermaßen aus:

Chi-Quadrat = (erwartet - beobachtet)^2/erwartet.

Beispiel Version A konvertiert: (946 – 963)²/946 = 0.30549682875

Danach addieren Sie die vier Ergebnisse und erhalten damit Ihren Chi-Quadrat-Wert.

Chi-Quadrat = 0,30 + 0,28 + 0,19 + 0,18

In diesem Fall ist das Ergebnis 0,95.

Tipp: In Excel können Sie für das Berechnen des Chi-Quadrates auch die entsprechende Chi-Quadrat-Formel (CHIQU.TEST) verwenden. Die Formel lautet: =CHIQU.TEST(Beob_Messwerte;Erwart_Messwerte)

Um zu sehen, ob die Unterschiede der Konversionsraten auf den Landing-Pages statistisch signifikant sind, vergleichen wir sie mit dem Wert aus einerChi-Quadrat-Verteilungstabelle anhand des Alpha-Werts (in diesem Fall 0,05) und der Freiheitsgrade. Die Freiheitsgrade hängen davon ab, wie viele Variablen Sie haben. In einer Tabelle mit 2x2 Werten wie in unserem Beispiel sind die Freiheitsgrade gleich 1.

In unserem Fall müsste der Chi-Quadrat-Wert größer oder gleich 3,84 sein, damit die Ergebnisse statistisch signifikant sind. Da 0,95 kleiner als 3,84 ist, sind die Ergebnisse statistisch nichsignifikant. Das heißt, es gibt keinen statistisch signifikanten Zusammenhang zwischen der Landing-Page-Version und der Konversionsrate.

Warum ist statistische Signifikanz so wichtig?

Sie fragen sich jetzt vielleicht, ob das alles nötig ist, wenn Sie doch einfach ein kostenloses Tool verwenden können, um die statistische Signifikanz zu berechnen. Doch wenn Sie verstehen, wie man die statistische Signifikanz genau berechnet, hilft Ihnen das, zu entscheiden, wie Sie die Ergebnisse Ihrer eigenen Tests am besten überprüfen können.

Viele Tools arbeiten mit einem Vertrauensbereich von 95 Prozent. Für Ihre eigenen Tests könnten aber auch weniger strenge Kriterien ausreichen und es wäre dann sinnvoll, einen niedrigeren Vertrauensbereich zu wählen. Wenn Sie diese Berechnungen verstehen, hilft Ihnen das außerdem, Laien in der Statistik zu erklären, warum Ihre Ergebnisse statistisch signifikant sind.

Fazit: Treffen Sie datenbasierte Entscheidungen anhand von Signifikanztests

Marketerinnen und Marketer erheben unzählige Daten und erarbeiten basierend darauf strategische Entscheidungen. Ohne jedoch einen Zusammenhang zu validieren, sind Daten aus A/B-Tests völlig beliebig. Mithilfe des statistischen Signifikanztests können Teams ihre Ergebnisse jedoch hinsichtlich einer Hypothese überprüfen, um die Relevanz für einen Strategiewechsel zu untermauern.

Titelbild: VectorBird / iStock / Getty Images Plus