Ab wann ist ein A/B-Test aussagekräftig, wie lässt sich die Konversionsrate richtig deuten und welche Fehler gilt es bei der Traffic-Analyse zu vermeiden? Im Marketing liefern viele Kennzahlen wichtige Einblicke in die eigene Performance. Um Ihre Marketing-Maßnahmen zu optimieren, müssen Sie bei der Analyse Ihrer Daten allerdings auch die richtigen Schlüsse ziehen können. Mit diesen vier statistischen Konzepten vermeiden Sie Fehlinterpretationen in der Auswertung.

Wie statistische Konzepte bei der Marketing-Analyse helfen können

Beim Inbound-Marketing lässt sich der Erfolg Ihrer Maßnahmen in Zahlen ausdrücken: Besucherzahlen auf der Website, Öffnungsraten eines Newsletters oder Likes in sozialen Netzwerken sorgen für Transparenz und bieten wichtige Anhaltspunkte für mögliche Verbesserungen. Allerdings ist es trotz oder gerade wegen der Menge an messbaren Kennzahlen häufig eine Herausforderung, auch wirklich an den richtigen Stellschrauben zu drehen.

Wer in das Thema datengesteuertes Marketing einsteigt, kommt an Tabellen nicht  vorbei: Werden Sie mit unserem Leitfaden zum Excel-Profi!

Der Rattenschwanz kann lang werden: Eine niedrige Konversionsrate auf einer Landing-Page lässt nicht zwingend auf ein unattraktives E-Book schließen. Eine solche Fehlinterpretation wäre fatal, wenn lediglich ein technischer Anzeigefehler auf der Seite vorliegt. Vermeintliche inhaltliche Optimierungsmaßnahmen würden ins Leere laufen – und gesteckte Marketingziele in weite Ferne rücken. 

Um diese und weitere Fallstricke bei der Marketing-Analyse zu vermeiden, helfen die folgenden vier statistischen Konzepte, angelehnt an einen Artikel von Frederik Hyldig im Kissmetrics-Blog. Sie zeigen, worauf es bei der Auswertung ankommt und welche Flüchtigkeitsfehler sich leicht vermeiden lassen.

Vier statistische Phänomene

Das Gesetz der großen Zahlen – die Menge macht’s

Das Gesetz der großen Zahlen besagt im Kern, dass sich die relative Häufigkeit eines Ergebnisses bei einem Zufallsexperiment immer weiter an die theoretische Wahrscheinlichkeit des Ergebnisses annähert, je öfter es durchgeführt wird. Besonders anschaulich lässt sich das Phänomen beim Würfeln beobachten.

Wird ein Würfel zehn Mal gewürfelt, kann es sein, dass die Zahl 6 kein einziges Mal vorkommt. Mit zunehmender Wurfanzahl jedoch, steigt die Wahrscheinlichkeit eines Sechserwurfs schließlich langsam aber sicher auf 16,67 Prozent – genau ein Sechstel. Zehn Würfe sind also schlicht zu wenige Versuche, um fundierte Aussagen über die Wahrscheinlichkeit eines Sechsers treffen zu können.

Law-of-large-numbers.png

Quelle: Jörg Groß, WikiCommons, CC BY-SA 3.0

Relevanz für das Marketing: Erst ab einer bestimmten Datenmenge lassen sich überhaupt erst aussagekräftige Schlussfolgerungen zu bestimmten Maßnahmen ziehen. So reicht es beispielsweise nicht aus, einen A/B-Test mit zwei verschiedenen CTAs auf einer Landingpage bereits nach 50 Klicks auszuwerten. Obwohl 35 Nutzer CTA 1 geklickt haben und nur 15 CTA 2, kann sich nach 1.000 Klicks herausstellen, dass CTA 2 insgesamt 700-mal und CTA 1 lediglich 300-mal angeklickt wurde.

Pareto-Prinzip – weniger ist mehr

Das Pareto-Prinzip, auch als 80/20-Prinzip oder 80/20-Regel bekannt, wurde vom Ökonomen Vilfredo Pareto entdeckt. Der Italiener erkannte ein Missverhältnis von Ursache und Wirkung, das sich durch sämtliche Gesellschaftsbereiche zieht, wie folgende Beispiele zeigen:

  • 80 Prozent des gesamten Vermögens ist im Besitz von 20 Prozent der Weltbevölkerung
  • 80 Prozent Flusswasser fließt durch 20 Prozent aller Flüsse
  • 80 Prozent des Unternehmensumsatzes werden von 20 Prozent der Kunden generiert

Im Kern besagt das Prinzip: 20 Prozent der eigenen Anstrengungen sind für 80 Prozent des Erfolgs verantwortlich.

Relevanz für das Marketing: Sie sollten bei Ihren KPI-Analysen stets die 20 Prozent der Maßnahmen identifizieren, die den meisten Erfolg (etwa 80 Prozent) bringen – und vermehrt in sie investieren. 

Angenommen 20 Prozent Ihrer Blogartikel genieren 80 Prozent Ihres Blog-Traffics. Dann sollten Sie die Autoren dieser Artikel in Zukunft vermehrt mit der Artikel-Erstellung betrauen.

Will Rogers Phänomen – Skepsis gegenüber Mittelwerten

Der neuseeländische Premierminister Robert Muldoon formulierte seinen Unmut über eine Auswanderungswelle nach Australien einmal wie folgt: „Neuseeländer, die nach Australien umziehen, heben den durchschnittlichen IQ in beiden Staaten an.“ Damit brachte er das von Will Rogers entdeckte Problem der Mittelwertbildung humorvoll auf den Punkt: Die Wanderung einer Größe von einer in die andere Gruppe kann demnach den Mittelwert in beiden Gruppen erhöhen oder reduzieren. Ein Beispiel aus einem fiktiven Unternehmen macht es deutlich.

Zwei Abteilungen weisen folgende Verkaufszahlen vor:

Abteilung A

Durchschnittliche Verkäufe pro Monat

Abteilung B

Durchschnittliche Verkäufe pro Monat

Herr Anton

6

Frau Biermann

6,5

Frau Alba

2

Herr Blau

1

Frau Armann

3

Herr Becker

1

Insgesamt

3,67

Insgesamt

2,83

Ein neuer Chef wird eingesetzt – unter seiner Führung läuft es vermeintlich besser:

Abteilung A

Durchschnittliche Verkäufe pro Monat

Abteilung B

Durchschnittliche Verkäufe pro Monat

Insgesamt

3,75

Insgesamt

3

 Wie hat er diese Trendwende geschafft? Der Trick liegt in einer Umstrukturierung der Abteilungen:

Abteilung A

Durchschnittliche Verkäufe pro Monat

Abteilung B

Durchschnittliche Verkäufe pro Monat

Herr Blau

1

Frau Alba

2

Frau Biermann

6,5

Herr Anton

6

 

 

Frau Armann

3

 

 

Herr Becker

1

Insgesamt

3,75

Insgesamt

3

Allein durch die Umverteilung der Mitarbeiter konnte der neue Chef die durchschnittlichen Verkäufe in beiden Abteilungen erhöhen. Der Mittelwert ist hier allerdings wenig aussagekräftig, denn an der Produktivität der Mitarbeiter und des Unternehmens hat sich insgesamt nichts geändert.

Relevanz für das Marketing: Mittelwerte müssen stets nach den jeweiligen Einflussgrößen segmentiert werden, um falschen Schlussfolgerungen vorzubeugen. Für den Marketing-Bereich soll dies das folgende Beispiel verdeutlichen.

Leads laden sich ein E-Book auf einer Landing-Page herunter, die über LinkedIn- und Facebook-Posts promotet wurde. Die Konversionsrate liegt bei 4,5 Prozent des LinkedIn-Traffics, und fünf Prozent des Facebook-Traffics.

Vorläufige Schlussfolgerung: Die Posts performen in beiden Netzwerken ähnlich gut – kein Optimierungsbedarf.

Allerdings zeigt der Blick auf die Endgerät-Nutzung, dass von den LinkedIn-Nutzern via Smartphone und Co. kein einziger konvertiert, auch von den Facebook-Usern sind es hier lediglich zwei Prozent.

Konversionsraten in Prozent

Durchschnittliche Konversionsrate

Facebook-Traffic

LinkedIn-Traffic

Mobil

2

0

Desktop

8

9

Insgesamt

5

4,5

Die Segmentierung des Mittelwertes nach Endgeräten offenbart schließlich, dass es in der mobilen Version der Landing-Page eine fehlerhafte Darstellung gibt. Die alleinige Betrachtung des gesamten Mittelwertes hätte diese Fehlerquelle nicht aufgedeckt.

Absolute Zahlen vs. relative Zahlen

Die Antibaby-Pille erhöht das Thrombose-Risiko um 100 Prozent – zahlreiche britische Frauen hat diese Meldung Anfang der 1990er Jahre in Angst und Schrecken versetzt. Dabei beruhte diese „Pillenpanik“ auf dem Phänomen der „kollektiven Zahlenblindheit“. Denn mit Blick auf die realen Zahlen erweist sich die Panik als ungerechtfertigt:

Während in der ersten Pillengeneration eine Frau von 7.000 untersuchten Frauen an einer Embolie erkrankte, waren es in der zweiten Generation zwei Frauen – das entspricht zwar einem Anstieg von 100 Prozent, in Relation zu den 7.000 untersuchten Frauen ist die Zahl der Erkrankungen allerdings nach wie vor verschwindend gering.

Relevanz für Marketing: Achten Sie darauf, bei Prozentangaben stets zwischen absoluten und relativen Zahlen zu differenzieren. Wenn eine Konversationsrate im Vergleich zum Vormonat einen prozentualen Anstieg von zwei Prozent verzeichnet, bedeutet dies lediglich einen Anstieg von vier Prozent auf 4,08 Prozent. Dagegen besagt ein Anstieg um zwei Prozentpunkte, eine Konversionsverbesserung von vier auf sechs Prozent.

Generell sollten Sie bei Prozentangaben in Marketing-Analysen immer auch die absoluten Zahlen prüfen. Ein Abfall der Konversionsrate um 50 Prozent ist weitaus verheerender, wenn sich die Leadzahl von 1.000 auf 500 halbiert – weniger tragisch wäre derselbe prozentuale Abfall, wenn sich die Leadanzahl von 4 auf 2 reduziert.

Kleine Fehler können Fehlschlüsse nach sich ziehen

Die verschiedenen Ansätze und Szenarien zeigen: Die Marketing-Analyse gestaltet sich als äußerst wichtiger und gleichermaßen sensibler Aufgabenbereich. Bereits kleine Flüchtigkeitsfehler können folgenreiche Fehlschlüsse nach sich ziehen, weshalb beispielsweise eine Aufschlüsselung von Mittelwerten oder der Vergleich von relativen und absoluten Zahlen wichtig sind.

Andererseits zeigen der Pareto-Effekt und das Gesetz der großen Zahlen, dass ebenso simple Gesetzmäßigkeiten und Geduld zu Effizienzgewinnen führen können.

Excel-fuer-Marketer

Ursprünglich veröffentlicht am 14. November 2017, aktualisiert am Januar 19 2023

Themen:

Inbound Marketing KPIs