Manchmal haben wir bei HubSpot den Eindruck, dass wir eigentlich alle verrückte Wissenschaftlicher sind, denn wir lieben Experimente. Wagemutige (um nicht zu sagen „durchgeknallte“) Ideen landen bei uns nicht im Papierkorb, sondern auf dem Tisch. Wir testen sie einfach aus, basteln und feilen an Details und überlegen uns, wie wir positive Ergebnisse in unsere tägliche Arbeit integrieren können. Experimente gehören tatsächlich zu unseren Lieblingsthemen. Wir schreiben gerne darüber und zeigen, was bei uns hinter den Kulissen passiert und woran unser Marketingteam so arbeitet.


Eines sollte man dabei allerdings immer bedenken: Bei Experimenten geht es nicht darum, Kennzahlen zu verbessern, sondern primär darum, wichtige Fragen zu beantworten. In diesem Beitrag gehen wir auf die wichtigsten Grundlagen zum Thema Marketingexperimente ein: Worum es sich dabei genau handelt, wie wir vorgehen und wie Sie letztlich Ihre Kennzahlen positiv beeinflussen können, indem Sie einfach versuchen, Antworten auf bestimmte Fragen zu finden.

Was genau ist ein Experiment?

In einem stark zukunftsorientierten, fortschrittlichen Marketingteam vergisst man schnell, warum Experimente eigentlich durchgeführt werden und worum es dabei wirklich geht. Deshalb benutzen wir gerne den Begriff Experimentplanung (engl.: Design of Experiments, in der Wissenschaft oft als „statistische Versuchsplanung“ bezeichnet). Damit meinen wir die systematische Planung von Experimenten, die den Einfluss bestimmter Faktoren auf einen Prozess und dessen Ergebnis definieren. Bei dieser Methode geht es also um nichts anderes als die Ermittlung von Kausalzusammenhängen.

→ Growth-Hacking-Leitfaden [Kostenloser Download]

Für uns ist dieses Vorgehen besonders wichtig, da wir so feststellen, wie und ob wir ein bestimmtes Marketingexperiment überhaupt durchführen sollten. Wir müssen also überlegen, was wir herausfinden möchten und warum.

Experimente sind nichts anderes als quantitative Nutzer-Analysen

Wenn man ein wenig im Internet recherchiert, merkt man, dass das Konzept der Experimente oft falsch verstanden wird. Deshalb möchten wir hier vor allem eines klarstellen: Marketer führen keine Experimente durch, um Kennzahlen zu verbessern. Diese Ansicht zeugt sogar von einer komplett falschen Wahrnehmung dessen, was Marketingexperimente tatsächlich sind und wie die wissenschaftliche Vorgehensweise funktioniert.

Die wissenschaftliche Methode im Kurzüberblick
Quelle: Carson-Dellosa Publishing (Übers. von HubSpot)

Marketer sollten Experimente durchführen, um Daten zum Nutzerverhalten zu sammeln und Fragen hinsichtlich der Interaktion der Nutzer mit ihrer Website zu beantworten. Tatsächlich stellt man vor Experimenten oft nur Vermutungen an, die weder fundiert sind, noch letztlich als Tatsache bewiesen werden. Handfeste Ergebnisse können solche Annahmen häufig widerlegen und liefern bessere Kontextinformationen, die wiederum datengestützte Einblicke ermöglichen.

Genau aus diesem Grund ist es für Marketer besonders wichtig, Experimente durchzuführen: Man muss sich eingestehen, dass man, auch als Fachmann/-frau, nicht alle Tricks und Methoden kennen und verstehen kann.

Trotzdem gehört es letztlich zum Job, Kennzahlen zu verbessern. Wenn das gerade zu Ihren wichtigsten Zielen zählt, können Sie trotzdem von Experimenten profitieren, denn letztlich haben Ergebnisse das Potenzial, Ihnen dabei zu helfen. Der Schlüsselpunkt des ganzen liegt in dem Wissen, das Sie durch das Experiment gewinnen. Um das zu erklären, sehen wir uns ein paar allgemeine Vermutungen etwas näher an.

Typische Vermutungen im Marketing

Marketer bauen ihre Online-Präsenzen häufig auf einer Art „Pyramide der Vermutungen“ auf. Das passiert, wenn man zuvor nicht wichtige Fragen beantwortet, wie:

  • Wer wird nach dieser Seite suchen?
  • Warum wird diese Person nach dieser Seite suchen?
  • Was wird diese Person tun, bevor sie eine bestimmte Seite aufruft?

Wenn man darüber nachdenkt, ist es ganz schön waghalsig, eine Online-Präsenz aufzubauen, ohne Antworten auf diese Fragen zu haben. Viel zu oft arbeitet man aber unter Druck und verliert den Blick auf das Wesentliche. Man muss unzählige Seiten aufbauen, pflegen und überarbeiten. Ach, und der nächste Content-Plan war da ja auch noch. Wir verstehen, dass im Alltag zeitraubende Schritte übersprungen werden müssen und Marketer bei strikten Deadlines oft auf Vermutungen zurückgreifen. Leider bleibt das aber nicht ohne Konsequenzen.

Wenn die Vermutungen wichtiger, grundlegender Daten falsch sind, dann bleiben die Konversionen auf der Strecke. Und genau dabei sollen – und können – Experimente helfen und auf diese Weise letztlich auch Kennzahlen verbessern. Die Daten, die Sie durch Experimente sammeln, helfen Ihnen, wichtige Fragen zu beantworten. Diese Antworten wiederum bieten Ihnen einen Einblick in die Rahmenbedingungen und Einflussfaktoren der Customer-Journey. So können Sie besser informierte Entscheidungen darüber treffen, wie Sie Ihre Inhalte weiterentwickeln sollten. Genau diese Schritte helfen Ihnen dann letztlich auch, Ihre Kennzahlen zu verbessern.

Experimentplanung: Die Hypothese

Das Experiment-Szenario

Nehmen wir an, Sie wurden als Marketing Manager für das fiktive Unternehmen Wind und Wetter Stiefel GmbH eingestellt, kurz WuW Stiefel. Im Online-Produktkatalog der Firma finden sich detaillierte Beschreibungen zu den einzelnen Artikeln, z. B. warum ein bestimmter Stiefel perfekt für eine schwierige Wanderung geeignet ist. Die Konversionsrate dieser Seite ist bestenfalls „durchschnittlich“, ungefähr 5 % der Besucher kaufen den Stiefel. Die Seite ist grundsätzlich aber gut gestaltet.

Ist Ihnen aber bei der Beschreibung aufgefallen, dass eine Vermutung angestellt wurde? Die Vermutung hier ist, dass Kunden den Stiefel kaufen, um damit „wandern“ zu gehen. Grundsätzliche Annahmen wie diese müssen für wichtige Seiten immer bestätigt werden.

Hypothese: Indem wir das Leistungsversprechen auf der Produktseite ändern, können wir eine Veränderung der Kaufrate feststellen und so letztlich bessere Produktseiten mit höheren Konversionsraten erstellen.

Zielsetzung: In einer wissenschaftlichen Untersuchung sollte Ihr Ziel immer die Beantwortung Ihrer Frage sein. In diesem spezifischen Fall möchten wir ermitteln, wie sich Produkte im Online-Store am besten positionieren lassen. Die Verbesserung der Kennzahlen ist dabei lediglich eine mögliche Folge der gewonnen Einblicke.

Erfolgsindikatoren: Sollten wir bei diesem Experiment eine Änderung der Kaufrate um + oder - 3 Prozent gegenüber des vorherigen Leistungsversprechens feststellen, so war das Experiment für uns erfolgreich. Anhand des Ergebnisses werden wir auch Aussagen dazu treffen können, ob Kunden diese Stiefel zum Wandern kaufen oder nicht.

Die Experimentplanung

Zunächst müssen wir bestimmen, ob unser Experiment innerhalb eines angemessenen Zeitraumes (max. eine Woche) statistische Aussagekraft erreichen kann oder nicht. Dieser Rechner kann Ihnen bei dieser Aufgabe helfen.

Rechner zur Ermittlung der Mindestlaufzeit von A/B-Tests
Quelle: Trakken

Zunächst sollten wir bestimmen, wie wir das Experiment kontrollieren: Die bereits bestehende, unveränderte Annahme, dass sich das Leistungsversprechen der Seite auf Freizeitaktivitäten beziehen soll, hilft uns als Ausgangspunkt. Die Freizeitaktivität in diesem Fall ist Wandern.

Als nächstes bestimmen wir die Varianten. Hierbei handelt es sich um weitere mögliche Leistungsversprechen für die Produktseite.

  • Variante A: Arbeit oder bestimmten Aufgaben, z. B. Bau- oder Gartenarbeit.
  • Variante B: Saisonaler Bedarf, z. B. bei Schnee, Regen oder bei heißem Wetter.
  • Variante C: Lifestyle-Artikel, z. B. etwas wie „diese Stiefel gehören zur Grundausstattung aller Outdoor-Fans, die gerne sportlich aktiv und an der frischen Luft sind, aber dabei auch trendy sein wollen“.

Die Ergebnisse

Bei diesem Experiment gibt es drei mögliche Ergebnisse.

1) Die Kontrollversion bringt bessere Ergebnisse ein als die Varianten

Das ist nicht notwendigerweise schlecht. Prinzipiell haben Sie mit dem Experiment dann einfach nur Ihre vorherige Annahme hinsichtlich des Leistungsversprechens bestätigt. Allerdings bedeutet es auch, dass die Ursache der eher schlechten Konversionsrate eher andernorts zu suchen ist. Dokumentieren Sie diese Ergebnisse genau, teilen Sie sie mit Ihren Mitarbeitern und planen Sie weitere Experimente, um herauszufinden, wo die Ursache wirklich liegt.

2) Eine oder mehrere Varianten erzielen bessere Ergebnisse als die Kontrollgruppe

Glückwunsch! Sie haben herausgefunden, dass die meisten Kunden diese Seite nicht aufrufen, um Wanderstiefel zu kaufen. Anders gesagt, das Experiment hat Ihre vorherigen Annahmen widerlegt.

Auch hier sollten Sie die Ergebnisse genau dokumentieren und mit Ihren Mitarbeitern teilen. Überlegen Sie sich auch, wie Sie diese Ergebnisse nun positiv nutzen. Sollten Sie das Leistungsversprechen ganz von der Produktseite entfernen? Sollten Sie eventuell näher auf Ihre Zielgruppe eingehen? Genau das sind die Fragen, die Sie sich bei einem solchen Ergebnis stellen sollten.

3) Alle Gruppen erzielen das gleiche Ergebnis

Wenn kein klares Ergebnis erzielt wird, dann raten wir dazu, ein paar klärende Fragen zu stellen:

  • Haben die verschiedenen Käufergruppen bei den Varianten ein unterschiedliches Verhalten gezeigt?
  • Waren die Käufergruppen mehr oder weniger gleichmäßig vertreten?
  • Könnte eventuell keines dieser Leistungsversprechen bei unseren Käufern Anklang finden?
  • Und liegt das eventuell daran, dass sich die Kunden bereits zum Kauf entschieden haben, wenn sie die Produktseite aufrufen?

Laut unserer Hypothese ist dieses Ergebnis nicht beweiskräftig. Das bedeutet, dass wir an den Anfang zurückkehren und unser Experiment samt seiner Varianten neu aufsetzen sollten. Die Antworten auf die obenstehenden Fragen sind dabei richtungsweisend.

Letztlich bedeutet das natürlich auch mehr Zeit und mehr Arbeit. Sollten Sie also kein neues Experiment starten wollen, gibt es auch einige Alternativen, die Sie in Betracht ziehen können.

Überlegen Sie sich, ob Sie Ihre ursprünglichen Annahmen auch auf andere Weise prüfen können - ohne ein eigenes Experiment

Das bringt uns letztlich zu der Frage: Sind Experimente denn tatsächlich notwendig? Vielleicht sind sie das nicht. Oder zumindest nicht in jedem Fall.

Wenn Sie keine Zeit für ein Experiment haben, können wir Ihnen zumindest einige alternative Vorgehensweisen empfehlen. Sie könnten beispielsweise eine kurze Umfrage starten oder ein unauffälliges Feedback-Tool in den Verkaufsvorgang integrieren.

Diese Strategie hat jedoch ihre Tücken. Oftmals gibt es einen Unterschied zwischen dem tatsächlichen Verhalten von Kunden und ihrer eigenen Wahrnehmung (und somit der Angaben in einer Umfrage).

Marketer sprechen bei diesem Konzept oft vom „Echsenhirn“: Kunden können davon überzeugt sein, einen bestimmten Artikel zum Wandern zu verwenden. Tatsächlich werden sie dann aber durch das Versprechen überzeugt, dass sie darin gut aussehen. Verbraucher sind hier also voreingenommen.

Wenn Sie also eine „Story auf Umfragen und Interviews aufbauen“ möchten, dann hören Sie auf den Rat unseres Kollegen Geoffrey Daigle und „belegen Sie diese Story mit Daten und Fakten“.

Ihre Experiment-Checkliste

Wir haben nun besprochen, was Experimente sind, warum wir sie durchführen und was wir dazu brauchen. Gehen wir also ein paar Schritte zurück und beschäftigen uns mit der anfänglichen Frage: Wann sollten Sie ein Experiment durchführen? Achten Sie dabei vor allem auf die folgenden Anzeichen:

  • Eine bestimmte Seite Ihrer Website weist ausreichend Traffic auf, um ein Experiment innerhalb eines angemessenen Zeitraumes statistisch zu belegen.
  • Die Seite basiert auf unbelegten Annahmen und Folgendes ist der Fall:
    • Sie wissen, um welche unbelegten Annahmen es sich handelt.
    • Sie wissen, wie sicher diese Annahmen sind.
  • Sie können diese Annahmen anhand anderer Methoden nicht bestätigen.

Um alternative Herangehensweisen zu finden, sollten Sie sich auch folgende Fragen stellen:

  • Habe ich ausreichend quantitative und qualitative Daten, die ich nutzen kann?
  • Kann ich eine kurze Umfrage starten?
  • Kann ich einen moderierten User-Test durchführen?
  • Kann ich ein kurzes Nutzer-Interview führen?

Wie gehen Sie diese Entscheidungen an und wie gestalten Sie Ihre Marketingexperimente? Erzählen Sie uns mehr dazu in den Kommentaren. Wir nehmen wertvolle Beiträge gerne in unseren Blog auf.

New Call-to-action

Dieser Artikel ist ursprünglich auf dem HubSpot.com-Blog erschienen und wurde aus dem Englischen übersetzt.

Ursprünglich veröffentlicht am 25. September 2017, aktualisiert am Januar 19 2023

Themen:

Conversion