Checkliste: Wie Sie A/B-Tests vor, während und nach der Datenerfassung durchführen

Wenn Marketer Landing-Pages erstellen, E-Mails verfassen oder CTA-Schaltflächen entwerfen, verlassen wir uns gerne auf unsere Intuition. Wir haben es irgendwie im Gefühl, was die Leser oder Empfänger zum Klicken und Konvertieren bringt – oder glauben das zumindest.

Die Ergebnisse zeigen nämlich oft, dass Marketingentscheidungen besser nicht aus dem Bauch heraus getroffen werden sollten. Anstatt sich auf Vermutungen zu verlassen, sollten Sie lieber auf Tests zur Optimierung Ihrer Konversionsraten (CRO) vertrauen.

A/B-Tests sind deshalb so wertvoll, weil sich unterschiedliche Zielgruppen nun mal unterschiedlich verhalten. Was für das eine Unternehmen gut funktioniert, kann bei einem anderen wirkungslos bleiben. Deshalb mögen CRO-Experten den Ausdruck „Best Practices“ auch nicht besonders – diese bewährten Methoden sind vielleicht eben nicht das Beste für Sie.

Diese A/B-Tests können jedoch sehr komplex sein. Bei Fehlinterpretationen gehen Sie möglicherweise von falschen Annahmen aus, was Ihrer Zielgruppe gefällt, und treffen dann Entscheidungen, die sich auch auf andere Elemente Ihrer Strategie negativ auswirken.

In diesem Artikel erfahren Sie, wie Sie A/B-Tests vor, während und nach der Datenerfassung durchführen und die Ergebnisse optimal für die Entscheidungsfindung nutzen.

Was sind A/B-Tests?

A/B-Tests gehören zu den unkomplizierteren und am häufigsten eingesetzten Arten von Tests zur Optimierung von Konversionsraten. Dabei werden verschiedene Varianten einer Kampagne an einem Teil der Zielgruppe getestet. Es wird also untersucht, wie sich eine Version eines Content-Elements im Vergleich zu einer anderen schlägt. So können Sie zum Beispiel herausfinden, ob eine grüne CTA-Schaltfläche häufiger angeklickt wird als eine rote.

Wenn Sie einen A/B-Test durchführen möchten, brauchen Sie zunächst also zwei Versionen desselben Inhaltselements, die sich in einem einzigen Aspekt (hier als „Variable“ bezeichnet) unterscheiden. Dann zeigen Sie einer von zwei Zielgruppen ähnlicher Größe jeweils eine dieser Versionen und analysieren, welche Version besser abschneidet.

Nehmen wir beispielsweise an, Sie möchten herausfinden, ob sich die Konversionsrate verbessert, wenn Sie eine bestimmte CTA-Schaltfläche von der Seitenleiste Ihrer Startseite nach oben verschieben.

Damit Sie für diese Veränderung einen A/B-Test durchführen können, erstellen Sie eine alternative Version Ihrer Startseite mit dem CTA an der neuen Position. Das bestehende Design – die „Kontrollversion“ – ist Version A. Der „Herausforderer“ ist Version B.

Quelle: ConversionXL, Übersetzung von HubSpot

Dann testen Sie diese beiden Versionen, indem Sie jeweils eine Version einem zuvor festgelegten prozentualen Anteil der Website-Besucher zeigen.

Und jetzt zur versprochenen Checkliste für die Vorbereitung, Durchführung und Analyse von A/B-Tests.

So führen Sie A/B-Tests durch

Vor dem A/B-Test

1. Wählen Sie eine Variable zum Testen aus.

Wenn Sie Webseiten und E-Mails optimieren möchten, gibt es zahlreiche Variablen, die Sie testen können. Um herauszufinden, wie effektiv eine Änderung ist, müssen Sie jedoch eine einzelne „unabhängige Variable“ herauspicken und ihre Wirksamkeit messen. Andernfalls können Sie nicht sicher sein, welche der getesteten Variablen zu einer Veränderung geführt hat.

Wenn Sie also mehrere Variablen einer einzelnen Seite oder E-Mail testen möchten, sollten Sie mehrere Tests durchführen, in denen Sie jeweils nur eine Variable testen.

Sehen Sie sich die verschiedenen Elemente Ihrer Marketingressourcen und deren Alternativen hinsichtlich Design, Wortlaut und Layout an. Bei E-Mails können Sie auch Betreffzeilen, Absendernamen und verschiedene Möglichkeiten der Personalisierung testen.

Denken Sie daran, dass auch kleine Veränderungen, zum Beispiel ein anderes Bild in Ihrer E-Mail oder ein anderer Text auf Ihrer CTA-Schaltfläche, zu großen Verbesserungen führen können. Solch kleine Änderungen lassen sich in der Regel einfacher messen als größere Änderungen.

Hinweis: In bestimmten Fällen kann es sinnvoll sein, mehrere Variablen gleichzeitig zu testen. Dies wird als „multivariater Test“ bezeichnet. In diesem Artikel von Optimizely werden die beiden Verfahren verglichen – eine gute Entscheidungshilfe, wenn Sie nicht sicher sind, ob Sie eine einzelne oder gleich mehrere Variablen testen sollten.

2. Definieren Sie Ihr Ziel

Bei jedem Test vergleichen Sie mehrere Kennzahlen. Sie sollten jedoch eine Kennzahl als Schwerpunkt auswählen – und zwar schon vor dem Test. Tatsächlich sollten Sie dies sogar tun, bevor Sie sich die zweite Variante überlegen. Dies ist Ihre „abhängige Variable“.

Überlegen Sie sich, welchen Wert diese Variable am Ende des A/B-Tests haben soll. Sie können eine offizielle Hypothese aufstellen und die Ergebnisse mit dieser Prognose vergleichen.

Wenn Sie erst später überlegen, welche Kennzahlen Ihnen wichtig sind, welche Ziele Sie haben und wie sich die vorgeschlagenen Änderungen auf das Benutzerverhalten auswirken könnten, entwickeln Sie den Test vielleicht nicht auf die effektivste Weise.

3. Bestimmen Sie eine „Kontrollversion“ und einen „Herausforderer“

Sie haben jetzt Ihre unabhängige Variable, Ihre abhängige Variable und Ihr Ziel. Mit diesen Informationen legen Sie die unveränderte Version des zu testenden Elements, das Original, als „Kontrollversion“ fest. Wenn Sie eine Webseite testen, ist dies die bestehende Webseite. Wenn Sie eine Landing-Page testen, ist dies die Landing-Page mit dem Design und dem Text, wie Sie sie bereits verwenden.

Entwerfen Sie dann eine Variante – den „Herausforderer“ – der Webseite, Landing-Page oder E-Mail, die Sie mit dem Original vergleichen möchten. Wenn Sie zum Beispiel überlegen, ob Testimonials auf einer Landing-Page zu mehr Konversionen führen könnten, dann sollten sich auf der Kontrollversion keine Testimonials befinden. Anschließend erstellen Sie eine Variante mit einem Testimonial.

4. Teilen Sie Ihre Testgruppen nach Zufallsprinzip gleichmäßig auf

Wenn Sie die Zielgruppen exakt kontrollieren können, wie zum Beispiel bei E-Mail-Tests, müssen Sie mit zwei oder mehr gleichen Zielgruppen testen, andernfalls sind Ihre Ergebnisse nicht aussagekräftig.

Wie Sie dabei vorgehen, ist von Ihrem Tool für A/B-Tests abhängig. Einige Tools sorgen automatisch dafür, dass die verschiedenen Versionen Ihrer E-Mails einer gleich großen Gruppe von Empfängern zugeteilt wird.

5. Legen Sie ggf. die Größe Ihrer Stichprobe fest

Wie Sie die Größe Ihrer Stichprobe bestimmen, ist ebenfalls vom verwendeten Tool sowie von der Art des A/B-Tests abhängig.

Wenn Sie einen A/B-Test für eine E-Mail durchführen, werden Sie sicherlich einen kleineren Teil der Adressen auf Ihrer Liste als Testgruppe auswählen, um statistisch signifikante Ergebnisse zu erhalten. Zum Schluss wählen Sie die Variante aus, die am besten abgeschnitten hat, und senden diese an den Rest der Adressliste.

Wenn Sie ein Element testen, dass keine festgelegte Zielgruppe hat, zum Beispiel eine Webseite, wirkt sich die Dauer des Tests auf die Stichprobengröße aus. Der Test muss lange genug laufen, damit Sie eine ausreichende Anzahl von Aufrufen haben, andernfalls wird es schwierig, einen statistisch signifikanten Unterschied zwischen den beiden Varianten festzustellen.

6. Entscheiden Sie, wie signifikant Ihre Ergebnisse sein müssen.

Nachdem Sie die wichtigste Kennzahl ausgewählt haben, überlegen Sie, wie signifikant Ihre Ergebnisse sein müssen, um die Entscheidung für eine bestimmte Variante zu rechtfertigen. Die statistische Signifikanz ist ein ganz wichtiger Aspekt von A/B-Tests, der häufig missverstanden wird. Falls Sie Ihr Wissen zum Thema statistische Signifikanz aus der Marketingperspektive etwas auffrischen möchten, sollten Sie diesen Blog-Artikel lesen.

Je höher der Prozentwert Ihres Konfidenzniveaus ist, desto mehr Sicherheit haben Sie hinsichtlich Ihrer Ergebnisse. In den meisten Fällen werden Sie ein Konfidenzniveau von 95 % anstreben – idealerweise sogar 98 % – besonders wenn die Vorbereitung des Tests sehr zeitaufwändig war. Manchmal ist es jedoch auch sinnvoll, ein niedrigeres Konfidenzniveau zu verwenden, wenn ein Test nicht ganz so strikt sein muss.

Matt Rheault, erfahrener Software-Ingenieur bei HubSpot, stellt sich statistische Signifikanz wie das Wetten vor. Bei welchen Quoten sind Sie bereit, etwas zu setzen? Wenn Sie sagen „Ich bin mir zu 80 % sicher, dass dies das richtige Design ist, und ich werde alles darauf setzen“ ist das praktisch dasselbe wie die Durchführung eines A/B-Tests auf 80 % Signifikanz mit anschließender Bekanntgabe des Gewinners.

Rheault meint auch, dass Sie ein höheres Konfidenzniveau anstreben sollten, wenn Sie einen Aspekt testen, der vermutlich nur zu einer leichten Verbesserung führen wird. Warum? Weil zufällige Abweichungen hier eine größere Rolle spielen würden.

„Eine Situation, in der wir uns mit einem niedrigeren Konfidenzniveau zufrieden geben würden, wäre zum Beispiel ein Experiment, bei dem zu erwarten steht, dass es unsere Konversionsrate um 10 % oder mehr verbessern wird – etwa ein umgestalteter Hero-Abschnitt“, erläutert Rheault. „Die Erkenntnis ist hier, dass wir bei radikaleren Änderungen weniger wissenschaftlich vorgehen müssen. Je spezifischer eine Änderung ist (Farbe der Schaltfläche, Mikrotext usw.), desto streng wissenschaftlicher müssen wir vorgehen, da die Änderung sich wahrscheinlich nicht so deutlich auf die Konversionsrate auswirken wird.“

7. Führen Sie bei jeder Kampagne immer nur einen Test gleichzeitig durch

Der Test mehrerer Aspekte in einer einzelnen Kampagne, selbst wenn es dabei nicht immer um dasselbe Element geht, kann die Ergebnisse verkomplizieren. Wenn Sie zum Beispiel einen A/B-Test für eine E-Mail-Kampagne durchführen, die auf eine Landing-Page verweist, und gleichzeitig einen A/B-Test auf diese Landing-Page anwenden, dann werden Sie recht konfuse und undurchsichtige Ergebnisse erhalten.

Während des A/B-Tests

8. Verwenden Sie ein Tool für A/B-Tests

Für A/B-Tests Ihrer Website oder einer E-Mail brauchen Sie ein entsprechendes Tool. Eine gute kostenlose Möglichkeit dafür wäre etwa Google Analytics. Damit können Sie A/B-Tests für bis zu 10 Versionen einer einzelnen Webseite durchführen und deren Performance für zufällige Benutzergruppen vergleichen.

9. Testen Sie beide Varianten gleichzeitig

Das Timing hat einen entscheidenden Einfluss auf die Ergebnisse Ihrer Marketingkampagnen. Hierbei können sowohl die Tageszeit, der Wochentag als auch der Monat eine Rolle spielen. Wenn Sie Version B einen Monat später als Version A testen, können Sie nicht wissen, ob die unterschiedliche Performance ihren Grund im unterschiedlichen Design oder im unterschiedlichen Zeitpunkt hat.

Sie müssen die beiden Varianten also zur selben Zeit testen, andernfalls ist die Interpretation der Ergebnisse höchst unsicher.

Eine Ausnahme stellt hier das Testen des Zeitpunkts selbst dar, wenn Sie zum Beispiel herausfinden möchten, wann die besten Zeit zum Senden von E-Mails ist Dieser Test lohnt sich übrigens ganz besonders: Je nachdem, was Ihr Unternehmen anbietet und wer Ihre Zielgruppe ist, kann der optimale Zeitpunkt für die Interaktion der Abonnenten erheblich variieren.

10. Lassen Sie Ihre A/B-Tests lange genug laufen, um brauchbare Daten zu produzieren

Ein Test sollte über einen ausreichend langen Zeitraum hinweg durchgeführt werden, damit Sie eine relevante Stichprobe erhalten. Andernfalls wird es schwierig, einen statistisch signifikanten Unterschied zwischen zwei Varianten festzustellen.

Aber wie lange ist lange genug? Es hängt von Ihrem Unternehmen und von der Art der Durchführung des A/B-Tests ab, ob Sie innerhalb von Stunden, Tagen oder sogar Wochen statistisch signifikante Ergebnisse erhalten. Ein wichtiger Faktor ist zum Beispiel da Traffic-Volumen auf Ihrer Website. Bei geringem Traffic dauert es sehr viel länger, einen A/B-Test durchzuführen.

Theoretisch sollten Sie den Zeitraum, über den Sie Ergebnisse sammeln, nicht begrenzen.

11. Bitten Sie Benutzer um Feedback

Bei A/B-Tests geht es vor allem um quantitative Daten. Das hilft Ihnen aber nicht so viel, wenn Sie verstehen möchten, warum Benutzer bestimmte Aspekte gegenüber anderen bevorzugen. Wenn Sie Ihren A/B-Test durchführen, sollten Sie die Gelegenheit nutzen und auch qualitatives Feedback sammeln.

Eine hervorragende Möglichkeit, Benutzer nach Ihrer Meinung zu fragen, sind Umfragen oder Abstimmungen. Sie können zum Beispiel Website-Besucher beim Verlassen der Seite fragen, warum sie nicht auf einen bestimmten CTA geklickt haben. Oder Sie fügen Ihren Dankesseiten die Frage hinzu, warum Besucher auf eine Schaltfläche geklickt oder ein Formular ausgefüllt haben.

Auf diese Weise könnten Sie zum Beispiel feststellen, dass viele Besucher auf einen Call-to-Action klicken, der sie zu einem E-Book führt, dann aber den Preis sehen und nicht konvertieren. Diese Daten geben Ihnen viel Aufschluss darüber, warum sich Benutzer auf eine bestimmte Weise verhalten.

Nach dem A/B-Test

12. Konzentrieren Sie sich auf die wichtigste Kennzahl

Auch wenn Sie verschiedene Kennzahlen messen, sollten Sie bei Ihrer Analyse schwerpunktmäßig die primäre Kennzahl im Auge behalten.

Wenn Sie zum Beispiel zwei Varianten einer E-Mail getestet und sich für die Anzahl der Leads als primäre Kennzahl entschieden haben, sollten Sie sich nicht mit Öffnungsraten oder Klickraten aufhalten. Vielleicht sehen Sie hohe Klickraten und schwache Konversionsraten – in diesem Fall entscheiden Sie sich dann vielleicht für die Variante mit der geringeren Klickrate.

13. Bestimmen Sie die Signifikanz Ihrer Ergebnisse

Nachdem Sie festgestellt haben, welche Variante die beste Performance zeigt, sollten Sie überprüfen, ob Ihre Ergebnisse statistisch signifikant sind. Anders ausgedrückt: Rechtfertigen die Ergebnisse eine Änderung?

Um dies herauszufinden, müssen Sie einen Test der statistischen Signifikanz durchführen. Das können Sie manuell machen, einfacher ist es jedoch, die Ergebnisse Ihres Experiments in einen kostenlosen A/B-Test-Rechner einzugeben. Sie geben für jede getestete Variante die Gesamtzahl der Versuche ein, zum Beispiel die Anzahl der gesendeten E-Mails oder die Anzahl der Impressionen. Dann geben Sie die Anzahl der erreichten Ziele ein – im Allgemeinen untersuchen Sie Klicks, es kann sich aber auch um andere Arten der Konversion handeln.

Der Rechner gibt das Konfidenzniveau aus, das Ihre Daten für die Gewinnervariante produzieren. Vergleichen Sie diese Zahl dann mit dem Wert, den Sie als statistisch signifikant festgelegt haben.

14. Bauen Sie auf Ihren Ergebnissen auf

Wenn eine Variante statistisch besser abschneidet als eine andere, haben Sie einen Gewinner. Schließen Sie Ihren Test ab, indem Sie die schlechtere Variante in Ihrem Tool deaktivieren.

Wenn keine Variante statistisch gesehen besser ist, wissen Sie jetzt immerhin, dass die getestete Variable keinen Einfluss auf die Ergebnisse hatte, und können den Test als nicht aussagekräftig abschließen. Bleiben Sie in diesem Fall bei der Originalvariante oder führen Sie einen neuen Test durch. Nutzen Sie die gesammelten Daten, um einen neuen Testlauf zu entwickeln.

A/B-Tests helfen Ihnen nicht nur bei konkreten Einzelfällen. Sie können die Erkenntnisse, die Sie aus Ihren Tests gewinnen, auch für zukünftige Initiative nutzen. Wenn Sie zum Beispiel in A/B-Tests für Ihr E-Mail-Marketing wiederholt feststellen konnten, dass Betreffzeilen mit Zahlen zu besseren Klickraten führen, können Sie in Zukunft häufiger auf diese Taktik zurückgreifen.

15. Planen Sie Ihren nächsten A/B-Test

Der A/B-Test, den Sie gerade abgeschlossen haben, hat Ihnen hoffentlich geholfen, Ihr Marketing noch effektiver zu gestalten. Lassen Sie es nicht dabei bewenden! Es geht immer noch ein bisschen besser.

Sie können sogar für dieselbe Webseite oder E-Mail, die Sie gerade erst getestet haben, einen weiteren A/B-Test durchführen – diesmal für ein anderes Element. Wenn Sie zum Beispiel bereits eine Überschrift auf einer Landing-Page getestet haben, könnten Sie jetzt noch einen Test für einen größeren Textabschnitt durchführen. Oder für ein Farbschema. Oder für Bilder. Achten Sie immer auf Möglichkeiten, die Konversionsraten und Leads zu verbessern.