A/B-Tests: 4 der häufigsten Fehler (und wie man sie umgeht)

Wenn wir neue Inhalte für unsere Leser erstellen, haben wir eine gewisse Vorstellung davon, was bei den Fans gut ankommt. Auf dieser Basis schreiben wir dann unsere Beiträge. So weit, so gut. Es geht aber noch besser!

Nämlich mit A/B-Testing, einer der beliebtesten und einfachsten Methoden, die Marketern heutzutage zur Verfügung stehen, um Tests zur Optimierung von Konversionsraten durchzuführen. In vielen Unternehmen werden A/B-Tests bereits sehr erfolgreich eingesetzt – die Ergebnisse helfen den Unternehmen dabei, fundierte Entscheidungen für die Anpassung der eigenen Webpräsenz zu treffen. Doch nicht jedes Unternehmen ist mit diesem Ansatz erfolgreich – und ein Mangel an aussagekräftigen Ergebnissen bietet nur wenig Anreiz für zukünftige Testversuche.

Das Problem beim A/B-Testing ist, dass schon kleinste Fehler während der Ausführung weitreichende Konsequenzen für die Ergebnisse haben. Welche Fehler das sind und wie man sie umgeht, haben wir für Sie in diesem Beitrag zusammengefasst. Mit diesen Tipps lässt sich Ihre Testphase besser planen, und Sie können schneller dazu übergehen, mehr Besucher zu Kunden zu machen.

A/B-Tests: 4 der häufigsten Fehler (und wie man sie umgeht)

1. Ihr Testing-Werkzeug funktioniert nicht einwandfrei

Die Beliebtheit einer A/B-Testing-Software sagt nichts über ihre Performance aus.

Es gibt da draußen viele tolle, kostengünstige Softwareangebote – aber nicht alle bieten den gleichen Qualitätsstandard. Natürlich unterscheiden sich Tools durch ihre Funktionalitäten. Aber es gibt noch andere Besonderheiten, die nicht auf den ersten Blick erkennbar sind. Es ist unbedingt notwendig, dass Sie sich mit Ihrer A/B-Testing-Software im Detail auseinandersetzen. Sonst verringern sich Ihre Chancen einer erfolgreichen Umsetzung gleich von Anfang an.

Wussten Sie zum Beispiel, dass Testing-Software Ihre Website verlangsamen kann? Längere Ladezeiten können sich negativ auf die SEO Ihrer Website und damit auf die Konversionsraten auswirken.

So reicht eine zusätzliche Ladezeit von nur einer Sekunde aus, um Seitenaufrufe um 11 % und Konversionen um 7 % zu reduzieren. In diesem Fall schadet Ihnen das Tool, das Ihnen eigentlich dabei helfen soll, Ihre Performance zu verbessern.

Aber es kommt noch besser: Die Wahl der A/B-Testing-Software kann sogar Ihre Testergebnisse beeinflussen. Neil Patel konnte unter Verwendung einer A/B-Testing-Software deutliche Performance-Unterschiede seiner Webseite feststellen. Nach Implementierung der neuen Seite gab es allerdings keine Steigerung der Konversionsrate. Es stellte sich heraus, dass die Software nicht einwandfrei funktioniert hatte.

Beim A/B-Testing kann viel schiefgehen. Deshalb brauchen wir eine Methode, um unsere Software auf Herz und Nieren zu prüfen.

Die Lösung: Ein A/A-Test.

Vor dem ersten A/B-Test sollten Sie mit Ihrer Software einen A/A-Test durchführen, um sicherzugehen, dass Ladezeiten und Performance Ihrer Seite nicht durch das Tool beeinträchtigt werden.

Was ist ein A/A-Test? Im Prinzip handelt es sich dabei ebenfalls um einen A/B-Test, nur wird beim A/A-Testing zwei Testgruppen genau die gleiche Seite angezeigt. Wir messen also die Performance einer Seite – zweimal. Das mag erst einmal sinnlos erscheinen, aber dieser Test kann eventuelle verzerrende Einflüsse Ihres Messinstruments aufdecken.

Sie dürfen sich dann ausnahmsweise mal freuen, wenn Ihre Testergebnisse eher „langweilig“ ausfallen. Wenn Ihre Konversionsrate fällt, sobald Sie den ersten Testdurchlauf starten, beeinflusst das Testtool womöglich die Ladezeiten Ihrer Seite. Wenn es enorme Performance-Unterschiede gibt, ist die Software wahrscheinlich defekt.

2. Beim ersten aussagekräftigen Ergebnis beenden Sie die Testphase

Das ist in etwa so, als würde ein Fußballer beim Testmatch gleich nach dem ersten Torschuss den Ball nehmen und nach Hause gehen. Beim A/B-Testing kann man nicht einfach aufhören, sobald die ersten statistisch relevanten Ergebnisse reinkommen. Wer das tut, basiert seine Entscheidungen auf ungültigen Ergebnissen.

Leider ermutigen viele Tools zu einem solchen Verhalten, indem sie es Nutzern ermöglichen, Tests abzubrechen, sobald Ergebnisse bereitstehen. Wer seiner Website allerdings wirklich Gutes tun will, der muss gegen die Versuchung ankämpfen, seine Tests frühzeitig abzubrechen. Es mag Ihnen komisch vorkommen, aber tatsächlich sieht man umso öfter falsche Ergebnisse, je öfter man seine Tests überprüft.

Dabei trifft man nämlich auf falsch-positive Ergebnisse, die einen scheinbaren Unterschied zwischen den Seiten zeigen. Je öfter man seine Ergebnisse also überprüft, desto öfter trifft man auf Ergebnisse, die nicht aussagekräftig sind.

Das ist prinzipiell kein Problem, kann aber zu einem werden, wenn Sie Ihren Test frühzeitig beenden. Denn dann werden Sie wahrscheinlich Ihren falsch-positiven Ergebnissen vertrauen.

Das Analytics-Unternehmen Heap veröffentlichte eine Simulationsstudie, deren Ergebnisse zeigten, wie ein frühzeitiger Abbruch von A/B-Tests die Endergebnisse beeinträchtigen kann.

Anhand eines standardmäßigen Signifikanztests untersuchte Heap die Aussagekraft eines A/B-Tests unter 1.000 Nutzern, je nachdem, wie oft die Ergebnisse überprüft wurden. Bei einer einmaligen Übberprüfung bestand eine fünfprozentige (5 %) Wahrscheinlichkeit eines falsch-positiven Ergebnisses – das ist ein relativ geringer Prozentsatz. Wurde der Test zehnmal überprüft, stieg die Wahrscheinlichkeit eines falsch-positiven Ergebnisses auf 19,5 %. Bei hundertmaliger Überprüfung stieg die Wahrscheinlichkeit auf 40,1 %.

Diese Zahlen geben zu denken, denn sie zeigen, dass ein frühzeitiger Abbruch die Testergebnisse dramatisch verzerren kann.

Die Lösung: Legen Sie fest, wie groß Ihre Stichprobe sein soll und halten Sie sich daran.

Um die Wahrscheinlichkeit eines falsch-positiven Ergebnisses zu reduzieren, braucht es einen gewissen Grad an Disziplin. Bevor Sie also mit Ihrem A/B-Test anfangen, sollten Sie festlegen, aus wie vielen Nutzern Ihre Stichprobe bestehen soll. Anschließend müssen Sie der Versuchung widerstehen, den Test frühzeitig abzubrechen (egal wie vielversprechend die Zwischenergebnisse aussehen).

Wie findet man die ideale Stichprobengröße heraus? Es gibt viele Online-Tools, mit denen man berechnen kann, wie viele Websitebesucher für den eigenen A/B-Test optimal sind. Zwei beliebte Tools bieten zum Beispiel Optimizely und VWO.

Noch ein kleiner Hinweis zur Stichprobengröße: Bleiben Sie realistisch! Wir würden alle gerne unsere Seiten an Millionen von Nutzern austesten, aber leider haben nicht alle so viel Traffic auf ihrer Website. Daher raten wir Ihnen dazu, grob abzuschätzen, wie lange Sie Ihren Test durchführen müssen, bis Sie Ihre Stichprobengröße erreicht haben.

3. Sie haben nur Augen für Ihre Konversionsrate

Wenn Sie mitten in Ihrem A/B-Test stecken, kann es schwerfallen, sich auf das Wesentliche zu konzentrieren. Anders ausgedrückt: Wer seine Seite A/B-testet, der verliert gerne mal die langfristig wertvollen Ergebnisse aus den Augen.

Neue Inhalte auf Ihrer Website mögen sich zwar kurzfristig positiv auf Ihre Konversionsrate auswirken, aber wenn diese Konversionen qualitativ minderwertig sind, kann sich dieser Anstieg im Endeffekt negativ für Ihr Unternehmen auswirken.

Es ist leicht, sich von diesen Kennzahlen betören zu lassen, aber wer den Fokus hier ansetzt, riskiert die wirklich umsatzsteigernden Ergebnisse zu vernachlässigen. Wenn Sie beispielsweise einen Call-to-Action testen, der zu einer Landing-Page führt, sollten Sie sich nicht ausschließlich auf die Konversionen konzentrieren. Achten Sie stattdessen auf die Leads, die Sie hier generieren und versuchen Sie, diese mit dem erzielten Umsatz in Verbindung zu bringen.

Die Lösung: Stellen Sie eine Hypothese auf.

Bevor Sie Ihren A/B-Test durchführen, sollten Sie eine Hypothese aufstellen, die Sie versuchen zu belegen oder zu widerlegen. Diese Hypothese sollte auf einem KPI basieren, an dem man echte Ergebnisse für das Unternehmen erkennen kann. Auf diese Weise können Sie sicherstellen, dass Sie sich auf relevante Ergebnisse konzentrieren.

Achten Sie während des A/B-Tests dann darauf, ob dieser KPI sich verändert. Anderen Kennzahlen sollte bewusst ein kleinerer Stellenwert zugesprochen werden. Wenn Ihr Ziel zum Beispiel ist, mehr Registrierungen zu erreichen, dann konzentrieren Sie sich auf diese Kennzahl und nicht auf die Klickrate für das entsprechende Formular.

Wenn es darum geht, Ihre Hypothese zu belegen oder zu widerlegen, sollten Sie jedoch nicht pauschal alle statistisch irrelevanten Daten gleich ausschließen. Diese können Ihnen bei späteren Tests nämlich wieder gelegen kommen. Nehmen wir mal an, eine Veränderung an Ihrem CTA zeigt beim Test eine geringe, statistisch irrelevante Verbesserung an – das könnte trotzdem ein Zeichen sein, dass Sie hier auf der richtigen Spur sind. Auf Basis dieser ersten Ergebnisse können Sie weitere Tests rund um Ihren CTA durchführen, um auf weitreichendere Verbesserungsmöglichkeiten zu stoßen.

4. Sie testen ausschließlich geringe Veränderungen

Der Test für die beste Farbe von Buttons hat möglicherweise einen negativen Einfluss auf das gesamte Prinzip des A/B-Testing gehabt. Denn viele nehmen diesen beliebten (Beispiel-)Test als Referenz für die Durchführung von A/B-Tests im Allgemeinen. Hinter der Methode steckt allerdings noch viel mehr. Eine richtig große Website hat vielleicht das Glück, dass durch die bloße Anpassung einer Button-Farbe deutlich mehr Besucher angezogen werden. Aber für die meisten von uns werden solch geringfügige Änderungen nur wenig Effekt haben.

Beim A/B-Testing konzentrieren wir uns oft nur auf kleine Verbesserungen und übersehen dadurch möglicherweise das Potenzial für richtig große, positive Umwälzungen.

Die Lösung: Periodische radikale Tests.

Eine gute Faustregel? Ab und zu tut es Ihrer Website gut, wenn Sie sie einer radikalen Veränderung unterziehen. (Diese Methode wird auch „radical testing“ genannt.) Wenn Sie nur niedrige Konversionsraten verzeichnen können, ist es vielleicht an der Zeit für eine radikale Veränderung.

Sie kennen das vielleicht vom Poker: Ab und an muss man auch mal einen größeren Einsatz wagen, um groß zu gewinnen.

Doch ein kurzes Wort der Warnung: Bei diesem Test müssen Sie einige Vorarbeit leisten. Unter anderem stünde dafür das Redesign Ihrer Webseite an. Das nimmt eine gewisse Zeit in Anspruch. Daher empfehlen wir, diesen Test nur gelegentlich durchzuführen.

Ein weiterer Nachteil bei dieser Testmethode ist, dass man nicht wirklich erkennen kann, welche Veränderungen eine Wirkung erzielen. Sie finden zwar heraus, ob eine radikale Veränderung Ihrer Website im Großen und Ganzen positiv ist, aber Sie werden nicht erkennen können, welche neuen Elemente dafür verantwortlich sind.

Dies war nur eine kleine Auswahl der häufigsten Fehler beim A/B-Testing. Es gibt aber noch viele andere. Wir würden uns freuen, wenn Sie Ihre eigenen Erfahrungen mit uns in den Kommentaren teilen. Dieser Artikel ist ursprünglich als Gastbeitrag auf dem HubSpot.com-Blog erschienen und wurde aus dem Englischen übersetzt.