Beim Testing kann es mitunter zu katastrophalen Fehlinterpretationen kommen, weil unterschiedliche Besucher-Segmente ganz unterschiedlich auf Tests reagieren. Wie sehr Online-Händler sich bei der Auswertung vertun können, zeigt folgendes Beispiel.
Um wirklich zutreffende Aussagen über die Ergebnisse eines Tests im Online-Shop machen zu können, ist es unvermeidlich, die Ergebnisse nach unterschiedlichen Besucher-Segmenten zu unterteilen. Darauf weist Gabriel Beck, Mitglied der Geschäftsleitung der Web Arts AG, hin.
Denn ohne Segmentierung können Testergebnisse im schlimmsten Fall dazu verleiten, einer falschen Strategie zu folgen. Das Ende vom Lied sind dann sinkende, statt steigender Konversionsraten.
Beck zeigt, wie eine Segmentierung zu vollkommen unterschiedlichen Testergebnissen führen kann. Grundlage der folgenden Analysen sind echten Daten aus einem Test:
Die Auswertung weist einen Uplift von Variante A zu Variante B in Höhe von 2,08 Prozent aus. Nicht eben groß, aber – so könnte man denken – also lohnt es sich nicht die Shop-Variante B weiterzuverfolgen? Dann hat Beck die Ergebnisse in „Neue Besucher“ und „Wiederkehrende Besucher“ segmentiert und kam zu folgenden Resultaten:
Beim Testing den Durchblick behalten
Nach erfolgter Segmentierung wird jedoch schnell klar, dass sich die Variante B lohnt; und wie es sich lohnt. Allerdings nur bei den Neukunden. Denn Variante B schlägt Variante A mit einem Uplift von fast 14 Prozent. Ernüchternder sieht es dagegen bei den wiederkehrenden Besuchern aus. Hier bestätigt sich die Annahme aus der Analyse der nicht-segmentierten Daten. Variante B performed mit -0,22 Prozent sogar noch ein klein wenig schlechter als Variante A.
Um zu verdeutlichen, welche Aussagekraft in einer Segmentsanalyse stecken kann, konstruierte Beck anschließend noch das folgende Szenario. Grundlage waren ebenfalls die zuvor verwendeten Daten. Allerdings wurde diesmal bei den neuen Besuchern der Uplift in einen Downlift verwandelt.
Schnell wird klar, dass der Shopbetreiber bei diesem Szenario mit Variante B auf das falsche Pferd gesetzt hätte. So richtig unschön ist der Blick auf die Neuen Besucher. Der Downlift beträgt hier sage und schreibe über 15 Prozent.
