Wenn Sie Joptimisemonsite regelmäßig lesen, wissen Sie, dass ich eine Doktrin habe, die ich befolge, seit ich im Webmarketing arbeite: Testen, testen und noch einmal testen! Und wer „Testen“ sagt, sagt „A/B-Testen“.
Zur Erinnerung: Vor einigen Monaten habe ich die Ergebnisse von A/B-Tests veröffentlicht, die ich als E-Commerce-Manager bei Next Interactive (BFM TV, RMC, 01net) durchgeführt habe und die Ihnen dabei helfen sollten, Folgendes zu zeigen:
Heute wollte ich Sie darauf aufmerksam machen, dass die Durchführung von A/B-Tests wichtig ist, Sie aber bei der Verwendung der resultierenden Daten nichts unternehmen sollten.
Und um meinen Standpunkt zu untermauern, werde ich Ihnen Feedback zu einem Test geben, den ich derzeit im Auftrag einer Pariser Trainingsorganisation unter Verwendung des durchgeführt habe Beampulse A/B-Testmodul.
Die 3 Phasen eines A/B-Tests
Damit komme ich zum Thema meines Artikels: Achten Sie beim A/B-Testen auf voreilige Testschlussfolgerungen!
Als Einleitung muss ich Sie daran erinnern, dass es meiner Meinung nach drei verschiedene Phasen bei der Durchführung eines A/B-Tests gibt:
- Der Start des Tests: Die Kurven sind sehr volatil, da die getesteten Volumina immer noch zu niedrig sind: Jede neue Konvertierung (d. h. ein Klick auf die Schaltfläche „In den Warenkorb“ in meinem Fall) hat Auswirkungen auf die Kurven.
- Die Stabilisierungsphase: Mit steigenden Volumina stabilisieren sich dann die Kurven und es zeichnet sich ein erster Trend ab.
- Die Bestätigungs-/Verfestigungsphase: Je stärker die Volumina steigen, desto mehr verringern wir die Auswirkungen derer, die wir als „schwarze Schafe“ bezeichnen, also der Internetnutzer, die nicht wie der Durchschnitt reagieren. Die Konsolidierungsphase (Bestätigung) der Ergebnisse ermöglicht es, den ersten Trend zu überprüfen und sicherzustellen, dass die Ergebnisse zuverlässig sind.
Darstellung des Praxisfalls
Vom A/B-Test betroffene Seiten: Produktblätter
Beobachtung: Auf den ersten Blick sind auf den Produktblättern der Ausbildungsorganisation über dem Falz keine beruhigenden oder kommerziellen Argumente zu finden.
Ziel des Tests: Messen Sie die Auswirkung der Hinzufügung von Rückversicherungs- und kommerziellen Argumenten auf die Rate der Hinzufügung zum Warenkorb verkaufter Produkte
Original- und Variantenversion:
Wie Sie sehen können, habe ich zwischen der Wahl des Schulungstermins und der Schaltfläche „Bestätigen“ eine Einfügung von Beruhigungen und kommerziellen Argumenten platziert.
Verkehrsverteilung: 50-50
Was war das Ergebnis meines A/B-Tests?
Der einfachste Weg, Ihnen die Ergebnisse zu präsentieren, besteht darin, Ihnen zwei Versionen der Entwicklungskurven zur Verfügung zu stellen. Diese Kurven zeigen Ihnen die Entwicklung der Klickrate auf den Aktionsbutton:
Die grüne Kurve entspricht der Originalversion. Die orangefarbene Kurve ist daher mit den Statistiken der alternativen Version verknüpft, die die kommerziellen/beruhigenden Argumente enthält.
Wie Sie sehen, können wir die erste Phase mit sehr volatilen Kurven deutlich erkennen. Dann sehen wir, dass die Kurven näher zusammenrücken und sich sogar kreuzen (1 roter Kreis), um die Stabilisierungsphase einzuleiten.
Und hier wird es für jemanden, der neu im Bereich A/B-Tests ist, gefährlich. Tatsächlich ist der Teil, den Sie im blauen Rechteck sehen, ziemlich stabil. Im grauen Kreis hatte die Alternativversion sogar eine Klickrate von mehr als +50 % im Vergleich zur Originalversion: Meine Hypothese war also richtig! FEHLER !
Tatsächlich waren die Volumina, wie ich oben erwähnt habe, bereits beträchtlich, aber nicht ausreichend Reduzieren Sie die Fehlerquote, die durch schwarze Schafe bei Internetnutzern verursacht wird ! So sehr, dass sich die beiden Kurven einige Tage/Wochen später berührten, wie Sie im zweiten roten Kreis sehen können.
Nun, es stellt sich heraus, dass die orangefarbene Kurve wieder zu steigen beginnt und sich seitdem bei etwa +15 % stabilisiert zu haben scheint. Hätte ich den Test aber zu früh abgebrochen, weil ich mir meiner Sache sicher war (zum Beispiel während des grauen Kreises), hätte ich möglicherweise entscheidende Informationen übersehen (zum Beispiel, wenn die Originalversion letztendlich die Alternativversion übernommen hätte). Seien Sie also vorsichtig und respektieren Sie die 4 Kriterien, die definieren, dass ein A/B-Test abgebrochen werden kann, weil er als zuverlässig gilt.
