A/B-Test

Der A/B-Test (auch split test) ist eine Testmethode zur Bewertung zweier Varianten eines Systems, bei der die Originalversion gegen eine leicht veränderte Version getestet wird. Anwendung findet diese Methode hauptsächlich bei Software und im Webdesign mit dem Ziel, eine bestimmte Nutzeraktion oder Reaktionen zu steigern.^[1] Im Laufe der Jahre hat es sich zu einer der wichtigsten Testmethoden im Online-Marketing entwickelt. Mit dem A/B-Test werden aber auch Preise, Designs und Werbemaßnahmen verglichen.^[2]

Der A/B-Test ist eine Form eines randomisierten Experiments oder eines randomisiert kontrollierten Experiments, falls eine der A/B-Gruppen als Kontrollgruppe fungiert.

Beim A/B-Test wird die Zielgruppe (z. B. Besucher einer Webseite oder Empfänger eines Newsletters) in zwei Untergruppen aufgeteilt: Gruppe A und Gruppe B. Diese Aufteilung muss zufällig erfolgen (Randomisierung).^[3]

Entsprechend der Aufteilung der Zielgruppe wird auch das Testobjekt, wie beispielsweise eine Landingpage oder eine Anzeige, zweigeteilt produziert: die Originalvariante und eine veränderte Variante. Beide Varianten sollten sich nur in einer Komponente unterscheiden, denn nur so können Unterschiede in den Reaktionen eindeutig auf die Änderung zurückgeführt werden.^[3] Anschließend wird bei der Gruppe A das Original und bei der Gruppe B die veränderte Version eingesetzt und die Reaktionen verglichen.

Mit Reaktion ist hierbei das gewünschte Wirkungsergebnis gemeint, wie zum Beispiel eine Registrierung, die Anmeldung für einen Newsletter oder Bestellung eines Produktes. Neben der Verbesserung des Nutzererlebnisses sind A/B-Tests somit auch ein Mittel zur Steigerung der Konversionsrate.

Das für einen A/B-Test genutzte statistische Testverfahren hängt von den Eigenschaften der genutzten Daten ab. Von den Zwei-Stichproben-Hypothesentests kommen je nach Anwendungsfall bspw. Welch-t-Test, Fishers exakter Test, Chi-Quadrat-Test, Wilcoxon-Mann-Whitney-Test und Permutationstest in Frage.

Beim A/B-Test wird im Gegensatz zum multivariaten Test nur eine Variable verändert und auf ihre Wirksamkeit hin getestet. Damit ein A/B-Test effektiv ist und die Ergebnisse Validität erreichen, muss eine ausreichende Trennschärfe gegeben sein. Insbesondere ist somit beim Design des Tests zu beachten, dass die Größe der Stichproben hinreichend gewählt ist, dass der (gewünschte) minimal detektierbare Effekt auch zuverlässig detektiert werden kann.

Wichtig ist beim A/B-Testing darüber hinaus, dass im Vorfeld entsprechende Ziele und Hypothesen definiert werden, um im Nachhinein den Erfolg bzw. Misserfolg einer Maßnahme einschätzen zu können. Dabei arbeitet man mit zwei Arten von Hypothesen: Hypothesen, die aussagen, dass ein bestehendes Element das Ziel fördert und Hypothesen, die noch nicht umgesetzt und nicht mit Zahlen belegt wurden, aber (scheinbar) logisch sind. Ein Beispiel für eine Hypothese wäre: „Ein gelber Kaufen-Button fördert die Conversion-Rate“. Um ein klares Ergebnis zu erhalten, sollte man Hypothesen immer einzeln testen.

• Stochastische Ordnung

• Tim Ash: Landing Page Optimization: The Definitive Guide to Testing and Tuning for Conversions. 1. Auflage. Wiley Verlag, New York 2008, S. 214ff.
• Avinash Kaushik: Web Analytics: An Hour a Day. 1. Auflage. Wiley Verlag, New York 2007, S. 238ff.
• Markus Schöberl: Tests im Direktmarketing: Konzepte und Methoden für die Praxis – Auswertung und Analyse – Qualitätsmanagement und Erfolgsorientierung. 1. Auflage. Redline Wirtschaft Verlag, Frankfurt am Main 2004.
• D. Siroker, P. Koomen: A/B testing: The most powerful way to turn clicks into customers. John Wiley & Sons, 2013.
• Yoon Hyup Hwang: Hands-On Data Science for Marketing: Improve your marketing strategies with machine learning using Python and R. 2019, Kapitel 12.

• The Ultimate Guide To A/B Testing. In: smashingmagazine.com, (engl.)
• Airlock – Facebook’s mobile A/B testing framework. In: code.facebook.com, (engl.)

1. ↑ Ron Kohavi, Roger Longbotham: Online Controlled Experiments and A/B Tests. (PDF) 25. April 2015, abgerufen am 8. Februar 2016 (englisch). 
2. ↑ A/B-Test Definition. Abgerufen am 9. August 2018. 
3. ↑ ^{a b} R. T. Kreutzer: Online-marketing. Springer Gabler, Wiesbaden 2016, S. 141.