Standard-Definition
Ein A/B-Test (auch Split-Test) ist die kontrollierte Gegenüberstellung zweier Varianten zur statistisch belastbaren Ermittlung, welche besser auf ein definiertes Ziel performt. Beim klassischen A/B-Test wird der Traffic gleichmäßig auf Variante A (Original) und Variante B (Test) aufgeteilt; eine Erfolgs-Metrik (Conversion Rate, Klickrate, durchschnittlicher Bestellwert) wird über einen festgelegten Zeitraum gemessen. Statistische Signifikanz wird typisch über Chi-Quadrat-Test oder Bayes'sche Methoden ermittelt — typische Signifikanz-Schwelle 95 Prozent (p < 0,05). Tools: Google Optimize (eingestellt 2023, durch GA4-Integration teilweise ersetzt), VWO, Optimizely, AB Tasty, Convert. Multivariate Tests (MVT) testen mehrere Elemente gleichzeitig und sind statistisch anspruchsvoller.
Was das in der Mandate-Praxis bedeutet
A/B-Tests sind die methodische Grundlage seriöser Conversion Rate Optimization — werden aber häufig methodisch fehlerhaft durchgeführt.
Erstens, statistische Power ist die häufigste Schwäche. Viele Mandate-A/B-Tests laufen mit zu wenig Traffic oder zu kurzer Laufzeit, um statistisch belastbare Aussagen zu treffen. Faustregel: pro Variante mindestens 100 Conversions, mindestens 2 vollständige Wochen Laufzeit (um Wochentag-Schwankungen abzubilden), idealerweise 4 Wochen. Wer mit weniger Daten „signifikante" Ergebnisse meldet, riskiert systematische Fehl-Schlüsse — bekannt als „Peeking-Problem" oder „falscher Positiv-Befund".
Zweitens, kleine Effekte brauchen viel mehr Volumen als gedacht. Ein Test, der eine Conversion-Rate-Verbesserung von 0,5 Prozentpunkten erkennen soll (von 2 auf 2,5 Prozent), braucht typisch mehrere tausend Conversions pro Variante. Bei vielen Sites bedeutet das mehrere Monate Test-Dauer. Konsequenz: A/B-Tests sind nur dann wirtschaftlich, wenn relevante Effekt-Größen erwartbar sind — kleine kosmetische Optimierungen (Button-Farbe, Headline-Formulierung) führen oft zu null-signifikanten Tests und Verschwendung der Test-Ressourcen.
Drittens, der häufigste Calvarius-Mandate-Befund ist Test-Über-Interpretation. Ein Test mit 95 Prozent Signifikanz und 8 Prozent Conversion-Rate-Verbesserung wird als „klare Gewinner-Variante" gemeldet — auch wenn das Konfidenz-Intervall von -1 bis +17 Prozent reicht. Ehrliche Test-Interpretation berücksichtigt nicht nur den Punkt-Schätzwert, sondern die Bandbreite. Praxis-Empfehlung: A/B-Test-Ergebnisse mit Konfidenz-Intervallen kommunizieren, nicht mit Punkt-Werten — das schafft Erwartungs-Realismus und vermeidet enttäuschende Roll-out-Performances nach Test-Ende.