Einen A/B-Test durchführen heißt: Du zeigst zwei Varianten einer Seite zufällig verteilt unterschiedlichen Besuchern und vergleichst, welche mehr Conversions bringt. Verlässlich wird das Ergebnis aber nur, wenn du vorher eine klare Hypothese formulierst, die nötige Stichprobengröße berechnest und den Test bis zum geplanten Ende laufen lässt. Wer zwischendurch nachsieht und beim ersten „signifikanten“ Wert abbricht, hält oft einen Zufallstreffer für einen Erfolg. Außerdem braucht deine Seite genug Besucher: Bei wenig Traffic sind andere Methoden sinnvoller.
Wann lohnt sich ein A/B-Test überhaupt?
Ein A/B-Test beantwortet eine sehr konkrete Frage: Führt Variante B bei derselben Zielgruppe zu mehr Abschlüssen als Variante A? Dafür brauchst du eine messbare Conversion, zum Beispiel eine Bestellung, eine Anfrage über ein Formular oder eine Newsletter-Anmeldung.
Bevor du testest, solltest du offensichtliche Probleme beheben. Lange Ladezeiten, eine schlecht bedienbare mobile Ansicht oder unverständliche Formulare sind keine Testfragen, sondern Fehler. Darauf weist auch Seokratie hin: Erst wenn die Grundlagen stimmen, lohnt der Vergleich von Details. Wie du Hürden im Bestellprozess findest, zeigt unser Beitrag zum Optimieren des Checkouts. Für die technische Basis hilft der Leitfaden für eine schnellere WordPress-Website.
Ein A/B-Test eignet sich vor allem, wenn
- die Seite regelmäßig genug Besucher und Conversions hat,
- du zwischen zwei plausiblen Lösungen unsicher bist,
- die Änderung einen spürbaren Effekt haben könnte, etwa beim Angebot, bei der Hauptaussage oder beim Formular.
Hat deine Seite nur wenige Hundert Besucher im Monat, kommt ein Test kaum zu einem belastbaren Ergebnis. Dann bringen Nutzertests mit wenigen Testpersonen, Auswertungen von Formularabbrüchen oder direkte Kundenfeedbacks meist mehr.
Schritt 1: Formuliere eine prüfbare Hypothese
Eine gute Hypothese beschreibt Beobachtung, Änderung und erwartete Wirkung. Ein Beispiel: „Viele Nutzer brechen auf der Produktseite ab, ohne die Versandkosten gesehen zu haben. Wenn wir die Versandkosten direkt unter dem Preis zeigen, steigt die Zahl der Warenkorb-Klicks.“
Lege außerdem vorab fest:
- Primäre Kennzahl: genau eine Conversion, nach der du entscheidest.
- Sekundäre Kennzahlen: Werte, die sich nicht verschlechtern dürfen, etwa Retourenquote oder Durchschnittswert der Bestellung.
- Zielgruppe: alle Besucher, nur mobile Nutzer oder nur Neukunden.
Ändere pro Test nach Möglichkeit nur einen Aspekt. Sonst weißt du am Ende nicht, welche Anpassung den Unterschied erklärt.
Schritt 2: Berechne die Stichprobengröße vorher
Die wichtigste Frage vor dem Start lautet: Wie viele Besucher brauchst du pro Variante? Das hängt von drei Werten ab:
- Ausgangs-Conversion-Rate: Wie viele Besucher konvertieren heute?
- Kleinster messbarer Effekt: Welche Verbesserung willst du mindestens erkennen können?
- Signifikanzniveau und Teststärke: Üblich sind 5 Prozent Irrtumswahrscheinlichkeit und 80 Prozent Teststärke.
Die folgende Tabelle zeigt Richtwerte für einen klassischen zweiseitigen Test mit diesen Standardwerten. Wir haben sie mit der üblichen Formel für den Vergleich zweier Anteile berechnet:
| Ausgangsrate | Relative Verbesserung | Neue Rate | Besucher pro Variante (ca.) |
|---|---|---|---|
| 2 % | +20 % | 2,4 % | 21.100 |
| 3 % | +20 % | 3,6 % | 13.900 |
| 3 % | +10 % | 3,3 % | 53.200 |
| 5 % | +10 % | 5,5 % | 31.200 |
Die Zahlen zeigen einen wichtigen Zusammenhang: Halbierst du den Effekt, den du erkennen willst, brauchst du etwa viermal so viele Besucher. Kleine Anpassungen wie eine andere Buttonfarbe sind deshalb für die meisten Websites nicht sinnvoll testbar. Für deine eigenen Werte kannst du einen Rechner wie den Stichprobenrechner von Evan Miller nutzen.
Schritt 3: Lege die Laufzeit fest und brich nicht zu früh ab
Aus der Stichprobengröße und deinem Traffic ergibt sich die Laufzeit. Braucht jede Variante 13.900 Besucher und kommen täglich 2.000 Besucher auf die Seite, dauert der Test rund 14 Tage.
Plane immer volle Wochen ein. Besucher verhalten sich am Wochenende oft anders als unter der Woche. Optimizely empfiehlt in seiner Dokumentation deshalb, Tests mindestens einen vollständigen Geschäftszyklus von sieben Tagen laufen zu lassen.
Der häufigste Fehler ist das vorzeitige Nachsehen und Abbrechen, auch „Peeking“ genannt. Die meisten klassischen Signifikanztests gehen davon aus, dass du nur einmal am geplanten Ende auswertest. Evan Miller zeigt in seiner Analyse „How Not To Run an A/B Test“, dass die tatsächliche Fehlerrate durch wiederholtes Prüfen auf 26,1 Prozent steigen kann, obwohl du mit 5 Prozent rechnest. Etwa jeder vierte „Gewinner“ wäre dann nur Zufall.
Wenn du Zwischenstände brauchst, nutze ein Tool mit sequenzieller oder bayesscher Auswertung, das für wiederholtes Prüfen ausgelegt ist. Andernfalls gilt: Stichprobe festlegen, abwarten, einmal auswerten.
Schritt 4: Setze den Test technisch sauber auf
Ein Test darf weder deine Sichtbarkeit in Suchmaschinen noch den Datenschutz gefährden. Achte auf diese Punkte:
SEO: Was Google erwartet
Google beschreibt in der Dokumentation zu Website-Tests in der Google Suche drei Regeln:
- Zeige dem Googlebot keine anderen Inhalte als deinen Besuchern. Das gilt als Cloaking.
- Nutzen die Varianten eigene URLs, verweisen sie per
rel="canonical"auf die Original-URL. Leitest du um, verwende eine temporäre 302-Weiterleitung statt einer dauerhaften 301-Weiterleitung. - Lass den Test nur so lange laufen wie nötig. Übermäßig lange Tests kann Google als Täuschungsversuch werten.
Datenschutz und Einwilligung
Viele Testing-Tools speichern die zugeteilte Variante in einem Cookie oder im lokalen Speicher des Browsers. Nach § 25 TDDDG ist dafür grundsätzlich eine Einwilligung nötig, es sei denn, der Zugriff ist unbedingt erforderlich, um einen vom Nutzer ausdrücklich gewünschten Dienst bereitzustellen. Ob diese Ausnahme für dein Test-Setup greift, solltest du im Zweifel rechtlich prüfen lassen. Beachte auch: Testest du nur mit Besuchern, die eingewilligt haben, sinkt die Stichprobe, und die Gruppe ist nicht unbedingt repräsentativ. Mehr dazu, wie du Daten sparsam erhebst, liest du in unserem Beitrag zur Webanalyse mit Datenschutz.
Tool und Ladeverhalten
Google Optimize ist seit dem 30. September 2023 nicht mehr verfügbar, wie Google in der Optimize-Hilfe mitteilt. Wer das Tool früher genutzt hat, braucht eine Alternative. Achte bei der Auswahl darauf, dass die Variante ohne sichtbares Flackern lädt. Wenn Besucher zuerst die Originalversion sehen und dann die Änderung, verfälscht das dein Ergebnis und stört die Nutzung.
Schritt 5: Werte das Ergebnis aus und dokumentiere es
Hat der Test die geplante Stichprobe erreicht, wertest du ihn einmal aus. Prüfe dabei:
- Ist der Unterschied bei der primären Kennzahl statistisch signifikant?
- Wie groß ist der Effekt, und wie breit ist das Konfidenzintervall?
- Haben sich sekundäre Kennzahlen verschlechtert?
- Gab es während des Tests Störungen, etwa eine Rabattaktion, einen technischen Fehler oder eine Änderung an der Seite?
Auch ein Test ohne Gewinner ist ein Ergebnis. Er zeigt dir, dass die Änderung keinen großen Einfluss hat und du dich auf andere Hebel konzentrieren kannst. Halte Hypothese, Laufzeit, Stichprobe, Ergebnis und Entscheidung in einem kurzen Testprotokoll fest. So vermeidest du, dieselbe Idee später erneut zu testen.
Checkliste: A/B-Test durchführen
- Offensichtliche Usability- und Ladezeitprobleme sind behoben.
- Die Hypothese nennt Beobachtung, Änderung und erwartete Wirkung.
- Es gibt genau eine primäre Kennzahl.
- Die Stichprobengröße ist vorab berechnet.
- Die Laufzeit umfasst volle Wochen.
- Varianten sind für Suchmaschinen korrekt eingebunden (kein Cloaking, Canonical, 302).
- Einwilligung und Datenschutz sind geklärt.
- Die Auswertung erfolgt einmal am geplanten Ende.
- Ergebnis und Entscheidung sind dokumentiert.
Häufige Fragen zum A/B-Test
Wie viele Besucher brauche ich für einen A/B-Test?
Das hängt von deiner Conversion-Rate und dem Effekt ab, den du erkennen willst. Bei 3 Prozent Ausgangsrate und einer erhofften Steigerung um 20 Prozent brauchst du rund 14.000 Besucher pro Variante. Berechne den Wert vor jedem Test neu.
Darf ich einen Test beenden, sobald er signifikant ist?
Nicht bei einem klassischen Test mit fester Stichprobe. Das wiederholte Prüfen erhöht die Wahrscheinlichkeit falscher Gewinner deutlich. Warte bis zur geplanten Stichprobe oder nutze ein Verfahren, das Zwischenauswertungen ausdrücklich erlaubt.
Schadet ein A/B-Test meinem Ranking?
Nicht, wenn du Googles Hinweise befolgst: kein Cloaking, Canonical auf das Original, 302 statt 301 und keine unnötig lange Laufzeit.
Was mache ich bei wenig Traffic?
Setze auf qualitative Methoden wie Nutzertests, Formularanalysen oder Kundengespräche. Eine Anleitung, wie du Fehler im Bestellprozess verständlich machst, findest du im Beitrag zu Fehlermeldungen im Checkout.
