Fehlerhafte KPIs im A/B-Test gehören zu den häufigsten Gründen, warum gut gemeinte Optimierungen ins Leere laufen. Du führst regelmäßig A/B-Tests durch, doch die Ergebnisse bleiben hinter den Erwartungen zurück? Du optimierst fleißig Seiten, Texte und Funnels – aber irgendwie „passiert“ nichts? Dann lohnt sich ein genauer Blick auf die Kennzahlen, die du misst – und wie du sie interpretierst.
In der Conversion-Optimierung entscheidet nicht nur das Testdesign über Erfolg oder Misserfolg, sondern vor allem die Wahl und Interpretation der richtigen Key Performance Indicators (KPIs). Falsch gesetzte oder falsch verstandene KPIs führen zu irreführenden Ergebnissen, schlechten Entscheidungen und verschwendetem Testing-Budget. Laut Holmström Olsson, Bosch und Fabijan (2017) bestehen zentrale Herausforderungen bei A/B-Tests u. a. in der mangelnden Skalierbarkeit, der fehlenden Abstimmung von KPIs und der unklaren Übertragbarkeit bestehender Lösungen auf verschiedene Domänen.
In diesem Beitrag möchte ich auf eine bedachte Herangehensweise beim Testing eingehen. Dabei werden wir uns beispielhaft wichtige KPI’s anschauen, welche bereits vor dem Experiment definiert werden müssen. Diese müssen richtig gedeutet werden um anschließend mittels den Interpretationen der Ergebnisse eine langfristig gute Entscheidung zu treffen und fundierte Maßnahmen zu bestimmen. Zudem lohnt sich vor dem Starten der Experimente ein Blick auf unseren ROI-Rechner.
1. Der größte Fehler im A/B-Testing: KPIs ohne klares Ziel
Ein häufiger Grund, warum A/B-Tests scheitern, ist das fehlende oder zu vage Ziel. Aussagen wie „Wir wollen die Conversion Rate verbessern“ sind zwar gut gemeint, aber viel zu unkonkret.
Ohne ein präzises Ziel ist jeder KPI wertlos. Denn: Die Kennzahl muss eine direkte Verbindung zur Hypothese haben. Nur so kannst du am Ende sicher sagen, ob Dein Test erfolgreich war oder nicht.
Beispiel:
Wenn du z. B. den Call-to-Action auf einer Landingpage änderst, sollte der primäre KPI nicht „Time on Page“, sondern z. B. „Anzahl abgeschickter Formulare“ sein. Die Time on Page ist in diesem Fall maximal ein sekundärer Indikator – aber kein Beweis für Erfolg.
2. So wählst du die richtigen KPIs für deinen A/B-Test
Nicht jeder KPI ist für jeden Test geeignet. Es kommt ganz auf Dein Ziel und Deine Hypothese an. In der Praxis bewährt sich die Unterscheidung zwischen:
🔹 Primary KPI
Die zentrale Kennzahl, an der Du den Erfolg Deines Tests misst. Diese sollte nur eine einzige sein, sonst wird die Auswertung schnell beliebig.
🔹 Secondary KPIs
Begleitende Kennzahlen, die Dir zusätzliche Einblicke liefern. Diese sollten helfen, das Ergebnis besser einzuordnen – nicht es zu relativieren.
Beispiele für gute KPIs je nach Testziel:
| Testziel | Primärer KPI |
|---|---|
| Buttonfarbe ändern | Klickrate (CTR) auf Button |
| Formular vereinfachen | Conversion Rate (Formular-Abschlüsse) |
| Warenkorb optimieren | Average Order Value (AOV) |
| Pricing-Page neu strukturieren | Anzahl der abgeschlossenen Käufe |
Tipp: Weniger ist mehr. Beschränke Dich auf 1–2 KPIs pro Test, die wirklich zum Ziel passen.
3. KPI-Fallen: Wie falsche Interpretation deine Tests unbrauchbar macht
Selbst wenn du die richtigen KPIs gewählt hast, lauern bei der Interpretation jede Menge Stolperfallen. Fehlerhafte KPIs im A/B-Test entstehen dabei oft nicht durch die Auswahl allein – sondern durch falsche Schlüsse aus den Daten.
❌ Fehler 1: Signifikanz falsch verstehen
Viele sehen ein „signifikantes Ergebnis“ und denken automatisch: Testvariante ist besser! Dabei bedeutet Signifikanz nur, dass der Unterschied statistisch gesehen wahrscheinlich nicht zufällig ist – nicht, dass er relevant ist.
❌ Fehler 2: P-Hacking
Wer einen Test vorzeitig abbricht oder die Auswertung so lange wiederholt, bis ein gewünschter Wert erscheint, manipuliert die Aussagekraft der Daten. Das verzerrt Ergebnisse und führt zu falschen Entscheidungen.
❌ Fehler 3: Sekundäre KPIs überbewerten
Wenn der primäre KPI keine Veränderung zeigt, aber ein sekundärer KPI plötzlich gut aussieht, ist Vorsicht geboten. Solche Effekte können zufällig sein – oder gar in die falsche Richtung deuten. Auch hier gilt: Fehlerhafte KPIs im A/B-Test entstehen häufig durch fehlende Kontextbewertung oder statistisches Unverständnis.
✅ So interpretierst Du KPIs richtig:
- Nutze Konfidenzintervalle statt nur p-Werte
- Achte auf die Effektstärke (nicht nur: „Ist besser?“, sondern: „Wie viel besser?“)
- Vergleiche auch die Varianz zwischen den Varianten
- Lass Tests lang genug laufen (mindestens ein kompletter Business-Zyklus)
4. Praxisbeispiele: Wenn KPIs in die Irre führen
📉 Case Study 1: Conversion-Rate steigt, aber der Umsatz sinkt
Ein Shop testet einen aggressiveren Rabatt. Die Conversion Rate schießt hoch – doch der durchschnittliche Warenkorbwert sinkt drastisch. Ohne AOV als ergänzenden KPI hätte das Team eine wirtschaftlich nachteilige Entscheidung getroffen.
🕒 Case Study 2: Kurzfristiger Erfolg – langfristiger Flop
Ein Test zeigt nach 3 Tagen eine deutliche Steigerung der Anmeldungen. Der Test wird abgebrochen und die Variante ausgerollt. Nach 4 Wochen zeigt sich: Die Qualität der Leads ist deutlich schlechter. Zu früh beendet, falsches Bild.
🧭 Case Study 3: Sekundärer KPI lenkt vom Ziel ab
Ein Unternehmen testet zwei Checkout-Prozesse. Variante B hat eine höhere Klickrate auf den „Jetzt kaufen“-Button (sekundärer KPI) – aber letztlich weniger abgeschlossene Käufe (primärer KPI). Die Versuchung war groß, auf die „aktive“ Variante zu setzen – zum Glück wurde auf den richtigen KPI geachtet.
5. KPI-Strategie: So sicherst Du den Erfolg Deiner A/B-Tests
Damit Deine Tests fundiert und aussagekräftig bleiben, brauchst Du eine klare KPI-Strategie:
✅ Ziele definieren, bevor der Test startet
✅ Primäre KPI festlegen und testen, was Du auch messen kannst
✅ Nur interpretieren, was signifikant UND relevant ist
✅ Sekundäre KPIs nur unterstützend einbeziehen – nie als Hauptentscheidung
✅ Lang genug testen und nicht „gefühlt“ abbrechen
Doch welche Kennzahlen eignen sich überhaupt als primäre KPIs im E-Commerce – und in welchen Testszenarien kommen sie am besten zum Einsatz?
Die folgende Übersicht hilft Dir dabei, die wichtigsten KPIs im E-Commerce besser einzuordnen: wann sie sinnvoll sind, wie sie zu interpretieren sind – und in welchen Tests sie als primärer Erfolgsindikator dienen können:
| KPI | Als primärer KPI bei … | Was es bedeutet / Wie zu interpretieren |
|---|---|---|
| Conversion Rate | Produktseiten, Landingpages, Checkout | Anteil der Sitzungen mit Zielerreichung. Höher = besser. Achtung auf Signifikanz & Traffic-Qualität. |
| Average Order Value (AOV) | Upselling-Tests, Preisstrategie, Warenkorb-Optimierung | Durchschnittlicher Bestellwert. Höherer AOV kann Effizienz steigern – aber Vorsicht bei Rabatten. |
| Add-to-Cart Rate | Produktdetailseiten, CTAs | Zeigt, wie viele Nutzer ein Produkt dem Warenkorb hinzufügen. Guter Indikator für Produktinteresse. |
| Checkout-Abbruchrate | Checkout-Optimierung, Zahlungsprozess | Anteil der Nutzer, die den Kaufprozess abbrechen. Niedriger = besser. |
| Revenue per Visitor (RPV) | Gesamtshop-Tests, Performance-Messung | Umsatz pro Besucher. Kombiniert Conversion Rate & AOV – sehr ganzheitlicher KPI. |
| Click-Through-Rate (CTR) | Teaser, Call-to-Actions, Navigations-Tests | Anteil der Klicks auf ein Element im Verhältnis zu den Impressionen. Frühindikator für Relevanz. |
| Anzahl der Bestellungen | Promotions, Sales-Kampagnen | Klassischer Erfolgskanal. Stark abhängig vom Traffic – ggf. sekundär zu interpretieren. |
| Customer Lifetime Value (CLV) | Retention-Tests, Abo-Modelle, Kundenbindungsmaßnahmen | Langfristiger Wert eines Kunden. Nur sinnvoll bei ausreichendem Datenvolumen und langfristiger Betrachtung. |
| Leads / Registrierungen | Lead-Gen, B2B-Funnels, Newsletter-Aktionen | Primär-KPI für nicht-transaktionale Ziele. Wichtig: Qualität der Leads mitbewerten. |
| Bounce Rate | Landingpages, Startseiten | Zeigt, wie viele Nutzer ohne Interaktion abspringen. Hoch = Einstieg überdenken oder irrelevanter Content. |
Fazit: KPIs sind Dein Kompass – aber nur, wenn Du sie richtig liest
A/B-Testing ist ein mächtiges Werkzeug der Conversion-Optimierung – aber nur so gut wie die Kennzahlen, auf denen es basiert. Falsch gesetzte oder falsch interpretierte KPIs führen zu Entscheidungen, die Deinem Unternehmen mehr schaden als nützen.
Mit einer klaren KPI-Strategie, einem sauberen Testdesign und einer fundierten Interpretation machst Du Deine Tests nicht nur zuverlässiger – sondern bringst deine gesamte Optimierung auf das nächste Level.
Und genau hier unterstützt Dich Convertly.
Convertly liefert dir nicht nur die Möglichkeit, A/B-Tests schnell und sauber aufzusetzen, sondern bietet auch automatisierte KPI-Auswertungen, die weit über klassische Metriken hinausgehen:
- Primäre und sekundäre KPIs werden automatisch unterschieden und visuell priorisiert
- Konfidenzintervalle und Effektstärken werden in Echtzeit berechnet und klar verständlich dargestellt
- Du erkennst statistische Signifikanz auf einen Blick, ohne selbst rechnen zu müssen
- Integrierte Interpretationshilfen zeigen Dir, wie Du Testergebnisse korrekt liest – auch wenn sie uneindeutig sind
- Durch intelligente Filterfunktionen kannst Du zielgruppenspezifische KPIs analysieren, z. B. mobil vs. Desktop oder neue vs. wiederkehrende Nutzer
So vermeidest Du typische KPI-Fallen und triffst fundierte Entscheidungen auf Basis wirklich relevanter Daten.
Fazit: Convertly hilft Dir nicht nur beim Testen – sondern vor allem beim richtigen Lesen der Ergebnisse. Denn nur wer KPIs wirklich versteht, kann aus A/B-Tests echte Learnings ziehen.
