Schluss mit der Conversion-Lotterie: A/B Testing Tracking

Wenn du den Dortmunder Hauptbahnhof verlässt, fällt dein Blick zwischen Fußballmuseum und Landesbibliothek direkt auf die Katharinentreppen. Vielleicht 30 Stufen hoch, nicht sonderlich imposant, aber berüchtigt. Denn in der Vergangenheit sind dort immer wieder Autos runtergerauscht. Die Begründung sämtlicher Bruchpiloten: „Mein Navi hat mir gesagt, ich soll da langfahren.“

Ganz Unrecht hatte das Gerät nicht. Wenn du von der Schmiedingstraße auf den Wall willst, ist das tatsächlich die schnellste und direkteste Route mit dem geringsten Verkehrsaufkommen. Nur die Treppe stört. Schuld am Debakel war also nicht die Software, sondern die Daten, mit denen sie gearbeitet hat: unvollständig oder fehlerhaft.

Mit A/B-Tests verhält sich die Sache ähnlich: Dein Testing-Tool kann noch so ausgefeilte statistische Verfahren verwenden – wenn dein Tracking falsche Daten liefert, führt dich das Ergebnis ebenfalls in die falsche Richtung. Statt deinen Store zu optimieren, fährst du mitten in die Growth-Sackgasse.

Dieser Beitrag dreht sich daher komplett ums Tracking beim A/B-Testing und Fragen wie: Wieso können Daten überhaupt fehlerhaft sein? Worauf musst du achten, um an saubere Informationen zu gelangen? Und an welchen Stellen im Store ergibt das Tracking den größten Sinn?

Als Expertin begleitet uns dabei Maria-Lena Matysik, die Gründerin von AnalyticsFreaks. Gemeinsam mit ihr beantworten wir zum Einstieg die wohl grundlegendste aller Fragen zum Thema:

Warum ist gutes Tracking die Basis jedes erfolgreichen A/B-Tests?

Auf den ersten Blick wirken A/B-Tests extrem simpel: Du erstellst zwei Varianten einer Seite, teilst deine Besucher:innen in zwei gleich große Gruppen auf und vergleichst anschließend die Ergebnisse: Variante A oder Variante B – wer performt besser



Ganz so einfach ist es dann aber doch nicht, denn hinter einem A/B-Test steht immer die statistische Auswertung und die braucht nicht nur ausreichend viele Zahlen, um sinnvolle Ergebnisse abliefern zu können, sondern auch zuverlässige Messwerte. Die Statistik spricht von Objektivität, Reliabilität und Validität. Das bedeutet im Einzelnen:

• Objektivität: Die Messung muss unabhängig von den beteiligten Personen sein, beziehungsweise auf einer realistischen Repräsentation der Gesamtmenge beruhen. Wenn du das Ergebnis der nächsten Bundestagswahl voraussagen willst und dafür nur Menschen aus der bayerischen Provinz befragst, stellt die CSU nicht nur den nächsten Kanzler, sondern deine Methode wäre auch nicht objektiv.

• Reliabilität: Wenn du die Messung unter den exakt gleichen Bedingungen wiederholst, muss sie auch dieselben Ergebnisse liefern. Falls du auch einen dieser Personenwaagen im Bad hast, die um 15 Uhr 82,4 kg anzeigen und um 16 Uhr 83,7 kg, dann weißt du, wie ein Test aussieht, der nicht reliabel ist. Meist haben wir es hier also mit einem technischen Problem zu tun.

• Validität: Valide bedeutet, dass ein Test tatsächlich misst, was er messen soll. Fehler entstehen hier meist durch missinterpretierte oder missachtete Korrelationen. Stell dir vor, du willst testen, ob sich Eiskonsum negativ auf die Gesundheit auswirkt, und bemerkst, dass die Zahl der Ertrinkenden steigt, wenn mehr Eis gegessen wird. Ergo führt Eisessen zum Tod im Wasser – oder?

„Ein A/B-Test kann nur so gut sein wie die Daten, die in ihn einfließen. Bevor du über Optimierungen nachdenkst, musst du sicherstellen, dass du deinen Erfolg überhaupt richtig misst.“ – Maria-Lena Matysik, AnalyticsFreaks

Verstöße gegen die Prinzipien von Objektivität, Reliabilität und Validität führen auch im A/B-Testing häufig zu falschen Ergebnissen und einer schlechten Datenqualität. Werfen wir also einen Blick auf die Details und die Frage:

Welche Tracking-Fehler verfälschen A/B-Tests und wie stellst du sie ab?

In der Praxis existieren zahlreiche Fehlerquellen für mangelhaftes A/B-Testing. Manche von ihnen lassen sich durch ein sauberes Setup vermeiden, andere gehören schlicht zur Realität des Onlinehandels. Wir hätten:

Fehler #1: Besucher werden nicht sauber einer Variante zugeordnet

Verstoß gegen: Reliabilität

Eine grundlegende Voraussetzung für erfolgreiche A/B-Tests ist, dass Besucher:innen während des gesamten Tests zuverlässig in ein und derselben Variante bleiben. Wenn Nutzende heute Variante A und morgen Variante B sehen, werden die Ergebnisse unbrauchbar.

Das kann beispielsweise passieren, wenn Cookies gelöscht werden, Tracking-Parameter verloren gehen oder die technische Integration des Testing-Tools nicht sauber funktioniert. Jetzt wird ein Kauf möglicherweise der falschen Variante zugerechnet oder Nutzer:innen tauchen in beiden Testgruppen auf.

So vermeidest du den Fehler:

• Sorge dafür, dass die Variante dauerhaft gespeichert wird. Das Testing-Tool muss sich merken können, ob Besuchende bereits Variante A oder Variante B gesehen haben.

• Prüfe regelmäßig, ob Cookies und Tracking-Parameter erhalten bleiben. Simuliere dazu einen Inkognito-Kaufprozess. Kontrolliere anschließend, ob du während der gesamten Session derselben Variante zugeordnet bleibst.

• Teste die gesamte Customer Journey, nicht nur den ersten Seitenaufruf. Hast du etwa den CTA eines Buttons geändert, solltest du die Auswirkungen nicht nur auf der Landingpage testen, sondern auch vom ersten Klick bis zum Kaufabschluss.

Allerdings gilt: Eine hundertprozentige Vermeidung dieses Fehlers ist nicht möglich, denn Browser-Einstellungen, Datenschutzfunktionen oder gelöschte Cookies liegen schlicht außerhalb deiner Kontrolle.

Fehler #2: Events werden falsch oder unvollständig erfasst

Verstoß gegen: Reliabilität

Ein A/B-Test braucht klare Messpunkte: Produktansicht, Add-To-Cart, Checkout-Beginn oder Kaufabschluss. Werden diese Events nicht zuverlässig ausgelöst, vergleichst du am Ende nicht zwei eindeutige Varianten, sondern zwei unterschiedlich gut gemessene Varianten.

Ein häufiger Fehler ist beispielsweise, einzelne Buttons über ihre HTML-ID zu tracken. Ändert sich das Theme oder wird ein Button technisch angepasst, funktioniert das Tracking möglicherweise nicht mehr.

So vermeidest du den Fehler:

• Nutze möglichst stabile Tracking-Methoden wie Datalayer-Events. Teste also nicht, ob der „Buy now“-Button angeklickt wird, denn wenn sich dessen Name durch ein Update zu „Add to Cart“-Button ändert, geht der Test kaputt. Ein Datalayer-Event testet dagegen auf die konkrete Aktion.

• Definiere Events eindeutig. Statistische Tests beruhen immer auf klar vorgegebenen Messwerten. Deshalb nicht schwammig arbeiten, sondern maximal konkret werden: Welche Aktion wird gemessen und welches Ziel wird damit verfolgt?

• Prüfe vor jedem Test, ob alle wichtigen Aktionen korrekt ankommen. Also nicht einfach das Tool einrichten und auf das Beste hoffen. Wie für jede Software gilt auch hier: Erst im Labor testen, dann in die Weiten des echten Webs entlassen.

Beachte trotzdem: Kleine Messlücken wird es immer geben. Entscheidend ist, dass sie beide Varianten möglichst gleichmäßig betreffen.

Fehler #3: Das Testing-Tool und Analytics zählen unterschiedlich

Verstoß gegen: Objektivität

Viele Händler:innen erschrecken, wenn Google Analytics andere Nutzerzahlen ausspuckt als ihr A/B-Testing-Tool. Dabei bedeutet eine Abweichung nicht automatisch, dass eines der Systeme falsch arbeitet – oft haben die Tools einfach unterschiedliche Definitionen davon, wann ein:e User:in gezählt wird:

• Wann wird jemand einer Variante zugeordnet? Möglich ist zum Beispiel, dass GA bereits den ersten Seitenaufruf zählt, während dein A/B-Testing-Tool nur komplett durchgespielte Tests auswertet.

• Wie werden Consent-Verweigerer:innen berücksichtigt? Besucherin XY kann etwa dem A/B-Test zustimmen, aber verbieten, dass ihre Informationen an Google weitergegeben werden. Schon entstehen Diskrepanzen.

• Wie werden blockierte Tracking-Skripte behandelt? Stichwort Adblocker: Die Software schiebt Google einen Riegel vor (denn Google ist groß und böse), aber lässt das A/B-Testing-Tool gewähren (denn die Software kennt es gar nicht). Auch hier kann es also zu Unregelmäßigkeiten kommen.

So vermeidest du den Fehler:

Versuche nicht, die Zahlen künstlich aneinander anzupassen. Für die Bewertung eines Tests sollte immer das Testing-Tool die entscheidende Quelle bleiben. Hier wird die Variantenverteilung kontrolliert, hier schlägt das Herz des Auswertungsalgorithmus und hier kommt es auch deutlich seltener zu Konflikten mit Adblockern und Cookie-Verweigerern.

Fehler #4: Consent und Adblocker verzerren die Datenbasis auch im Allgemeinen

Verstoß gegen: Objektivität

Adblocker und Cookiebanner haben nicht nur Einfluss auf statistische Unterschiede zwischen Google Analytics und deinem A/B-Testing-Tool, sondern auf die gesamte Datenbasis. Denn nicht alle Besucher:innen hinterlassen immer genau dieselben Daten. Manche akzeptieren Cookies, andere lehnen Tracking ab. Einige Browser blockieren bestimmte Skripte automatisch.

So entsteht schnell eine berechtigte Frage: Sind die gemessenen Nutzer:innen überhaupt repräsentativ für alle Shopbesucher:innen?

So vermeidest du den Fehler:

• Kläre, wie dein Testing-Tool mit Consent umgeht. Das kann mitunter ein Fall für die Rechtsabteilung werden: Dürfen User:innen, die Tracking komplett ablehnen, überhaupt an einem A/B-Test teilnehmen? Welcher Hinweis muss ins Cookie-Banner?

• Überlege, ob sich Nutzer:innen mit und ohne Consent unterschiedlich verhalten. Wer lehnt da eigentlich ab? Sind das nur Frauen über 40 mit abgeschlossenem Informatikstudium? Und kaufen sie vielleicht ganz anders ein als der Rest der Bevölkerung? Starke Abweichungen solltest du bei der Interpretation der Ergebnisse immer berücksichtigen.

Eine perfekte Repräsentation wird es im Datenschutz-Zeitalter nicht mehr geben. Wichtig ist, dass du die Einschränkung kennst und deine Ergebnisse entsprechend einordnest.

Fehler #5: Äußere Faktoren beeinflussen das Ergebnis

Verstoß gegen: Validität

Eigentlich soll ein A/B-Test ja die Frage beantworten: „Hat meine Änderung den Unterschied verursacht?“ In der Realität allerdings wirken oft viele weitere Faktoren auf das Testergebnis ein. Denke zum Beispiel an:

• saisonale Schwankungen

• Rabattaktionen

• Marketingkampagnen

• Feiertage

• externe Ereignisse

Der größte Fehler, den du hier begehen kannst, wäre, dich immer und ausschließlich auf die internen Daten zu verlassen. Vergiss nicht, dass da draußen eine ganze Welt ist, die Einfluss auf das Kaufverhalten der Menschen hat. Wenn die Verkaufszahlen stagnieren, könnte das an deiner neuen Button-Farbe liegen – oder daran, dass ein Krieg im Nahen Osten die Energiepreise explodieren lässt.

So vermeidest du den Fehler:

• Berücksichtige Kampagnen und Marketingaktionen bei der Testplanung. Wenn der Affiliate-Link deines Super-Influencers ausschließlich zu Variante A führt, ist dein kompletter Test hinfällig.

• Vermeide Tests in außergewöhnlichen Verkaufsphasen, wenn du nicht genau diese Situation messen möchtest. Zum Black Friday schießen die Verkaufszahlen in die Höhe? Na, sowas. Willst du jetzt nicht die Performance deines Q4-Feiertagsdesigns testen, dann warte lieber bis zum nächsten Q1.

• Wiederhole wichtige Tests gegebenenfalls – denn einmal testen ist gut, aber mehrfach testen bringt deutlich mehr Sicherheit.

• Vergiss nicht, dass dein Test immer zwei Seiten hat. Schaue also nicht nur, ob die neue Variante B besser performt als deine Baseline. Sieh dir auch an, was Variante A macht! Denn wenn beide eine Verbesserung aufweisen, stehen die Chancen gut, dass es externe Einflussfaktoren gibt.

Komplett ausschließen lässt sich der Einfluss von außen natürlich nie. Irgendwas ist immer. Deine Frage lautet daher nicht: „Gibt es externe Faktoren?“, sondern: „Sind sie groß genug, um meine Entscheidung zu verändern?“.

Fazit: Perfekte Daten gibt es nicht, aber verlässliche Entscheidungen

Ein A/B-Test wird also niemals unter Laborbedingungen stattfinden. Deine Besucher:innen löschen Cookies, ihre Browser blockieren das Tracking, manche lehnen den Consent ab, und wer weiß schon, was als Nächstes in der Welt passiert?

Dein Ziel sollte es daher nicht sein, jede kleine Abweichung auszuschließen. Vielmehr gilt es, die größten Fehlerquellen zu kennen und dein Tracking so aufzusetzen, dass die Ergebnisse zuverlässig genug für deine Entscheidungen sind.

„A/B-Testing ist keine Suche nach der einen perfekten Wahrheit. Es geht darum, mit den besten verfügbaren Daten bessere Entscheidungen zu treffen.“ – Maria-Lena Matysik, AnalyticsFreaks

Denn selbst der beste A/B-Test liefert keine absolute Wahrheit, sondern immer nur eine belastbare Grundlage. Die wiederum hilft dir dabei, zu verstehen, was in deinem Shop (nicht) funktioniert und welche Optimierungen sich tatsächlich lohnen.



Aber apropos Aufsetzen…

Tracking im A/B-Testing: So richtest du es optimal ein

Natürlich gibt es keine allgemeingültige Anleitung dafür, welche Elemente du in deinem Shop testen und tracken solltest. Denn jeder Onlineshop hat andere Ziele, eine andere Customer Journey und eine unterschiedliche User Base. Während für die eine Händlerin die Produktsuche entscheidend ist, liegt das größte Optimierungspotenzial bei einer anderen vielleicht im Warenkorb.



Aber genau das macht unsere beiden Best Practices so wertvoll:

Von der Customer Journey in die Details

Ein häufiger Fehler beim A/B-Testing ist, einfach loszutesten: Hier die Farbe des Buttons ändern, dort eine Überschrift austauschen oder vielleicht neue Bilder einbauen. Dabei funktionieren A/B-Tests erst dann wirklich gut, wenn du weißt, wo in deinem Shop sich die größten Potenziale verbergen.

Dein erster Schritt sollte daher immer ein Blick auf die gesamte Customer Journey sein: An welcher Stelle steigen Nutzer:innen aus? Zwischen welchen Schritten gibt es besonders große Abbrüche? Und wo verhalten sich Besucher:innen anders, als du es erwarten würdest?

„Die beste Testidee entsteht nicht aus einem Bauchgefühl, sondern aus der Analyse des Nutzerverhaltens. Erst wenn du verstehst, wo Probleme entstehen, kannst du sinnvolle Hypothesen entwickeln.“ – Maria-Lena Matysik, AnalyticsFreaks

Erst wenn du diese Engpässe identifiziert hast, lohnt sich der Blick ins Detail. Denn ein A/B-Test soll nicht einfach eine Vermutung bestätigen, sondern eine konkrete Hypothese überprüfen.

Ein Beispiel: Du stellst fest, dass viele Besucher:innen eine Produktseite aufrufen, aber nur wenige den Artikel in den Warenkorb legen. Der erste Impuls könnte sein, den „In den Warenkorb“-Button auffälliger zu gestalten. Ein Blick in die Nutzerdaten zeigt aber: Viele Besucher:innen klicken stattdessen auf die Versandinformationen oder die FAQ.

Die eigentliche Frage lautet also nicht, ob der Button sichtbar genug ist, sondern welche Information den Kund:innen an dieser Stelle für eine Kaufentscheidung fehlt.

Eine bessere Hypothese wäre daher: Wenn Versandkosten/Lieferzeit/Rückgabebedingungen direkt auf der Produktseite sichtbar sind, sinkt die Unsicherheit und mehr Besucher:innen legen den Artikel in den Warenkorb.

Gutes A/B-Testing ist ein wenig wie Detektivarbeit: Du untersuchst den Tatort, sicherst die Spuren, identifizierst die Verdächtigen und stellst dann deine Hypothese zum Tathergang auf. Vom großen Ganzen hin zu den kleinsten Details helfen dir also nicht nur die nackten Zahlen, sondern auch das Wissen um deine Kundschaft und deine Produkte immens weiter.

Google Analytics anbinden: Verstehen, wer konvertiert

Dein A/B-Testing-Tool zeigt dir vor allem eines: Welche Variante erzielt bessere Ergebnisse? Für die Frage, warum Version A oder B besser funktioniert, benötigst du allerdings oft zusätzliche Informationen.

Genau hier kann die Verbindung mit Google Analytics helfen. Durch die Verknüpfung kannst du beispielsweise analysieren, über welche Kanäle Besucher:innen in den Test gelangen: Kommen sie über Google Ads, Social Media, Newsletter oder die organische Suche? Auch Unterschiede zwischen verschiedenen Zielgruppen oder Nutzerverhalten lassen sich so besser erkennen.

Denn vielleicht funktioniert Variante B beispielsweise insgesamt besser; aber nur bei Besucher:innen aus bezahlten Kampagnen. Oder eine neue Produktseite überzeugt zwar Stammkund:innen, verschlechtert aber die Conversion bei Neukund:innen. Solche Erkenntnisse liefert das Testing-Tool allein nicht, denn dessen Aufgabe ist allein die Durchführung des Experiments.

„Das Testing-Tool sagt dir, welche Variante gewinnt. Analytics hilft dir, zu verstehen, warum sie gewinnt und bei welchen Nutzergruppen der Unterschied entsteht.“ – Maria-Lena Matysik, AnalyticsFreaks

Wichtig bleibt dabei aber weiterhin: Die Auswertung des eigentlichen A/B-Tests erfolgt im Testing-Tool! Google Analytics liefert zusätzliche Kontextinformationen; die Single-Source-of-Truth für alle Zahlen bleibt das Testing-Tool.

Besonderheiten beim A/B-Testing auf Shopify

Zum Abschluss noch eine wichtige Information zu unserer Haus-und-Hof-Shop-Plattform, denn beim A/B-Testing bringt Shopify eine kleine Eigenheit mit sich:

Bereits seit Jahren gilt der Checkout eines Shopify-Stores als besonderes Prunkstück: stabil, schnell, sicher – allerdings auch nahezu komplett abgeschottet von der Außenwelt. Veränderungen erlaubt nur die Checkout Extensibility. Alles andere läuft in einer von Shopify kontrollierten Umgebung ab, auf die externe Testing-Tools nur begrenzt zugreifen können.

A/B-Testing auf den letzten Metern der Customer Journey sind auf Shopify also nur sehr schwer umzusetzen. Aber natürlich bedeutet das nicht, dass du gar keine wertvollen Tests durchführen kannst. Denn in den meisten Fällen liegen die größten Optimierungspotenziale ohnehin deutlich weiter vorn: auf Landingpages, Kategorieseiten, Produktdetailseiten oder im Warenkorb. Wer derart überzeugt von einem Einkauf ist, dass er es bis zum Checkout geschafft hat, bricht den Kauf nur selten ab – vor allem, wenn die Kasse so optimiert ist wie auf Shopify.

Jetzt auch für dich: Schluss mit der Conversion-Lotterie

Ein A/B-Test liefert also keine Antwort auf die Frage, was deinen Shop wie von Geisterhand erfolgreicher macht. Er hilft dir vor allem dabei, bessere Entscheidungen zu treffen. Immer vorausgesetzt, dass die durch das Tracking gelieferten Daten zuverlässig sind. Eine erfolgreiche Optimierung beginnt deshalb nie mit: "Welchen Button sollten wir ändern?", sondern immer mit: "Wo liegen die größten Potenziale und welche Informationen brauchen wir, um sie zu erkennen?"

Solltest du jetzt der Überzeugung sein, dass dein kompletter Shopify-Shop neu aufgesetzt werden sollte, unterstützen wir dich dabei gerne mit einem vollständigen Relaunch – von der Strategie über UX und Design bis zur technischen Umsetzung.

Möchtest du dagegen wissen, welche Optimierungen bei dir wirklich Wirkung zeigen können, identifizieren wir diese aufgrund datenbasierter Analysen und A/B-Tests, entwickeln fundierte Hypothesen und prüfen, welche Veränderungen deine Conversion nachhaltig verbessern.

Oder vielleicht willst du zunächst einfach verstehen, wo deine Kund:innen im Kaufprozess auf Hindernisse stoßen? Mit unserer CX-Analyse gewinnen wir wertvolle Einblicke in das Verhalten deiner Nutzer:innen und zeigen auf, welche Schritte deine Customer Experience schnell verbessern können.

Dein Weg zu uns ist dabei selbstverständlich komplett digital. Ein Navi brauchst du nicht – und musst dir daher auch keine Sorgen darum machen, die Dortmunder Katharinentreppen runterzurasseln oder bei uns in Bochum im Kemnader See zu landen. Ist nämlich auch schon vorgekommen.

FAQ: Tracking beim A/B-Testing