Starte und überwache dein Experiment

DIESER ARTIKEL WIRD DIR HELFEN:
– Ein laufendes Experiment zu überprüfen, um sicherzustellen, dass die Ergebnisse angemessen sind.
– Zu identifizieren, ob du wertvollen Besuchern ein schlechtes Nutzungserlebnis bietest, und Maßnahmen dagegen zu ergreifen.
– Zu wissen, wann du deinen A/B-Test pausieren und wann neu starten solltest

Sobald du einen Test startest, ist es verlockend, seinen Fortschritt zu überprüfen, denn du willst so schnell wie möglich eine Gewinner-Variante implementieren, um dein Business zu verbessern oder ein Experiment zu stoppen, das verliert, um eine neue Hypothese zu testen.

Mit unserem Statistik Modul kannst du dich jederzeit sicher über laufende Tests in Bunchbox informieren. Im Gegensatz zu klassischen Statistiken, wo die Überwachung deines Tests die Wahrscheinlichkeit erhöht, ein Falsch-positives Ergebnis zu nennen und einen Gewinner zu erklären, wo es keinen gibt, sind die Ergebnisse in der Bunchbox immer gültig. Peeking kann dir tatsächlich helfen, den Zustand deiner Experimente zu überwachen.

Aber es ist immer noch nicht effizient, die Ergebnisse ständig zu überprüfen. Testen sollte als standardisierter, skalierbarer Prozess behandelt werden; nicht als ein Projekt, das du ständig überwachst. Wie oft solltest du deinen Test überprüfen? Nach welchen Kennzahlen solltest du suchen und wie gehst du vor, basierend auf dem, was du siehst?

Wir empfehlen dir, jeden Test nach dem Start mindestens einmal zu überprüfen, um sicherzustellen, dass die Berichterstattung angemessen aussieht und nicht auf technische Probleme mit Zielen oder dem Targeting hinweist. Sobald du festgestellt hast, dass dein Test richtig läuft, kannst du ihn bis zur geplanten Fertigstellung laufen lassen, die du in deinem Experiment-Plan vorhergesagt hast.

Was du brauchst, um anzufangen:

  • Materialien zur Vorbereitung
  • Individueller Experiment-Plan
  • Genehmigung durch dein QS-Team

Menschen und Ressourcen

  • Programm-Manager, verantwortlich für die Steuerung des Teams und die Überwachung der Daten.
  • Unterstützung durch die Führungskräfte

Aktionen, die du ausführen solltest

  • Teile den Versuchsplan mit QS-, Marketing-, Support- und Entwicklungsakteuren.
  • Starte das Experiment
  • überwache deine Ergebnisse
  • Bunchbox-Ergebnisse, mit Fokus auf die Bedeutung und die Uplift-Metriken, die du in deinem Testplan festgelegt hast.
  • Bewertung der Leistung für verschiedene Zielgruppensegmente
  • Integrationen von Drittanbietern

Leistungen

  • Gestartetes Experiment
  • Benachrichtigung eines breiteren Teams über die Einführung des Tests, einschließlich des Testumfangs.

Worauf du achten solltest

Unklarheiten bei der optimalen Datenerfassung, insbesondere im Hinblick auf widersprüchliche Ergebnisse zwischen Analysesystemen.

Behalte die Traffic-Daten im Auge. Entspricht der Traffic der erwarteten Menge an Besuchern in deinem Experiment?
Wenn du ein laufendes Experiment überwachst, suche nach Problemen, die dich möglicherweise veranlassen, den Test zu stoppen. Sobald du das Experiment gestartet hast, lassen Sie die Beteiligten, einschließlich deines QS-Teams und des für deine Produktionsumgebung zuständigen Teams, das Experiment live erleben. Teile den Experiment-Plan.

Plane, deine Ergebnisseite einige Tage nach dem Start zu überprüfen, damit eine angemessene Anzahl von Besuchern, mindestens 5% des vorgeschlagenen Stichprobenumfangs, deine Variationen sehen können.

Überprüfe die folgenden Kennzahlen, um sicherzustellen, dass deine Ziele richtig verfolgt werden und sich Abweichungen in einem erwarteten Bereich auf der Grundlage früherer Ergebnisse entwickeln.

Überprüfe zunächst, ob die folgenden Ziele innerhalb des erwarteten Bereichs für dein Experiment insgesamt liegen.

  • Umsatz
  • Formular-Einsendungen
  • Hauptmetrik des Tests
  • die Mikro-Conversions deines Tests
  • Daten in Integrationen von Drittanbietern
  • alle anderen für dein Unternehmen wichtigen Kennzahlen

Wenn etwas ernsthaft verkehrt aussieht, stelle sicher, dass dein Experiment korrekt eingerichtet ist. Unser Standard QA-Prozess ist ein guter Ausgangspunkt.

Hinweis:
Häufig schwanken die Ergebnisse und ein plötzlicher Rückgang der Conversions kann wieder ansteigen, bevor dein Test die statistische Signifikanz erreicht. Diese Varianz im Laufe der Zeit ist zufällig – so etwas wie eine Landung auf „Kopf“ oder „Zahl“ dreimal von 10 in einem Münzwurf. Aber bevor du die statistische Signifikanz erreichst, woher weißt du, ob ein Rückgang der Conversions real ist – aufgrund einer für deiner Besucher schlechten Erfahrung – oder einfach ein normaler Teil der Durchführung eines A/B-Tests?

Überprüfe dein Differenzintervall. Siehst du einen Rückgang der Conversions bei gleichzeitiger Verengung des Differenzintervalls? Diese Kombination deutet darauf hin, dass das Statistik Modul die Wahrscheinlichkeit, dass diese Variation in Zukunft mit der niedrigeren Conversionrate mit zunehmender Präzision konvertiert, erhöht. Wenn das Szenario tagelang andauert, erwäge das Experiment anzuhalten, um die Auswirkungen fortgesetzter Verluste bei Conversions zu bewerten, und nehmen dir einen Moment Zeit, um zu beurteilen, warum die Variation Verluste macht. Die Ergebnisse dieses Tests können dir helfen, zukünftige Experimente besser zu gestalten.

Wenn die Conversionrate sinkt, sich aber das Differenzintervall vergrößert, projiziert das Statistik Modul eine größere Bandbreite an statistisch wahrscheinlichen Ergebnissen – es ist weniger sicher, wie hoch die Conversionrate wäre, wenn der Test erneut ausgeführt würde. Denke daran, wenn das Differenzintervall Null beträgt, hat Stats Engine noch keinen statistisch signifikanten Unterschied in deinen Conversionrates gefunden, weder positiv noch negativ.

Wenn du die Ressourcen hast, führe dieses Experiment weiter, um genauere Ergebnisse zu erzielen.

Historische Erfahrungen können auch wichtige Erkenntnisse darüber liefern, was du von deinen Ergebnissen erwarten kannst.

Sobald du feststellst, dass deine Gesamtkennzahlen gesund sind, segmentiere deine Besucher, um die wichtigsten Conversionziele für deine wichtigsten Zielgruppen zu überprüfen.

Segmentiere deine Besucher

Wenn dein Experiment insgesamt gesund ist, wirf einen Blick in deine verschiedenen Besuchersegmente. Überprüfe, ob die Conversions für deine wertvollsten Kunden nicht abgestürzt sind.

In Bunchbox kannst Sie nach den folgenden Attributen segmentieren:

Gerätetyp (Desktop, Tablet. Mobile) – Diese Segmente sind bereits standardmäßig in jedem Account hinterlegt. Basierend auf Regeln, kannst du folgende Segmente zusätzlich hinzufügen:

  • Browser-Typ
  • URL-Parameter (um Quellen und Medium zu identifizieren)
  • Browsersprache
  • Betriebssystem
  • Viewport-Höhe und Breite
  • User Agent
  • Land
  • Stadt (hier ist die Genauigkeit durch die IP-Adressen etwas eingeschränkt)
  • Individuelle Segmente für Zielgruppen, die für Ihr Unternehmen wichtig sind.

Meistens ist ein Rückgang der Conversions kein Grund zur Sorge – schließlich sind unerwartete Ergebnisse ein Grund, warum du überhaupt testest. Die Änderung kann auf Zufall zurückzuführen sein, wie in der obigen Anmerkung beschrieben, oder es kann eine Gelegenheit sein, aus dem Test zu lernen.

Aber ein starker Rückgang der Conversions für nur ein Segment kann darauf hindeuten, dass du für bestimmte Besucher ein schlechtes oder dissonantes Erlebnis bietest. Wenn dieses Besuchersegment für dein Unternehmen sehr wertvoll ist, solltest du vielleicht keine Variation darstellen, die deren Conversion stark behindert.

Stellen dir zum Beispiel vor, dass wiederkehrende Besucher die Conversions auf deiner Website vorantreiben, weil es mehrere Besuche braucht, damit sich Kunden beim Kauf wohlfühlen. Du segmentierst nach neuen und wiederkehrenden Besuchern und findest einen starken Rückgang der Umsätze bei wiederkehrenden Besuchern. In diesem Stadium kannst du untersuchen, ob es ein technisches Problem gibt oder ob du eine wirklich schlechte Erfahrung für dieses wertvolle Segment auslieferst.

Pausiere und starte ein laufendes Experiment neu, das für wichtige Kunden ein inakzeptables Erlebnis darstellt.

Wenn sich deine Schlüsselkennzahlen und Besuchersegmente wie erwartet entwickeln, kannst das Experiment gemäß deines Testplans durchführen lassen.

Pause und Neustart eines laufenden Experiments

Wenn du ein kaputtes Experiment oder ein Experiment, das eine inakzeptabel schlechte Erfahrung liefert, erneut starten möchtest, pausiere den Test zunächst in Bunchbox.

Wähle das Experiment aus, klicken rechts im Dropdown auf das Symbol und wähle Pause. Sobald du ein Experiment unterbrichst, werden die Besucher keine der Variationen mehr sehen.

Dupliziere das Experiment, um ein neues Experiment mit allen gleichen Variationen und Zielen zu erstellen, damit du das Design überarbeiten kannst. Wenn du das ursprüngliche Experiment überarbeitest und neu startest, bleiben Besucher, die die erste Erfahrung gemacht haben, in ihrem Zuordnung zu ihrer Variante und sehen die gleiche Erfahrung, wenn sie zurückkehren (es sei denn, sie löschen ihre Cookies).

Verwende den Editor, um die Variation zu entfernen oder zu ändern und um alle anderen Variationen hinzuzufügen oder zu ändern.

Führe den neuen Test aus. Besucher werden wieder auf die Varianten verteilt und nehmen am Test teil.

Das wars! Du kannst deinen Test nun bis zur (in deinem Testplan vorgesehenen Zeit) Fertigstellung durchführen lassen. Jetzt bist bereit, deine Ergebnisse zu interpretieren und umzusetzen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren.Erfahren Sie, wie Ihre Kommentardaten verarbeitet werden