Aus gegebenen Anlass bringe ich heute nochmal einen Grundlagenbeitrag zum Thema Testen.

Auch beim Testen müssen zunächst die Ziele messbar definiert werden. Also fängt jeder Test mit der Formulierung einer Nullhypothese an. Diese beschreibt den aktuellen Status quo und dient später zum Vergleich mit den weiteren getesteten Alternativhypothesen. Die entsprechenden Kennzahlen für den Test sollten identifiziert und eindeutig definiert sein.

Die ideale Vorgehensweise

1. Erstellen Sie ein Testkonzept

  • Nehmen Sie eine schriftliche Definition der Nullhypothese vor, inklusive Status quo und Alternativhypothese/n – mit den erwarteten Ergebnissen in relativen oder absoluten Werten.
  • Nutzen Sie die Möglichkeiten der Web Analytics; verwendete Tools sowie Auswertungsmethode sollten festgehalten werden.
  • Definieren Sie die relevanten Metriken für die Erfolgsmessung, zum Beispiel die Click-Through-Rate (CRT), Umsatz, Verweildauer und Konversion.
  • Definieren Sie die Kontrollwerte, um die Steigerungsraten zu definieren. Während in der Definition der Metriken mehrere Messwerte aufgenommen werden, dient der Kontrollwert als eigentlicher Erfolgsfaktor.

Ein Beispiel zur Verdeutlichung: Sie testen verschiedene Landing Pages, die zu mehr Registrierungen in einem Portal führen sollen. Das angestrebte Ziel sind 10% mehr Registrierungen pro Woche. Die ersten Auswertungen ergeben eine sehr gute CRT auf die Website, aber der Kontrollwert „Anzahl der Registrierungen pro Woche“ erhöht sich nicht.

2. Beschreiben der Testobjekte

  • Beschreiben Sie die Testobjekte und die veränderlichen Merkmale der Testobjekte, zum Beispiel Farben, Ansprache, Key Visuals, Anzahl Bullets, Formularreihenfolge, Landing Page oder Teaser.
  • Achten Sie darauf, nicht zu ähnliche Testobjekte zu generieren. Ein Objekt mit einem kirschroten oder weinroten Hintergrund zu versehen, wird wahrscheinlich zu keiner signifikanten Varianz bei den Ergebnissen führen – zumal die Farbvarianz unter Umständen auch von den Einstellungen des Besucher-Monitors abhängig ist.

3. Definieren der Testgruppe

  • Beschreiben Sie die Gruppe, die am Test teilnehmen soll. Das können zum einen Web-Besucher sein, die über eine bestimmte Suchmaschine kommen und ein bestimmtes Keyword eingegeben haben, oder ein Prozentsatz der Besucher – zum Beispiel jeder zehnte Besucher.
  • Es versteht sich fast von selbst, dass ein Besucher, der am Test teilgenommen hat und während der Testlaufzeit wieder kommt, das gleiche Testelement angezeigt bekommt. Dies kann bei anonymen Tests in der Regel nur über den gleichen Client gewährleistet werden. Wechselt der Besucher zum Beispiel vom PC auf sein Mobile Device, könnte dies lediglich im registrierten Umfeld sichergestellt werden.

4. Berücksichtigung von Störfaktoren

  • Es gibt diverse Störfaktoren, die einen Test beeinflussen können. Einer davon könnte Ihr Mitbewerber sein, der eventuell eine Kampagne im gleichen Umfeld gestartet hat.
  • Auch das Wetter oder saisonale Schwankungen sind zu beachten. Beispiel: Ein Reiseanbieter bietet Reiseziele in den sonnigen Süden an, und während der Testzeit schwitzen seine potenziellen Kunden bei 30°C.

5. Berücksichtigen Sie die Konversions-Latenz

  • Die Konversions-Latenz bezeichnet den Zeitraum, den üblicherweise ein Besucher benötigt, um von der Wahrnehmung der Werbung bis zur gewünschten Konversion zu kommen.

Auch hierzu ein Beispiel: Ihre Aufgabe ist es, den Abverkauf hochwertiger Fernseher um 5% zu steigern. Sie setzen hierfür eine Testkampagne mit verschiedenen Landing Pages auf, die per Deep Link direkt in den Shop führen. Der Test läuft über eine Woche. Die Auswertung zeigt insgesamt eine gute CTR, aber keine signifikante Erhöhung der Direktabschlüsse. Zudem stellen Sie fest, dass Sie eine Postkonversion haben, die erst zwei Wochen nach dem Erstkontakt mit einer der Landing Page zum Tragen kommt. Für den Testzeitraum müssen also die typischen Entscheidungszeiträume berücksichtigt werden.

Bei den ersten Testing-Versuchen sollte man nicht mit der Homepage starten, sondern beispielsweise mit Landing Pages. Bemessen Sie die Testlaufzeit großzügig, und testen Sie nicht zu ähnliche Varianten. Zur Nachverfolgung und für spätere Analysen protokollieren Sie die Tests und deren Ergebnisse.

Typische Fehlerquellen

In der Testpraxis werden von vielen Anwendern die gleichen Fehler begangen. Typische Fehlerquellen sind:

  • Auswahl eines ungeeigneten Testobjekts (zum Beispiel die Homepage) oder eine ungeeignete Qualifizierung der Besucher als Testteilnehmer (keine einheitlichen Konversionsziele)
  • Auswahl von Seitenelementen, die wenig oder keinen Einfluss auf den Erfolg der Website haben
  • Ungeeignete Kennzahlen als Zieldimension und eine fehlende Verfolgung des Einflusses auf andere Kennzahlen
  • Gleichzeitiges Testen von zu vielen Faktoren
  • Optionen, die einander zu ähnlich sind
  • Falsche Testdauer: zu kurz oder zu lang, keine Berücksichtigung von Latenzen
  • Verlassen auf Drittanbieter-Cookies – diese werden von den Nutzern aber häufig verweigert oder gelöscht
  • Fehlende Verknüpfung des Test-Tools mit dem Web-Analyse-Tool
  • Ignorieren von Störeinflüssen und Rauschen

Wenn Sie die typischen Fehlerquellen berücksichtigen, sollten Sie recht schnell Ihre ersten Erfolge im Testing aufzeigen können. Mit den aktuellen MVT (Multi-variate Tests)-Tools sind schnell Tests erstellt, die es erlauben, Hypothesen sicher zu überprüfen. Es ist ein weiterer Schritt zur Versachlichung vieler interner Diskussionen mit den Fachabteilungen oder dem Management.

Messen – Testen – Veredeln: Es gibt nur wenige Gründe, nicht zu testen, aber viele, es unbedingt zu tun!

Tagged on:         

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.