Die Zielsetzung?

Bei den meisten Tests geht es um Varianten von Layouts und Texten. Zielsetzung ist aber nicht, „die schönste Webseite“ oder „die schönste Landing Page“ zu finden, sondern jene Variante ausfindig zu machen, die unter bestimmten Voraussetzungen und im Hinblick auf eine bestimmte Kennzahl die optimale ist. Daher ist die Frage nach der Zielsetzung auch eine Frage nach der  kritischen Messgröße oder dem entscheidenden KPI, anhand deren die einzelnen Testvarianten gemessen werden.

Grundlagen Testing – Voraussetzungen für effektives Testing

Egal ob Sie einen a/b Test, Split Test oder einen Multivariaten Test durchführen möchten, schaffen Sie erst die Grundlagen für einen effektiven Test!

Auch beim Testen müssen zunächst die Ziele messbar definiert werden. Also fängt jeder Test mit der Formulierung einer Nullhypothese an. Diese beschreibt den aktuellen Status quo und dient später zum Vergleich mit den weiteren getesteten Alternativhypothesen. Die entsprechenden Kennzahlen für den Test sollten identifiziert und eindeutig definiert sein.

Die ideale Vorgehensweise:

1. Erstellen Sie ein Testkonzept

  • Nehmen Sie eine schriftliche Definition der Nullhypothese vor, inklusive Status quo und Alternativhypothese/n – mit den erwarteten Ergebnissen in relativen oder absoluten Werten.
  • Nutzen Sie die Möglichkeiten der Web Analytics; verwendete Tools sowie Auswertungsmethode sollten festgehalten werden.
  • Definieren Sie die relevanten Metriken für die Erfolgsmessung, zum Beispiel die Click-Trough-Rate, Umsatz, Verweildauer und Konversion.
  • Definieren Sie die Kontrollwerte, um die Steigerungsraten zu definieren. Während in der Definition der Metriken mehrere Messwerte aufgenommen werden, dient der Kontrollwert als eigentlicher Erfolgsfaktor.

Beispiel: Sie testen verschiedene Landing Pages, die zu mehr Registrierungen in einem Portal führen sollen. Das angestrebte Ziel sind 10% mehr Registrierungen pro Woche. Die ersten Auswertungen ergeben eine sehr gute Click-Through-Rate auf die Website, aber der Kontrollwert „Anzahl der Registrierungen pro Woche“ erhöht sich nicht.

2. Beschreiben der Testobjekte

  • Beschreiben Sie die Testobjekte und die veränderlichen Merkmale der Testobjekte, zum Beispiel Farben, Ansprache, Key Visuals, Anzahl Bullets, Formularreihenfolge, Landing Page oder Teaser.
  • Achten Sie darauf, nicht zu ähnliche Testobjekte zu generieren. Ein Objekt mit einem kirschroten oder weinroten Hintergrund zu versehen, wird wahrscheinlich zu keiner signifikanten Varianz bei den Ergebnissen führen – zumal die Farbvarianz unter Umständen auch von den Einstellungen des Besucher-Monitors abhängig ist.

3. Definieren der Testgruppe

  • Beschreiben Sie die Gruppe, die am Test teilnehmen soll. Das können zum einen alle Web-Besucher sein, die über eine bestimmte Suchmaschine kommen und ein bestimmtes Keyword eingegeben haben, oder ein Prozentsatz der Besucher – zum Beispiel jeder zehnte Besucher.
  • Es versteht sich fast von selbst, dass ein Besucher, der am Test teilgenommen hat und während der Testlaufzeit wieder kommt, das gleiche Testelement angezeigt bekommt. Dies kann bei anonymen Tests in der Regel nur über den gleichen Client gewährleistet werden. Wechselt der Besucher zum Beispiel vom PC auf sein Mobile Device, könnte dies lediglich im registrierten Umfeld sichergestellt werden.

4. Berücksichtigung von Störfaktoren

  • Es gibt diverse Störfaktoren, die einen Test beeinflussen können. Einer davon könnte Ihr Mitbewerber sein, der eventuell eine Kampagne im gleichen Umfeld gestartet hat. Auch das Wetter oder saisonale Schwankungen sind zu beachten.

Beispiel: Ein Reiseanbieter bietet Reiseziele in den sonnigen Süden an, und während der Testzeit schwitzen seine potenziellen Kunden bei 30°C.

5. Berücksichtigen Sie die Konversions-Latenz

  • Die Konversions-Latenz bezeichnet den Zeitraum, den üblicherweise ein Besucher benötigt, um von der Wahrnehmung der Werbung bis zur gewünschten Konversion zu kommen.

Beispiel: Ihre Aufgabe ist es, den Abverkauf hochwertiger LEDFernseher um 5% zu steigern. Sie setzen hierfür eine Testkampagne mit verschiedenen Landing Pages auf, die per Deep Link direkt in den Shop führen. Der Test läuft über eine Woche. Die Auswertung zeigt insgesamt eine gute CTR, aber keine signifikante Erhöhung der Direktabschlüsse. Zudem stellen Sie fest, dass Sie eine Postkonversion haben, die erst zwei Wochen nach dem Erstkontakt mit einer der Landing Pages zum Tragen kommt. Für den Testzeitraum müssen also die typischen Entscheidungszeiträume berücksichtigt werden.

6. Typische Fehlerquellen

In der Testpraxis werden von vielen Anwendern die gleichen Fehler begangen.

Typische Fehlerquellen sind:

  • Auswahl eines ungeeigneten Testobjekts oder eine ungeeignete Qualifizierung der Besucher als Testteilnehmer
  • Auswahl von Seitenelementen, die wenig oder keinen Einfluss auf den Erfolg der Website haben
  • Ungeeignete Kennzahlen als Zieldimension und eine fehlende Verfolgung des Einflusses auf andere Kennzahlen
  • Gleichzeitiges Testen von zu vielen Faktoren
  • Optionen, die einander zu ähnlich sind
  • Falsche Testdauer: zu kurz oder zu lang, keine Berücksichtigung von Latenzen
  • Verlassen auf Drittanbieter-Cookies – diese werden von den Nutzern aber häufig verweigert oder gelöscht
  • Fehlende Verknüpfung des Test-Tools mit dem Web-Analyse-Tool
  • Ignorieren von Störeinflüssen und Rauschen

Wenn Sie die typischen Fehlerquellen berücksichtigen, sollten Sie recht schnell Ihre ersten Erfolge im Testen aufzeigen können. Mit den aktuellen MVT-Tools sind Tests schnell erstellt, die es  erlauben, Hypothesen sicher zu überprüfen. Es ist ein weiterer Schritt zur Versachlichung vieler interner Diskussionen mit den Fachabteilungen oder dem Management.

Messen – Testen –  Veredeln: Es gibt nur wenige Gründe, nicht zu testen, aber viele, es unbedingt zu tun.

 

Auszug aus „Mehr Erfolg durch Web Analytics“ , 2010 Carl Hanser Verlag München, www.hanser.de, ISBN 978-3-446-42139-4

Tagged on:                     

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.