Der zweite Teil des des Beitrags über die Nutzung von Remote Usability Testing-Plattformen demonstriert die Vorbereitung und Durchführung eines Tests anhand von  rapidusertests.com und gibt Hinweise zur Auswertung der Ergebnisse. Im ersten Teil lesen Sie, welche Besonderheiten von Remote Usability Testing dabei beachtet werden sollten.

Beispiel: Remote Testing mit rapidusertests.com

Wenn Sie sich für die Durchführung eines Remote Usability Tests entscheiden, benötigen Sie zur Vorbereitung erfreulich wenig. Umso wichtiger ist es, sich ausreichend Zeit mit der Formulierung der konkreten Aufgabenstellung, des Testszenarios und der begleitenden Fragen zu nehmen, denn das ist alles, was der Tester neben der zu testenden Seite(n) von Ihnen bekommt. Unklare Formulierungen können sonst dazu führen, dass der Test am eigentlichen Ziel vorbei geht und Sie so – wenn überhaupt – nur zufällig Feedback erhalten, das wirklich zur Optimierung des gewünschten Bereichs Ihrer Website beitragen kann.

Vor der Aufgabenstellung müssen Sie sich aber noch für einen Anbieter entscheiden. Exemplarisch soll hier der Ablauf für rapidusertests.com gezeigt werden. Andere geeignete Kandidaten finden Sie schnell, wenn Sie der Einleitung folgen und die Suchmaschine Ihres Vertrauens befragen. Da es fast überall besondere Angebote für Neukunden gibt, können und sollten Sie zudem bei gesteigertem Interesse an diesem Thema einfach mehr als eine Plattform ausprobieren und sich erst später für ein Angebot entscheiden.

Test erstellen

Bei der Anlage eines neuen Tests geben Sie zunächst die Zielseite an, auf der der Proband einsteigen soll. Das kann eine einseitige Landingpage für aus Suchmaschinen oder per Banner „eingekaufte“ Besucher, eine Detailseite Ihres Shops oder auch die Startseite Ihrer Domain sein – je nach Aufgabenstellung. Wenn Sie anschließend auswählen, wie viele Tester diese Aufgabe erfüllen sollen, können Sie eigentlich schon mit der Aufgabe starten.

Sollten Sie aber konkrete Anforderungen an die Tester stellen wollen, blenden Sie per Klick die „Zielgruppen-Anforderungen“ ein und beschreiben Sie so genau wie möglich, wer für die Durchführung dieses Tests geeignet ist. Eine Auswahl der vom Anbieter rekrutierten Tester erhält Ihren Test nebst Beschreibung und Anforderungen per Mail und jeder entscheidet dann selbst, ob er diesen Test durchführen will. Sprich: Bei Portalen, die ein gesundes Verhältnis von Testern zu Nutzern haben, ist die Gefahr unpassender (unehrlicher) Tester zwar kleiner (da diese regelmäßig „Testangebote“ erhalten und nicht darauf angewiesen sind, jeden Test durchzuführen), dennoch bleibt hier ungeachtet der Qualität Ihrer Anforderungsformulierungen stets ein Restrisiko und der Proband weitestgehend auch anonym.

Im nächsten Block beschreiben Sie den Einstieg in den Test und die Aufgabe(n). Je nachdem, wie komplex die einzelnen Schritte sind, können Sie beruhigt auch mehr als nur eine Aufgabe definieren, die vor oder nach der Hauptaufgabe (z. B. dem Einkauf im Shop) ausgeführt werden können, solange dies realistisch in einer Maximalzeit von ca. 20 Minuten zu schaffen ist. Mehrere Eingabefelder bedeuten aber nicht, dass Sie zwingend mehrere Aufgaben beschreiben müssen: Bedenken Sie, dass jeder Tester nur eine begrenzte Zeit motiviert für sein „Festgehalt“ arbeiten wird, das unabhängig von der Komplexität Ihrer Aufgabe ist.

Tipp: Wissen Sie, dass die Aufgabe in wenigen Minuten abgeschlossen ist, kann es hilfreich sein, den Probanden vorher zum „Stöbern“ aufzufordern (vor allem, wenn dies auch dem Verhalten der rechten Besucher aus Ihrem Einstiegsszenario entsprechen würde). Denn die Kommentare zum Inhalt und das Verhalten rund um die Kernaufgabe können mitunter vollkommen unerwartete Ergebnisse und Denkanstöße (für naturgemäß schnell betriebsblind gewordene Webmaster) liefern. Als Hilfestellung können Sie beim Ausfüllen nicht nur vorgefertigte Beispielaufgaben zur Inspiration nutzen, sondern z. B. auch per Live-Chat oder Telefon direkte Unterstützung vom Betreiber anfordern, wenn Sie sich bei der Formulierung schwer tun sollten.

Abschließend können Sie noch Fragen definieren, die Sie den Probanden stellen möchten. Hierbei gelten die gleichen Hinweise wie zuvor: Nutzen Sie diese Möglichkeit, um gezielt nach durchgeführtem Test abschließende Beurteilungen einzuholen. Übertreiben Sie es aber nicht und fügen Sie nur Fragen hinzu, wenn die Beantwortung im Zeitlimit möglich ist und Sie mit den Antworten auch wirklich etwas vorhaben!

Wenn Sie die Beschreibung Ihres Tests, die Anmeldung und Bestellung abgeschlossen haben, besteht der nächste Schritt aus „warten“. Normalerweise erhalten Sie aber schon innerhalb eines Tages erste Ergebnisse, die Sie bereits sichten und auswerten können, während ggf. noch weitere Probanden ausstehen.

Tests auswerten

Die Auswertung der Sessions aller Probanden startet i. d. R. damit, dass Sie sich die Videos fertiger Tests einzeln ansehen und dazu gleich Notizen erfassen. Um nachzusehen, wie viele Tester bereits Ergebnisse geliefert haben, dient ein Dashboard, in dem Sie nach Auswahl eines Tests (wenn Sie bereits mehrere durchgeführt haben) eine Auflistung der Testsessions mit Angaben zum Probanden und der Länge der Session erhalten.  Auch die Antworten auf alle Abschlussfragen, die Sie bei der Definition der Aufgabe hinzugefügt haben, werden hier für alle Tester gesammelt.



Um die Ergebnisse eines Probanden einzusehen, dient der Link „Video auswerten“. In dieser Einzelansicht sammeln Sie Ihre Notizen und daraus resultierenden Schlussfolgerungen in separaten (einfachen) Textfeldern.

Tipp: Dabei bestimmte Konventionen einzuhalten, die sowohl Notizen als auch Schlussfolgerungen für alle Probanden in ein einheitliches Format zwingen, ist spätestens dann hilfreich, wenn mehr als eine Person zur Auswertung beiträgt oder die Daten später in einem wohlgeformteren Dokument weiterverarbeitet werden sollen. Laufzeiten bei Notizen, die das Auffinden der passenden Stelle im Video erleichtern, sind ebenso eine gute Idee wie fortlaufende Nummerierungen (z. B. „1-3“ für die dritte Notiz beim ersten Probanden) für eindeutige Referenzierung. So behalten Sie später in der konsolidierten Ansicht auf alle Schlussfolgerungen und Handlungsempfehlungen den Überblick und finden bei Bedarf schnell die richtige Stelle im passenden Video wieder.

Zusätzlich zu den Ergebnissen, die Sie in Bild und Ton konsumieren können, stehen Ihnen die Antworten des Probanden auf Ihre Fragen zur Verfügung – auch diese sollten Sie bei der ersten Sichtung einschließen und Anregungen oder Besonderheiten in Ihre Notizen übernehmen. Bleibt die Auswertung nicht nur ein ander Person hängen, ist Sorgfalt besonders wichtig. Denn wer hier lieber etwas mehr – auch „Kleinigkeiten“ – notiert, hat zwar bei der Auswerung später mehr Arbeit, die Daten wieder zu konsolidieren und zu bestimmen, für wieviele Probanden ein bestimmter Aspekt (ggf. in untersdchiedlichem Maß) problematisch war…  dafür erhält man aber einen möglichst umfangreichen Blick sowohl auf die Anzahl als auch das „Gefahrenpotential“ jedes identifizierten Kritikpunktes.

Testabschluss

Unter „Nachbefragung“ und „Ihre Auswertung“ finden Sie die Antworten auf Ihre Fragen sowie Ihre Notizen und Schlussfolgerungen in einer konsolidierten Ansicht, so dass Sie z. B. die Antworten aller Probanden auf eine bestimmte Frage im Zusammenhang sehen. Nun beginnt also die eigentliche Aufgabe, aus diesen Rohdaten und den Schlussfolgerungen nach Einschätzung und Priorisierung konkrete Verbesserungen Ihrer Website abzuleiten. Dass dieser Prozess ggf. schwieriger und fehleranfälliger als bei anderen Methoden ausfällt, ist bereits angesprochen – vergessen Sie es nur nicht. Es hilft bei der Auswertung, den Zugang zu den Ergebnissen mit anderen zu teilen und gemeinsam zu besprechen bzw. die Notizen mehrerer Personen miteinander abzugleichen und Punkte zu priorisieren. Entwickeln Sie daraus (gemeinsam) Ideen, wie eine Optimierung der identifizierten Schwachstellen aussehen könnte… und auf welchem Weg (und mit welchen Kennzahlen) man eine tatsächliche Verbesserung bei der geplanten Veränderung sicherstellen kann (weitere Tests, alternative Methoden etc).

Fazit

Ob als Lieferant für Hypothesen, die später in Tests erprobt werden, zur Qualitätssicherung Ihres neuen Checkoutprozesses oder zum letzten Schliff Ihrer Landingpages: Mit…

• einer sorgfältigen Beschreibung der Aufgaben,
• kritischer Begutachtung der Ergebnisse im Einzelnen und einem
• Konzentration auf gemeinsame Probleme mehrerer Tester im Überblick

können Sie aus solchen Tests mit wenig Zeit und bei geringen Kosten eine ganze Menge herausholen. Außerdem sind je nach Reifegrad der getesteten Site bzw. des Entwurfs einige bei der eigenen Qualitätssicherung übersehene technischen Probleme (siehe Teil 1), die in einem solchen Test aufgedeckt werden, mitunter echte Spaßbremsen, die man sonst ggf. erst „teuer“ im Echtbetrieb gefunden hätte.

Ist man sich der Grenzen und Einschränkungen bewusst und erliegt nicht dem Drang, aus jeder Kleinigkeit, die in einem der Videos beobachtet wurde, gleich konkrete Änderungen auf der Website ableiten zu müssen, können interessierte Webmaster auch in Eigenregie zur besseren Website „im Discountverfahren“ gelangen. Der Spielraum für Fehlinterpretationen ist potentiell höher als üblich. Die Gefahr einer in die falsche Richtung führenden Auswertung ist daher real, aber je nach Fall nicht unbedingt wesentlich größer als bei anderen Verfahren. Sie ist weiter minimierbar, wenn eigenes oder eingekauftes Expertenwissen im Spiel ist.

Die Nachteile sollten den interessierten Betreiber also nicht gleich abschrecken. Außerdem gibt es fast überall die Option, sich Hilfe ins Boot zu holen, wenn man sich bei der Erstellung und / oder Auswertung des Tests unsicher ist. Am Ende bleibt die Binsenweisheit, dass „ein wenig Testen“ besser ist, als gar nichts für die Qualitätssicherung und Optimierung zu tun.

Die theoretische Möglichkeit, die Site durch die abgeleiteten Maßnahmen noch schlechter zu machen als zuvor kann man durch A/B-Tests & Co. in Grenzen halten. Wer den Kernprozess seiner Site kennt, eine Stunde Zeit für die Vorbereitung und Interesse an der Optimierung seiner Website hat, kann durch Remote User Testing mit minimaler finanzieller Belastung in das Thema einsteigen – und dabei ja ggf. auch einen gesunden Appetit auf mehr entwickeln. Nutzen Sie selbst diesen oder andere Dienste und möchten Ihre – guten oder auch schlechten – Erfahrungen teilen? Die Kommentarfunktion wartet auf Sie! 😉