Über unsMediaKontaktImpressum
Jasmin Rein, Ingo Börsting & Carla Schorr 30. August 2022

Gute XR-Anwendungen benötigen Feedback der Nutzenden im Entwicklungsprozess

Die erweiterten Dimensionen von Extended-Reality-(XR)-Anwendungen stellen Entwicklungsteams vor neue Herausforderungen. Bisherige Prozesse reichen nicht aus, um alle Facetten berücksichtigen und überprüfen zu können, die der Zugewinn an gestalterischen und technischen Möglichkeiten mit sich bringt. XR kombiniert dabei bestehende Anforderungen an Softwareprodukte mit neuen, formalen Aspekten und immersiven Erlebnisräumen, für die es noch keine Standards gibt. Das macht ein regelmäßiges und effektives Nutzenden-Feedback erforderlich, um technisch aufwändige Optimierungsschleifen zu vermeiden.

Nimmt man beispielsweise eine Virtual-Reality-Multi-User-Konferenzanwendung, müssen zusätzlich zu den klassischen Anforderungen, wie eine gut benutzbare Nutzeroberfläche oder die einwandfreie Funktionalität der Kernfeatures, auch Aspekte wie eine passende auditive Hintergrundkulisse und Mindestabstände zwischen den Teilnehmenden (s. Abb. 1) beachtet werden. Werden diese subtil wahrgenommenen Elemente in der Anwendung nicht passend gestaltet, kann sich die Anwendung für die Nutzenden unangenehm anfühlen und schränkt die User Experience inklusive der Benutzerfreundlichkeit ein. Zahlreiche Studien belegen, wie erfolgskritisch das positive Nutzererlebnis ist. Demnach kommen 90 Prozent der Nutzenden nicht zu einer Anwendung zurück, wenn diese eine schlechte Bedienbarkeit aufweist [1]. Die Relevanz von UX für XR-Anwendungen mit ihrem immersiven Anspruch, das heißt dem ermöglichten Eintauchen in eine simulierte Realität, dürfte mindestens vergleichbar sein.

Um für die gewonnene Komplexität eine gute UX sicherzustellen, sind nutzenden-zentrierte Studien elementar. Die noch fehlenden Gestaltungsstandards erfordern, dass jede Anwendung individuell auf ihre Eignung und Benutzerfreundlichkeit untersucht werden muss. Dazu muss ein effizienter Evaluierungsprozess etabliert werden, über den die Nutzenden schnell und oft in die Überprüfung der angestrebten XR-Software einbezogen werden können. Zur Lösung dieser Aufgabe setzt sich unser interdisziplinäres Forschungsteam mit effizienten Evaluationsprozessen und Feedbackmethoden im XR-Kontext auseinander.

Klassifizierung des Nutzenden-Feedback

Für die Aufnahme von Nutzenden-Feedback stehen verschiedene methodische Ansätze zur Verfügung, die zwei kombinierbare Bewertungsdimensionen beinhalten: Subjektives oder objektives Feedback und qualitatives oder quantitatives Feedback. Unter subjektivem Feedback versteht man Äußerungen der Nutzenden, die in einem persönlichen Gespräch oder beispielsweise über Fragebögen erfasst werden. Von objektivem Feedback spricht man bei Erkenntnissen, die aus dem Verhalten der Nutzenden abgeleitet werden. So können UX-Researchende beispielsweise Schlüsse aus der Anzahl der Fehler bei der Bearbeitung einer gestellten Aufgabe ziehen. Qualitatives Feedback umfasst detaillierte und individuelle Äußerungen der Nutzenden inklusive der zugrundeliegenden Einstellungen. Quantitatives Feedback besteht aus möglichst vielen, strukturierten und vergleichbaren Daten, die gemessen und ausgewertet werden können.

 QualitativQuantitativ
SubjektivNutzenden-Tests, InterviewsFragebögen
ObjektivGewählter Interaktionspfad Anzahl der Fehler, Ausführungszeiten

Im UX-Research hat sich die Erhebung von subjektivem und qualitativem Feedback über Nutzenden-Tests mit "Thinking Aloud" zur Evaluierung von Anwendungen etabliert. Dabei werden die Nutzenden während der Durchführung bestimmter Aufgaben beobachtet und interviewt. Über die Methode "Thinking Aloud" teilen sie begleitend zum Test ihre Gedanken, Eindrücke und Entscheidungen laut mit. Die UX-Researchenden erhalten aus dem Kontext heraus unmittelbares Feedback zu Problemen, Bedürfnissen und Verbesserungspotentialen. Aus der Beobachtung der Nutzung können sie außerdem objektives Feedback ableiten.

Nutzenden-Feedback im XR-Kontext

Werden Nutzenden-Tests für XR-Anwendungen durchgeführt, müssen die zusätzlichen Dimensionen mitgetestet beziehungsweise beobachtet werden, um ein vollständiges Feedback zu erhalten. So setzt eine nutzenden-basierte Evaluierung einer Augmented-Reality-Anwendung voraus, dass die Software repräsentativ in der vorgesehenen realen Umgebung getestet wird. Je nach Anwendungsfall ist zudem eine Berücksichtigung von Umgebungsfaktoren, wie zum Beispiel wechselnde Lichtverhältnisse, relevant, da diese einen Einfluss auf die fehlerfreie Benutzung der Anwendung haben können. Weist die physische Umgebung zusätzlich erschwerende Eigenschaften auf, z. B. sicherheitskritische Faktoren, erhöht sich der Testaufwand deutlich, da jeder Nutzenden-Test einen erneuten Feldbesuch unter möglichst authentischen Bedingungen bedeutet. Auch wenn die realen Umgebungsfaktoren in VR-Anwendungen weniger relevant sind, bleibt der virtuelle Anwendungskontext ein elementarer Faktor, der in der Überprüfung von Software(-komponenten) einbezogen werden sollte. Die simulierte Umgebung bildet die Grundlage für jegliche Nutzenden-Interaktionen und definiert dafür die Regeln und Bedingungen.

Es werden also Methoden benötigt, die es Nutzenden ermöglichen, subjektives Feedback zur laufenden Interaktion in der jeweiligen Nutzungsumgebung zu geben und es gleichzeitig den UX-Researchenden erleichtern, dieses Feedback mit der Interaktion und dem Anwendungskontext zum Zeitpunkt der Interaktion zu verknüpfen. Ausgehend von der erwähnten Annahme, dass Feedback im Entwicklungsprozess von XR-Anwendungen eine zentrale Rolle spielt und dabei häufig und effizient einbezogen werden sollte, sollte die Methodik holistisch betrachtet in einen werkzeuggestützten Evaluationsprozess integriert werden, der die Planung, Erhebung und Auswertung von Feedbackmaßnahmen in XR-Entwicklungsprozessen erleichtert. Nur durch eine ganzheitliche Betrachtung des Evaluationsprozesses unter Einbezug neuartiger Methoden, können XR-Systeme effizient individuell evaluiert und für Nutzende optimiert werden.

Ganzheitlicher Evaluierungsprozess in XR-Anwendungen

Ein werkzeuggestützter ganzheitlicher Evaluationsprozess sollte sämtliche Phasen des Evaluationsprozesses betrachten: vor, während und nach der Erhebung.

In der Phase vor der Erhebung ist es insbesondere wichtig, UX-Researchende bei der Auswahl möglicher Metriken und Feedback-Dimensionen zu unterstützen. Ein ganzheitliches Evaluationswerkzeug sollte eine Klassifizierung von Standard-Methodiken und -Skalen und zugehörigen Filtern erhalten, die es ermöglicht, das Studiendesign innerhalb des Werkzeugs zu modellieren und in Abhängigkeit der gewählten Methodiken zu konfigurieren. Das anschließende Paketieren der gewählten Skalen zu einem Methodenset, inklusive potenziell hinterlegter Datenschutzformulare, soll den Export des modellierten Studiendesigns ermöglichen.

Die Phase während der Erhebung hängt stark von dem modellierten Methodenset ab. So ist es denkbar, dass pro gewählter Methodik Textbausteine hinterlegt sind, die gebündelt als Briefing für die Teilnehmenden genutzt werden können. Aus Sicht der UX-Researchenden ist in dieser Phase insbesondere das Monitoring der Erhebung relevant. Hier sollte ein ganzheitliches Evaluationswerkzeug die Möglichkeit schaffen, eine Methodendurchführung in Echtzeit zu überprüfen (sofern die Datenschutzvorgaben der Methoden dies zulassen).

Nach der Erhebung steht die Bündelung erhobener Daten und die Auswertung der Studienergebnisse im Fokus. Ein ganzheitliches Evaluationswerkzeug sollte einen Zugriff und Export auf sämtliche Rohdaten bereitstellen, die während der Interaktion bei der Erhebung des Methodensets generiert wurden. Zusätzlich sollten Auswertungs- und Interpretationshilfen zur Verfügung gestellt werden, sofern diese für die ausgewählten Methodiken eindeutig definierbar sind.

MVP Feedbacktool – Häufiges und schnelles Erfassen von Nutzenden-Feedback

Aus der Betrachtung der Anforderungen an die schnelle und häufige Feedbackaufnahme ist eine konkrete Methode für die Aufnahme von subjektivem Feedback in XR-Anwendungen entstanden. Die nachfolgende Lösung adaptiert und kombiniert bestehende Feedbacktools und Methoden. Dabei nutzt sie die Möglichkeiten der virtuellen Realitäten und technischen Entwicklungen, ohne dabei die Nutzerfreundlichkeit außer Acht zu lassen.

In der Analysephase ergaben sich folgende Hauptanforderungen:

  • Skalierbarkeit: Das Tool sollte auch ohne direkte Begleitung durch einen UX-Researchenden angewendet werden können.
  • Usability: Es ist wichtig, dass die Nutzenden das Feedback schnell und einfach geben können.
  • Immersion: Das Feedbacktool sollte nicht von der eigentlichen Anwendung ablenken.
  • Interpretierbarkeit: Das subjektiv qualitative Feedback der Nutzenden nach Thinking Aloud ist zur verlässlichen Auswertung der erhobenen Daten unumgänglich und muss aufgenommen werden.
  • Nachvollziehbarkeit: Die Nutzenden sind in VR-Anwendungen durch den immersiven Charakter inhaltlich versunken, was ihnen eine vollumfängliche und nachvollziehbare Beschreibung ihrer Situation erschwert. Für die nachfolgende Auswertung sind deshalb sowohl die Momentaufnahme als auch die damit verbundenen Faktoren und Aktionen relevant, um die Daten eindeutig interpretieren zu können.  
  • Automatisierung: Die Daten sollten für die UX-Researchenden automatisiert und gesammelt zur Verfügung gestellt werden.

Aus den Anforderungen leitete sich folgende Lösung ab, die ein intuitives Feedbackinterface beinhaltet und mit weiteren Erhebungen verknüpft:

  • Interface: In VR-Anwendungen bekommen Nutzende ein Armband mit drei unterschiedlichen Feedback-Buttons (Auswahl: Hinweis, positives und negatives Feedback), die sie zu jeder Zeit auf ihrem Handgelenk sehen und anwenden können (s. Abb. 3). In AR-Anwendungen ist das Interface auf Grund der grundlegenden Eigenschaften von AR-Anwendungen in einer 2D GUI dargestellt.
  • Feedback des Interfaces: Geben die Nutzenden Feedback über einen der Buttons, bekommen sie eine visuelle Rückmeldung über die Aktivierung und werden dazu aufgefordert, ihre Bewertung genauer zu erläutern. Die Nutzenden deaktivieren den Button nach Abschluss ihrer Bewertung. 
  • Automatisierte Videoaufnahme: Im Hintergrund wird die gesamte Session durchgehend aufgezeichnet. Dadurch ergibt sich die Möglichkeit, "in die Vergangenheit zu filmen". Der automatisierte Schnitt eines Feedback-Videos wird etwa 20 Sekunden vor dem Button-Drücken gestartet und mit dem Deaktivieren des Buttons beendet.
  • Zugänglichkeit zu Daten: Das eingesprochene Feedback der Nutzenden wird über Speech-to-Text verschriftlicht, mit dem Video-Snippet sowie weiteren Daten gesammelt, strukturiert abgespeichert und zugänglich gemacht.
  • Wiederverwendbarkeit: Das Feedbacktool wird als Plug-in konzipiert, sodass es in eine Vielzahl an Entwicklungsumgebungen integriert werden kann.
  • Nutzerfreundlichkeit: Zudem beinhaltet das Tool weitere Features wie ein Onboarding inklusive Tutorial und Erinnerungsmechanismen durch auditive Reize.

Um eine erste Version des Feedbacktools testen und validieren zu können, wird im nächsten Schritt der Ansatz des Minimal Viable Products (MVP) verfolgt und implementiert. Grundlage bildet das oben skizzierte Interface. In der vereinfachten MVP-Version müssen die Nutzenden die Video-Session noch manuell starten und zu Beginn der Session von den UX-Researchenden begleitet werden. Zudem werden die Videos für die Auswertung zwar automatisiert vorbereitet, aber nur mit farblichen Markern je nach Feedbackart versehen, um ein schnelles Wiederfinden der Feedback-Events zu ermöglichen.

Das konzipierte Tool ist ein zentraler Baustein, um regelmäßig und mit geringer Hürde Feedback der Nutzenden in die Entwicklung einfließen zu lassen und zur Reduktion der Entwicklungsaufwände und Vermeidung von Fehlentwicklungen beizutragen. Perspektivisch ermöglicht es eigenständig durchführbare Nutzenden-Tests und soll zu einer holistischen Evaluationsmethodik ausgebaut werden.

Autor:innen

Jasmin Rein

Jasmin Rein begleitet als UX-Consultant den mensch-zentrierten Entwicklungsprozess in den Bereichen XR und Innovation bei der adesso mobile solutions.
>> Weiterlesen

Ingo Börsting

Ingo Börsting ist studierter Kognitions- und Medienwissenschaftler und forscht als wissenschaftlicher Mitarbeiter am Lehrstuhl für Software Engineering an der Universität Duisburg-Essen.
>> Weiterlesen

Carla Schorr

Carla Schorr ist studierte Industriedesignerin (M.Sc.) und arbeitet seit mehr als fünf Jahren als Art-Direktorin und 3D-Artist.
>> Weiterlesen
Das könnte Sie auch interessieren
Kommentare (0)

Neuen Kommentar schreiben