Es werden qualitative und/oder quantitative empirische Daten zur Messung und Optimierung der Gebrauchstauglichkeit (Usability) und Nutzererfahrung (UX) erhoben.
In möglichst realitätsnah simulierten Szenarien werden Demonstratoren getestet. Dabei werden die beteiligten Menschen, deren Verhalten, Präferenzen und Bedürfnisse beobachtet.
Der Test wird dokumentiert und z.B. mittels Video, Audio, Screen-Tracking etc. aufgezeichnet, analysiert und ausgewertet um Verbesserungen im Sinne der Nutzer*innen zu gestalten.
Hauptzweck
- Messung von Ergonomie, Nutzbarkeit, ästhetische Reaktion und emotionale Resonanz.
- Schafft Grundlage, um Verbesserungen im Sinne der Nutzer*innen zu gestalten.
- Vergleich mehrerer Gestaltungsvarianten bzw. Demonstratoren in unterschiedlichen Entwicklungsstadien sind gut möglich.
Teilnehmende
- Proband*innen sind potenzielle Nutzer*innen der zu entwickelnden Anwendung.
- Anzahl der Proband*innen variiert stark, je nach Evaluationsziel und Methode. Mindestens drei Proband*innen bei qualitativer Untersuchung und recht homogener Zielgruppe. Mindestens 20 Proband*innen bei quantitativ ausgerichteter Studie.
Methoden und Werkzeuge
- Beobachtung/Shadowing: Proband*innen werden bei der Nutzung des Demonstrators beobachtet um Schwachstellen/positive Aspekte etc. des Systems aufzudecken.
- Think-Aloud: Proband*innen werden gebeten bei der Nutzung des Demonstrators ihre Gedanken, Probleme, Meinungen, Gefühle zu äußern.
- Task-Level-Success: Die Performance wird auf Basis der Aufgabenbearbeitung während eines aufgebangeleiteten Usability Tests erfasst, d.h. welche Aufgaben lösen die Proban*innen ohne-, mit leichten-, mit großen Problemen oder gar nicht; ggf. wird die Bearbeitungszeit noch hinzugezogen.
- Interview/Befragung: Klassische Erhebungs-Methode qualitativer empirischer Daten, meist auf Basis eines Leitfadens. Im Rahmen des UX-Tests oft im Anschluss eines praktischen Nutzertests zur Validierung/Interpretation.
- Fokusgruppen: Strukturiertes Gruppen-Interview/Diskussion zum Einholen von Nutzer*innen-Feedback, meist nach praktischen Nutzertest angewendet.
- Fragebogen: Gegebenenfalls zur Erhebung demografischer und weiterer Daten der Proband*innen und zur Messung verschiedener Usability und/oder UX-Parameter. Viele standardisierte Fragebögen sind beispielsweise auf den Seiten der German UPA zu finden.
Stärken
- Unterstützen eine nutzerzentrierte Abstimmung von Anforderungen
- Bieten die Möglichkeit verschiedene Funktionsvarianten erlebbar werden lassen und mit potentiellen Anwender*innen zu evaluieren und abzuwägen
- Im Living Lab können die Tests im simulierten zu erwartenden Nutzungskontext aber dennoch unter kontrollierbaren Bedingungen durchgeführt werden.
Schwächen
- Im Living Lab wird nicht unter realen Bedingungen getestet, das heißt, ohne den zu erwartenden Nutzungskontext, wie Anwendungsumfeld und viele weitere die Nutzung beeinflussende Faktoren.
- Die Teilnehmenden befinden sich nicht in ihrer üblichen Umgebung, woraus sich die Wahrscheinlichkeit ergibt, dass sie sich unbewusst so verhalten, von dem sie vermuten, dass es von ihnen erwartet wird (Hawthorne-Effekt).
Technische Infrastruktur & Ausstattung im KosmoS Lab
- Demonstratoren in einem realitätsnahen Kontext eingebunden mit flexibel veränderbaren Raumsituationen, Requisiten, etc.
- KosmoS Rule Editor Engine (KREE), um mit blockbasierter Sprache Szenarien anzupassen.
- Anpassbares “Wizard of Oz” Interface, um Interaktionen zu simulieren.
- Aufzeichnung, Streaming und Annotation von Video & Audio ist möglich.
- Loggen von Events in der simulierten Umgebung, synchronisiert mit Video-Aufzeichnung
- Infrastruktur für eine remote Übertragung der Session.
- Zugang zum Online-Umfrage Tool LimeSurvey, das von KosmoS gehostet wird. Standard-Fragebögen werden bereitgestellt