Bedienumgebungen multimodal denken
Studium · TU Dresden · 23. Januar 2024 · Julius Schlicht ·
Schlagwörter: Designmethoden, Diplom, HMI, TheiaXR
Menschen nehmen ihre Umgebung durch verschiedene Sinne war. Das Erlangen von Situationsbewusstsein fußt dabei häufig auf einer breiten Informationsgrundlage, die verschiedene Informationen, wahrgenommen über verschiedene Wahrnehmungskanäle berücksichtigt. Das wird auch als multimodale Informationswahrnehmung bezeichnet. Die Bereitstellung von Informationen in einem Human-machine Interface (HMI, dt.: Benutzer-Schnittstelle) die verschiedenen Wahrnehmungskanäle adressiert nennt man deswegen auch multimodale Interfaces. Der große Vorteil multimodaler Informationsbereitstellung und Wahrnehmung ist, dass Menschen in der Lage sind deutlich mehr Informationen gleichzeitig zu verarbeiten, wenn sie auf die richtige Art und Weise auf verschiedene Kanäle verteilt sind.
In nahezu allen Industriebereichen gewinnen digitale Informationen und Services zunehmend an Bedeutung. So ist der Betrieb von Agrarmaschinen heute schon häufig eng an ein Farm Management and Information System (FMIS) gekoppelt, das dem Operator mit Informationen zum Feld, dem Bestand, Wetterprognosen und sonstigen Prozess-relevanten Informationen versorgt. Im Baubereich wird gerade am Building Information Modelling (BIM) gearbeitet, dass in naher Zukunft ein durchgängiges digitales Abbild von Gebäuden, dass durch die vernetzte Planung, den Bau und die Bewirtschaftung allen involvierten Gewerken verbinden soll. Die Integration dieser Systeme in häufig Display-basierte Bedienumgebungen der involvierten Arbeitsmaschinen führt zu immer komplexeren Interfaces. Der immense Datenstrom erfordert neue Ansätze, da herkömmliche Display-basierte Human-Machine-Interfaces und an ihre Grenzen stoßen und die Bedienbarkeit der Systeme darunter leidet.
Die Bedienung von Off-Highway-Anwendungen erfordert ein tiefes Verständnis der Umgebung, das oft auf einem vielschichtigen Maschinengefühl basiert. Bei raschen Veränderungen müssen Bediener fast schon intuitiv auf Informationen reagieren können. XR-Interaktionstechniken wie Overlay-Visualisierungen, Animationen und multimodales Feedback können in solchen Umgebungen besonders nützlich sein, da sie nicht nur wichtige Informationen bereitstellen, sondern den gegebenen Datenfluss angenehm auf mehrere Kanäle verteilen und so eine intelligente und angemessene Informationsbereitstellung gewährleisten können.
Im Rahmen des Projektes THEIAXR hat sich Julius Röhlig in seiner Diplomarbeit damit beschäftigt, wie Designer und Entwickler unterstützt werden um eben diese Multimodalität zu fördern. Seine Analyse der Informationsverfügbarkeit in mobilen Arbeitsmaschinen und der Gegenüberstellung verschiedener Visualisierungs- und Präsentationstechniken zeigt wie viele Möglichkeiten für die Interaktionsgestaltung zur Verfügung stehen. Die zusammengestellte Übersicht basiert auf dem Werkzeug des morphologischen Kastens und bildet einen umfassenden Gestaltungsraum ab indem Informationen mit verschiedenen Modalitäten kombiniert und in der Gesamtheit ein multimodales HMI definieren. Dabei stellt jede Information im Kontext der Bediensituation ganz eigene Anforderungen an die Präsentationsmodalität. So hängt die Leistungsfähigkeit unserer Informationswahrnehmung (Perzeption) z.B. auch davon ab, wie viele Informationen wir bereits über einen bestimmten Kanal aufnehmen und auf welchen Kanal wir uns gerade konzentrieren. Jeder Wahrnehmungskanal besitzt dabei unterschiedliche Stärken und Schwächen im Zusammenhang mit der Art der Information und deren Wahrnehmung. Diese Restriktionen und Potentiale sind zwar geeignet den Gestaltungsraum etwas einzuschränken, eine ideale Kombination von Modalitäten und Informationen für alle Nutzenden und Situationen gibt es jedoch nicht. Vielmehr gilt es bei der Entwicklung von HMI gleichzeitig die Erwartungen und Erfahrungen der Anwender zu berücksichtigen als auch ergonomische Faktoren und Potentiale für eine einfachere Bedienung durch neue Modalitäten zu vereinen.
Auch wenn es für das „Information Mapping“ verschiedene Regeln gibt, so ist Prototyping und Testing nach wie vor ein unerlässliches Tool um leistungsfähige Kombinationen und Lösungen zu identifizieren. Der immense Umfang an Stellgrößen erfordert dabei heute viel Erfragung und Umfangreiches Wissen von HMI-Designers um diese in der richtigen Weise anzupassen. Werkzeuge die ein systematisches und hochiteratives Arbeiten, Entwickeln und Testen erlauben sollen könnten an dieser Stelle in Zukunft helfen systematischer zu besseren Lösungen zu kommen. Das erfordert auch, das Entwickler mutiger werden, verschiedene Kombinationen und Ideen auszuprobieren. Dafür ist es notwendig die Kosten solcher explorativen Schritte im Sinne von Zeit und ressourcen-Aufwände zu verringern.
Dazu hat Julius unterschiedliche Werkzeugformate erörtert und im Ergebnis seiner Arbeit ein Kartenset entwickelt. Die Modalitätskarten bilden verschiedene Kategorien visueller, haptischer und akustischer Informationspräsentation ab und informieren über Möglichkeiten, Grenzen, Vor- und Nachteile für die Informationsbereitstellung. Für die Einbindung in Bedienumgebungen stellen die Karten zudem zugehörige Interaktionstechnologien, einstellbare Signalparameter und Anwendungsbeispiele zur Verfügung. Eingebettet in ein Methodenset aus Anleitung und einer physisch-digitalen Arbeitsfläche soll es Designern und Entwicklern helfen systematischer verschiedene Konzepte zu entwickeln.