- AutorIn
- M.Sc. Andreas Schrank Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR), Institut für Verkehrssystemtechnik
- Titel
- User-Centered Development and Evaluation of an Adaptive and Modular Human-Machine Interface for the Remote Operation of Highly Automated Vehicles
- Zitierfähige Url:
- https://nbn-resolving.org/urn:nbn:de:bsz:ch1-qucosa2-1059794
- Übersetzter Titel (DE)
- Nutzerzentrierte Entwicklung und Bewertung einer adaptiven und modularen Mensch-Maschine-Schnittstelle für die Remote Operation von hochautomatisierten Fahrzeugen
- Erstveröffentlichung
- 2026
- Datum der Einreichung
- 02.04.2026
- Datum der Verteidigung
- 10.07.2026
- DOI
- https://doi.org/10.60687/2026-0144
- Abstract (DE)
- Sowohl aus technischen als auch aus rechtlichen Gründen benötigen hochautomatisierte Fahrzeuge (highly automated vehicles, HAVs; SAE Level 4) die Unterstützung eines menschlichen Operateurs, wenn sie auf öffentlichen Straßen eingesetzt werden. Um die Fahrzeugautomatisierung robuster zu gestalten und gleichzeitig einen sicheren, effektiven und effizienten Betrieb zu gewährleisten, könnte der menschliche Operateur ein HAV aus der Ferne unterstützen. Während die Entwicklung der Automatisierungstechnologie voranschreitet, gibt es nach wie vor nur wenige Konzepte für eine nutzerzentrierte Mensch-Maschine-Schnittstelle (HMI) für den Arbeitsplatz des Remote-Operateurs, die speziell für die Bearbeitung von Aufgaben als Teleassistenz ausgelegt ist. In den hier vorgestellten Arbeiten wurden neuartige Mensch-Maschine-Schnittstellen (HMIs) für die Teleassistenz von HAVs mit Methoden des menschenzentrierten Designs (human-centered design, HCD) untersucht. Nach Kenntnisstand des Autors handelt es sich um die erste systematische Evaluation eines Prototyps für ein Arbeitsplatz-HMI zur Teleassistenz von HAVs und die Untersuchung von HMI-Funktionen zur Unterstützung des Remote-Operateurs bei der Teleassistenz, die in den Prototyp integriert werden kann. Die Versuchsteilnehmenden bewerteten den Prototypen hinsichtlich seiner Benutzerfreundlichkeit (usability) als zufriedenstellend bis gut und bescheinigten ihm ein überdurchschnittliches Situationsbewusstsein (situation awareness). Die wahrgenommene Arbeitsbelastung ging dabei nicht über ein mittleres Maß hinaus, obwohl sie durch eine sekundäre Aufgabe beeinflusst wurde. Die Bewertungen des Prototypen hinsichtlich Nutzererleben (user experience, UX) waren mittelhoch. Die Teilnehmenden konnten die Teleassistenzaufgaben in allen Studien erfüllen. In Bezug auf die beiden untersuchten HMI-Funktionen verbesserte das augmentierte HMI zur Erkennung relevanter Verkehrsteilnehmender die Leistung und das Situationsbewusstsein der Teilnehmenden und reduzierte die mentale Arbeitsbelastung, insbesondere in Situationen mit schlechter Sicht. Bei alternativen Kameraperspektiven anstatt der verbreiteten Fahrerperspektive (first-person view) wurden keine wesentlichen Auswirkungen auf diese Variablen festgestellt. Insbesondere das augmentierte HMI zeigt sich imstande, ungünstige Wetterbedingungen hinsichtlich der Erkennung relevanter Verkehrsteilnehmender durch den Remote-Operateur auszugleichen: Kollisionen mit anderen Verkehrsteilnehmenden und die mentale Arbeitsbelastung des Operateurs wurden deutlich reduziert, während das Situationsbewusstsein verbessert wurde. Weitere Forschungsarbeiten könnten Kontingenzpläne zwischen Teleassistenz-Anfragen, Aufgaben des Operateurs und HMI-Funktionen zur Unterstützung des Operateurs erstellen, was ein tieferes Verständnis der Wechselwirkung zwischen Aufgaben und geeigneten HMI-Funktionen erfordert. Letztlich könnten Kontingenzpläne in ein adaptives System für ein Arbeitsplatz-HMI zur Teleassistenz einfließen, wobei Kontextfaktoren oder der Operateurs-Zustand die Adaption auslösen könnten.
- Abstract (EN)
- For both technical and legal reasons, highly automated vehicles (HAVs, SAE level 4) will require the support of a human operator when deployed on public roads. In order to make vehicle automation more robust while ensuring safe, effective and efficient operations, the human operator could be located remotely to provide assistance to an HAV from afar. While the development of automation technology is progressing, proposals for a user-centered human-machine interface (HMI) of the remote operator’s workplace specifically for remote assistance tasks remain scarce. The work presented here investigated novel human-machine interfaces (HMIs) for the remote assistance of HAVs with human-centered design methods. To the knowledge of the author, it presents the first systematic evaluation of a prototype of a workplace HMI for the remote assistance of HAVs and the examination of HMI features to support the remote operator in providing remote assistance that can be integrated into the prototype. Study participants’ ratings of the prototype indicate satisfactory to good usability and above-average situation awareness while ratings for workload, albeit affected by a secondary task, did not exceed a medium degree. The prototype received medium ratings for user experience. Participants were able to complete the remote assistance tasks in all studies. Regarding two HMI features that were specifically examined, the augmented HMI for detecting relevant road users improved operator performance and SA and reduced mental workload, particularly in low-visibility situations. No major effects on these variables were found for alternative camera perspectives instead of the commonly used first-person perspective. Particularly the augmented HMI was shown to be able to compensate for unfavorable weather conditions regarding the detection of relevant road users by the remote operator: collisions with other road users and mental workload of the operator were significantly reduced while situation awareness was elevated. Further research could create contingency plans between requests for remote assistance, operator tasks, and HMI features to support the operator, requiring a deeper understanding of the interplay between tasks and suitable HMI features. Ultimately, contingency plans can inform an adaptive system for workplace HMIs to provide remote assistance triggered by context factors or the operator state.
- Verweis
- Human-centered design and evaluation of a workplace for the remote assistance of highly automated vehicles
DOI: 10.1007/s10111-024-00753-x - Improving road user perception in adverse weather: An augmented human–machine interface for remote assistants of automated vehicles
DOI: 10.1016/j.trf.2025.05.017 - The effects of camera perspective and augmentation on performance, situation awareness and mental workload of remote assistants of highly automated vehicles
DOI: 10.1016/j.trf.2026.103632 - Freie Schlagwörter (EN)
- human factors, human-machine interaction, automated vehicles, remote operation, remote assistance, human-centered design
- Klassifikation (DDC)
- 158
- Normschlagwörter (GND)
- Fernsteuerung, Mensch-Maschine-Kommunikation, Autonomes Fahrzeug
- GutachterIn
- Prof. Dr. Stefan Brandenburg
- Prof. Dr. Martin Baumann
- BetreuerIn Hochschule / Universität
- Prof. Dr. Stefan Brandenburg
- Den akademischen Grad verleihende / prüfende Institution
- Technische Universität Chemnitz, Chemnitz
- Version / Begutachtungsstatus
- angenommene Version / Postprint / Autorenversion
- URN Qucosa
- urn:nbn:de:bsz:ch1-qucosa2-1059794
- Veröffentlichungsdatum Qucosa
- 23.07.2026
- Dokumenttyp
- Dissertation
- Sprache des Dokumentes
- Englisch
- Lizenz / Rechtehinweis
CC BY 4.0- Inhaltsverzeichnis
Abstract 5 Zusammenfassung 6 Table of Contents 8 Table of Figures 13 Table of Tables 15 1 Remote Operation: A Technology to Maintain Mobility in Times of Automation 17 2 Research on Remote Operation: The Status Quo 19 2.1 The Workplace for Remote Assistance: A Technology to Complement Automated Driving 19 2.1.1 Levels of Automation 19 2.1.2 Procedures and Situations for Remote Assistance 20 2.1.3 Definition and Components of Remote Operation Systems 21 2.1.4 Control Modes in Remote Operation 22 2.2 Remote Assistance from a Sociotechnical Perspective 24 2.3 Remote Assistance: Legal Aspects 26 2.4 Remote Assistance: Psychological and Human Factors Aspects 26 2.4.1 Latency and Connectivity 28 2.4.2 Attention and Vigilance 30 2.4.3 Situation Awareness 31 2.4.4 Mental Workload 32 2.5 Adaptive Human-Machine Interfaces for Remote Assistance 33 2.5.1 Augmentation 35 2.5.2 Camera Perspective 37 2.6 Human-Centered Design of the Human-Machine Interface for Remote Assistance 40 3 Constructs for Design Evaluation 43 3.1 Operator Performance 43 3.2 Situation Awareness 44 3.3 Mental Workload 45 3.4 Usability and User Experience 46 3.5 Further Constructs 46 4 Research Questions 48 5 Journal Publication 1: A User-Centered Human-Machine Interface for the Workplace for Remote Assistance of Highly Automated Vehicles 50 5.1 Introduction and Research Question 50 5.2 Method 53 5.2.1 Sample 53 5.2.2 Experimental Design 54 5.2.3 Materials 54 5.2.4 Objective Measures 57 5.2.5 Questionnaires 57 5.2.6 Procedure 59 5.3 Results 60 5.3.1 Performance (H1) 61 5.3.2 Situation Awareness (H2) 66 5.3.3 Workload (H3) 67 5.3.4 Questionnaires 70 5.4 Discussion 71 5.4.1 Results on H1 (Performance) 72 5.4.2 Results on H2 (Situation Awareness) 73 5.4.3 Results on H3 (Workload) 74 5.4.4 Results on Questionnaires 76 5.4.5 Limitations 77 5.4.6 Conclusions and Future Research 79 6 Journal Publication 2: An Augmented Human-Machine Interface for the Workplace for Remote Assistance of Highly Automated Vehicles 82 6.1 Introduction and Research Question 82 6.2 Method 82 6.2.1 Sample 82 6.2.2 Setup 83 6.2.3 Measures 87 6.2.4 Procedure 88 6.2.5 Experimental Design and Hypotheses 89 6.3 Results 90 6.3.1 Performance (H1) 90 6.3.2 Situation Awareness (H2) 92 6.3.3 Mental Workload (H3) 93 6.3.4 Usability (H4) 94 6.4 Discussion 95 6.4.1 Augmented HMI Offsets Negative Effect of Fog on Performance 95 6.4.2 Augmented HMI Improves Situation Awareness 97 6.4.3 Augmented HMI Reduces Mental Workload, Particularly When Foggy 98 6.4.4 Augmented HMI Keeps Usability at No-Fog Levels 98 6.4.5 Limitations 99 6.4.6 Conclusions and Future Research 100 7 Journal Publication 3: Camera Perspectives of the Human-Machine Interface for the Workplace for Remote Assistance of Highly Automated Vehicles 102 7.1 Introduction and Research Question 102 7.2 Method 103 7.2.1 Sample 103 7.2.2 Experimental Design 103 7.2.3 Operator Tasks and Scenario 105 7.2.4 Experimental Setup 106 7.3 Results 111 7.3.1 Operator Performance (H1) 111 7.3.2 Situation Awareness (H2) 115 7.3.3 Mental Workload (H3) 116 7.3.4 Usability (H4) 117 7.4 Discussion 118 7.4.1 Limitations 121 7.4.2 Conclusions and Future Research 122 8 General Discussion 124 8.1 Contribution of Publications to Overarching Research Questions 124 8.1.1 Research Question 1: A User-Centered Workplace HMI for Remote Assistance 124 8.1.2 Research Question 2: Augmentation in a Workplace HMI for Remote Assistance 128 8.1.3 Research Question 3: Camera Perspectives in a Workplace HMI for Remote Assistance 133 8.2 Theoretical implications 135 8.3 Implications for Workplace HMI Design for Remote Assistance of HAVs 137 9 Methodological Reflection 140 9.1 Overarching Methodological Reflection 140 9.2 Study-Specific Methodological Reflection 146 9.2.1 Study 1 146 9.2.2 Studies 2 and 3 147 10 Conclusion and Outlook 148 References 151 Appendix 167