- Titel
- Augmented Displays - Combining Interactive Displays with Head-Mounted Augmented Reality
- Zitierfähige Url:
- https://nbn-resolving.org/urn:nbn:de:bsz:14-qucosa2-971012
- Übersetzter Titel (DE)
- Augmented Displays - Die Kombination von Interaktiven Oberflächen mit Kopfgebundener Erweiterter Realität
- Erstveröffentlichung
- 2025
- Datum der Einreichung
- 12.02.2025
- Datum der Verteidigung
- 12.05.2025
- Abstract (DE)
- Diese Arbeit stellt Augmented Displays vor, eine neue Klasse von Hybrid User Interfaces (HUIs), welche interaktive Oberflächen mit kopfgebundenen Augmented Reality Displays (AR HMDs) kombiniert. Beide Geräte sind ein einzelnes, nahtloses System integriert, in welchem sie ihre individuelles Potential entfalten können. Interaktive Oberflächen sind mittlerweile im Alltag allgegenwärtig. Durch ihre direkte Touch-Eingabe bieten sie einen niederschwelligen Zugang zu digitalen Inhalten und verdrängen zunehmend Desktop Computer. Obwohl diese Displays eine hohe Auflösung bieten, ist ihre Ausgabe lediglich zweidimensional. Gleichzeitig erfahren AR und VR Geräte eine ebenfalls immer größere Verbreitung. Im Gegensatz zu konventionellen Displays erlauben sie die Anzeige dreidimensionaler Inhalte mit einer hohen Immersion und bieten einen nahezu unbegrenzten Anzeigeraum. Aktuell haben sie noch Probleme mit Inhalten von hohem Detailgrad und der Interaktion mit den virtuellen Inhalten. Durch die Kombination beider Geräte können diese ihre individuellen Schwächen kompensieren und auf ihre Stärken aufbauen. Diesen Ansatz bezeichnet man als Hybrid User Interfaces. Im Rahmen dieser Arbeit wird eine Unterklasse von HUIs vorgestellt, welche als Augmented Displays bezeichnet wird. Insbesondere umfasst dies die Untersuchung der folgenden Forschungsfragen: (1) Was sind die Vorteile von der Kombination interaktiver Oberflächen mit kopfgebundener AR? (2) Welche visuellen Anteile der Benutzeroberfläche sollten entweder der interaktiven Oberfläche oder AR zugeordnet werden? (3) Wie können interaktive Oberflächen verwendet werden um räumlich verbundene AR Inhalte zu manipulieren? (4) Welche vielversprechenden Anwendungsbeispiele oder Anwendungsdomänen gibt es für die Kombination von Displays und AR? Um diese Fragen zu beantworten wird ein umfassender Design Space vorgestellt, welcher die semantische und räumliche Verbindung zwischen der interaktiven Oberfläche und dem AR HMD beschreibt. Die Anforderungen an geeignete Geräte für Augmented Displays werden diskutiert und es wird untersucht, wie die Eingabemöglichkeiten der interaktiven Oberfläche für die Interaktion mit AR Inhalten verwendet werden können. Dieser reichhaltige Design Space wird durch eine Zahl von Anwendungsfällen untersucht, welche durch Veröffentlichungen in den Bereichen 3D Modellierung, Informationsvisualisierung auf großen Displays, Architektur, und medizinischer Visualisierungen repräsentiert werden. Außerdem wird ein System für die Evaluation von Augmented Displays Systemen vorgestellt. Abschließend werden mögliche Einschränkungen und Herausforderungen diskutiert, welche sich aus den Konzepten ergeben, sowie die mögliche Zukunft von Augmented Displays.
- Abstract (EN)
- This thesis presents Augmented Displays, a new class of hybrid user interface (HUI) which combines interactive surfaces with head-mounted Augmented Reality displays (AR HMDs). Both devices are integrated into a single, seamless system to leverage their individual potential. Interactive surfaces have become ubiquitous in our everyday lives. Thanks to their direct touch input, they offer intuitive access to digital content and are increasingly replacing desktop computers. Although these devices offer high resolution, their graphic output remains two-dimensional. At the same time, AR and VR devices are also becoming increasingly widespread. In contrast to conventional displays, they allow to display three-dimensional content with a high degree of immersion and offer an almost unlimited output space. However, they face problems in displaying high levels of detail and in interaction with content itself. Combining conventional displays with AR HMDs can compensate their individual weaknesses and build upon their corresponding strengths. This approach is known as hybrid user interfaces. This thesis presents a subclass of HUIs called Augmented Displays. In particular, the following research questions are investigated: (1) What are the benefits of combining interactive displays with head-mounted AR? (2) Which visual parts of the user interface should be mapped to either interactive surface and AR? (3) How can interactive surfaces be used to manipulate spatially related AR content? (4) What are promising use cases or application domains for the combination of displays with AR? To answer those questions, a comprehensive design space is presented, which describes the semantic and spatial relationship between the interactive surface and AR HMD. The requirements for suitable devices for Augmented Displays are discussed as well as how the input capabilities of the interactive surface can be used to interact with AR content. This rich design space is then explored through a variety of use cases, represented by publications in the domains of 3D modeling, information visualization on large displays, architecture, and medical visualization. An additional publication presents a system for evaluating Augmented Displays and similar immersive systems. Finally, limitations and challenges regarding the concept and currently available devices are discussed, as is the possible future of Augmented Displays itself.
- Freie Schlagwörter (EN)
- Augmented Reality, Human Computer Interaction, Visualization
- Klassifikation (DDC)
- 006
- Klassifikation (RVK)
- ST 323
- ST 180
- GutachterIn
- Prof. Dr. Raimund Dachselt
- Prof. Dr. Harald Reiterer
- BetreuerIn Hochschule / Universität
- Prof. Dr. Raimund Dachselt
- Den akademischen Grad verleihende / prüfende Institution
- Technische Universität Dresden, Dresden
- Version / Begutachtungsstatus
- publizierte Version / Verlagsversion
- URN Qucosa
- urn:nbn:de:bsz:14-qucosa2-971012
- Veröffentlichungsdatum Qucosa
- 24.06.2025
- Dokumenttyp
- Dissertation
- Sprache des Dokumentes
- Englisch
- Lizenz / Rechtehinweis
CC BY 4.0- Inhaltsverzeichnis
1 Introduction 1 1.1. Research Goals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2. Research Scope . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3. Methodological Approach . . . . . . . . . . . . . . . . . . . . . . . . 6 1.4. Outline and Contributions . . . . . . . . . . . . . . . . . . . . . . . . 7 2 Background and Related Work 11 2.1. Background on Related Research Areas . . . . . . . . . . . . . . . . . 11 2.1.1. Mixed and Augmented Reality . . . . . . . . . . . . . . . . . . 11 2.1.2. Distributed User Interfaces . . . . . . . . . . . . . . . . . . . . 13 2.1.3. Multi-Display Environments . . . . . . . . . . . . . . . . . . . 13 2.1.4. Natural User Interfaces . . . . . . . . . . . . . . . . . . . . . . 14 2.1.5. Hybrid User Interfaces . . . . . . . . . . . . . . . . . . . . . . 16 2.2. Prior Work on Combining Displays and Mixed Reality . . . . . . . . . 17 2.2.1. Hybrid User Interfaces and Early Works . . . . . . . . . . . . 17 2.2.2. Extending Screen Space with AR . . . . . . . . . . . . . . . . 19 2.2.3. Degree of Integration . . . . . . . . . . . . . . . . . . . . . . . 20 2.2.4. Device Types and Use Cases . . . . . . . . . . . . . . . . . . . 22 3 Augmented Displays 25 3.1. Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.2. Supported Device Classes . . . . . . . . . . . . . . . . . . . . . . . . 27 3.3. Relationship Between Interactive Surface and AR HMD . . . . . . . . 29 3.3.1. Semantic Relationship . . . . . . . . . . . . . . . . . . . . . . 29 3.3.2. Spatial Proximity Levels . . . . . . . . . . . . . . . . . . . . . 30 3.3.3. Spatial Zones . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.3.4. Boundaries and Filtering . . . . . . . . . . . . . . . . . . . . . 33 3.4. Interaction Principles . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 3.5. Multi-User Scenarios . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4 DesignAR: Immersive 3D-Modeling Combining Augmented Reality with Interactive Displays 39 5 Personal Augmented Reality for Information Visualization on Large Interactive Displays 55 6 Augmented Displays: Seamlessly Extending Interactive Surfaces with Head-Mounted Augmented Reality 69 7 Exploring and Slicing Volumetric Medical Data in Augmented Reality Using a Spatially-Aware Mobile Device 75 8 AvatAR: An Immersive Analysis Environment for Human Motion Data Combining Interactive 3D Avatars and Trajectories 83 9 Discussion 101 9.1. Technical Considerations . . . . . . . . . . . . . . . . . . . . . . . . . 101 9.1.1. Head-Mounted Augmented Reality Displays . . . . . . . . . . 101 9.1.2. Tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 9.1.3. Calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 9.2. Evaluating Augmented Display Systems . . . . . . . . . . . . . . . . 104 9.3. Non-Rectangular Displays . . . . . . . . . . . . . . . . . . . . . . . . 106 9.4. Future Significance of Augmented Displays . . . . . . . . . . . . . . . 107 9.4.1. Possible Technological Development . . . . . . . . . . . . . . 108 9.4.2. Adapting Augmented Displays to Other Contexts . . . . . . . 110 10 Conclusion 111 10.1.Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 10.2.Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 10.3.Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 10.4.Final Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 Bibliography 119 A Authorship Statements 131