- Titel
- Exploring Mobile Device Interactions for Information Visualization
- Zitierfähige Url:
- https://nbn-resolving.org/urn:nbn:de:bsz:14-qucosa2-949500
- Datum der Einreichung
- 29.10.2024
- Datum der Verteidigung
- 16.12.2024
- Abstract (DE)
- Informationsvisualisierung (InfoVis) macht Daten in grafischer Form zugänglich, ermöglicht eine visuelle und interaktive Datenexploration und wird in unserer von Daten bestimmten Welt immer wichtiger. InfoVis ermöglicht es Menschen in verschiedenen Anwendungsbereichen, aus den abstrakten und enormen Datenmengen einen echten Nutzen zu ziehen. Obwohl sie häufig auf Desktop-Umgebungen ausgerichtet sind, werden Datenvisualisierungen heutzutage auch auf den allseits präsenten Mobilgeräten wie Smartphones und Tablets eingesetzt. Die meisten Mobilgeräte sind jedoch persönliche digitale Begleiter, die in der Regel mäßig komplexe Daten (z.B. Fitness-, Gesundheits-, Finanz-, Wetter-, Nahverkehrsdaten) auf einem einzigen und sehr kompakten Display visualisieren, wodurch es grundsätzlich schwierig ist, die gesamte Bandbreite von bzw. gleichzeitig mehrere Blickwinkel auf Daten darzustellen. Die in dieser Arbeit vorgestellte Forschung greift diese Aspekte auf und versucht, neuartige Mobilgeräte-Interaktionen zu untersuchen, die eine Datenanalyse mit mehr als nur einem Gerät, mehr als nur einer Visualisierung und mehr als nur einem Benutzer ermöglichen. Im Mittelpunkt dieser Dissertation stehen vier durchgeführte Projekte, die sich anhand der folgenden Forschungsziele miteinander verbinden lassen: (i) Datenvisualisierung jenseits der einfachen Exploration persönlicher Daten ermöglichen, (ii) Mobilgeräte für InfoVis in geräteübergreifende Umgebungen einbinden und (iii) die Beweglichkeit und Räumlichkeit von Mobilgeräten für InfoVis ausnutzen. Um auf das erste Ziel hinzuarbeiten, liegt der Schwerpunkt meiner Forschung auf der Interaktion mit multivariaten Daten, die in mehreren miteinander verknüpften Visualisierungen (engl. multiple coordinated views, kurz MCV) abgebildet werden. Um das zweite Ziel zu adressieren, werden in meiner Arbeit zwei grundlegend unterschiedliche Gerätekonfigurationen behandelt: Der eine Teil befasst sich mit Szenarien, in denen eine oder mehrere Personen an einem Tisch sitzen, um Daten mit MCV zu analysieren, wobei die Ansichten auf mehrere Mobilgeräte verteilt sind (Mobilgeräte auf einem Tisch). Der andere Teil beschäftigt sich mit Szenarien, in denen ein wandgroßes Display eine große Anzahl von MCV anzeigt, während Mobilgeräte die Interaktion mit diesen Ansichten aus unterschiedlichen Positionen und Entfernungen ermöglichen (Mobilgeräte im 3D-Raum). Die Gerätekonfigurationen erlauben es zudem, verschiedene Einsatzzwecke und Rollen von mobilen Geräten während der Datenexploration zu untersuchen. Um auf das dritte Ziel hinzuwirken, untersuche ich mehrere räumliche Geräteinteraktionen. Dies umfasst die Platzierung und Anordnung mehrerer Mobilgeräte in sinnvollen räumlichen Konstellationen sowie Pointing-Interaktion die Touch- und räumliche Geräteeingaben miteinander kombiniert. Allgemein betrachtet wende ich in meiner Forschung einen explorativen Ansatz an. Ich entwickle eine Reihe von Techniken und führe Untersuchungen durch, die zu einem besseren Verständnis beitragen, wie Mobilgeräte nicht nur für typische persönliche Visualisierungen, sondern auch in einem eher professionellen Umfeld als Teil neuartiger InfoVis-Umgebungen jenseits klassischer Desktop-Arbeitsplätze eingesetzt werden können.
- Abstract (EN)
- Information visualization (InfoVis) makes data accessible in a graphical form, enables visual and interactive data exploration, and is becoming increasingly important in our data-driven world - InfoVis empowers people from various domains to truly benefit from abstract and vast amounts of data. Although they often target desktop environments, nowadays, data visualizations are also used on omnipresent mobile devices, such as smartphones and tablets. However, most mobile devices are personal digital companions, typically visualizing moderately complex data (e.g., fitness, health, finances, weather, public transport data) on a single and very compact display, making it inherently hard to show the full range or simultaneously different perspectives of data. The research in this thesis engages with these aspects by striving for novel mobile device interactions that enable data analysis with more than a single device, more than a single visualization view, and more than a single user. At the core of this dissertation are four realized projects that can be connected by the following research objectives: (i) Facilitating data visualization beyond the casual exploration of personal data, (ii) Integrating mobile devices in multi-device settings for InfoVis, and (iii) Exploiting the mobility and spatiality of mobile devices for InfoVis. To address the first objective, my research mainly concentrates on interactions with multivariate data represented in multiple coordinated views (MCV). To address the second objective, I consider two different device settings in my work: One part investigates scenarios where one or more people sit at a regular table and analyze data in MCV that are distributed across several mobile devices (mobile devices on a table). The other part focuses on scenarios in which a wall-sized display shows large-scale MCV and mobile devices enable interactions with the visualizations from varying positions and distances (mobile devices in 3D space). The settings also allow to look at different purposes and roles of mobile devices during data exploration. To address the third objective, I examine different spatial device interactions. This includes placing and organizing multiple mobile devices in meaningful spatial arrangements and also pointing interaction that combines touch and spatial device input. Overall, with my research, I apply an exploratory approach and develop a range of techniques and studies that contribute to the understanding of how mobile devices can be used not only for typical personal visualization but also in more professional settings as part of novel and beyond-the-desktop InfoVis environments.
- Freie Schlagwörter (DE)
- Mensch-Computer-Interaktion, Informationsvisualisierung, Mobilgeräte, Visuelle Datenanalyse, Mehrere Koordinierte Ansichten
- Freie Schlagwörter (EN)
- Human-Computer Interaction, Information Visualization, Mobile Devices, Visual Data Analysis, Multiple Coordinated Views
- Klassifikation (DDC)
- 006
- Klassifikation (RVK)
- ST 278
- AK 54515
- ST 185
- GutachterIn
- Prof. Dr. Raimund Dachselt
- Prof. Dr. Anastasia Bezerianos
- BetreuerIn Hochschule / Universität
- Prof. Dr. Raimund Dachselt
- Den akademischen Grad verleihende / prüfende Institution
- Technische Universität Dresden, Dresden
- Version / Begutachtungsstatus
- publizierte Version / Verlagsversion
- URN Qucosa
- urn:nbn:de:bsz:14-qucosa2-949500
- Veröffentlichungsdatum Qucosa
- 14.01.2025
- Dokumenttyp
- Dissertation
- Sprache des Dokumentes
- Englisch
- Lizenz / Rechtehinweis
- Inhaltsverzeichnis
Publications ... ix List of Figures ... xix List of Tables ... xx 1. Introduction ... 1 1.1. Research Objectives and Questions ... 5 1.2. Methodological Approach ... 8 1.3. Scope of the Thesis ... 10 1.4. Thesis Outline & Contributions ... 13 2. Background & Related Work ... 15 2.1. Data Visualization on a Mobile Device ... 16 2.1.1. Revisiting Differences of Data Visualization for Desktops and Mobiles ... 16 2.1.2. Visualization on Handheld Devices: PDAs to Smartphones ... 18 2.1.3. Visualization on Tablet Computers ... 20 2.1.4. Visualization on Smartwatches and Fitness Trackers ... 21 2.1.5. Mobile Data Visualization and Adjacent Topics ... 22 2.2. Cross-Device Data Visualization ... 24 2.2.1. General Components of Cross-Device Interaction ... ... 24 2.2.2. Cross-Device Settings with Large Displays ... 26 2.2.3. Cross-Device Settings with Several Mobile Devices ... 27 2.2.4. Augmented Displays ... 29 2.2.5. Collaborative Data Analysis ... 30 2.2.6. Technological Aspects ... 31 2.3. Interaction for Visualization ... 32 2.3.1. Touch Interaction for InfoVis ... 33 2.3.2. Spatial Interaction for InfoVis ... 36 2.4. Summary ... 38 3. VisTiles: Combination & Spatial Arrangement of Mobile Devices ... 41 3.1. Introduction ... 43 3.2. Dynamic Layout and Coordination ... 45 3.2.1. Design Space: Input and Output ... 46 3.2.2. Tiles: View Types and Distribution ... 46 3.2.3. Workspaces: Coordination of Visualizations ... 47 3.2.4. User-defined View Layout ... 49 3.3. Smart Adaptations and Combinations ... 49 3.3.1. Expanded Input Design Space ... 50 3.3.2. Use of Side-by-Side Arrangements ... 50 3.3.3. Use of Continuous Device Movements ... 53 3.3.4. Managing Adaptations and Combinations ... 54 3.4. Realizing a Working Prototype of VisTiles ... 55 3.4.1. Phase I: Proof of Concept ... 55 3.4.2. Phase II: Preliminary User Study ... 56 3.4.3. Phase III: Framework Revision and Final Prototype ... 59 3.5. Discussion ... 63 3.5.1. Limitations of the Technical Realization ... 63 3.5.2. Understanding the Use of Space and User Behavior ... 64 3.5.3. Divide and Conquer: Single-Display or Multi-Display? ... 64 3.5.4. Space to Think: Physical Tiles or Virtual Tiles? ... 65 3.6. Chapter Summary & Conclusion ... 66 4. Marvis: Mobile Devices and Augmented Reality ... 69 4.1. Introduction ... 71 4.2. Related Work: Augmented Reality for Information Visualization ... 74 4.3. Design Process & Design Rationale ... 75 4.3.1. Overview of the Development Process ... 75 4.3.2. Expert Interviews in the Design Phase ... 76 4.3.3. Design Choices & Rationales ... 78 4.4. Visualization and Interaction Concepts ... 79 4.4.1. Single Mobile Device with Augmented Reality ... 79 4.4.2. Two and More Mobile Devices with Augmented Reality ... 83 4.5. Prototype Realization ... 86 4.5.1. Technical Implementation and Setup ... 87 4.5.2. Implemented Example Use Cases ... 88 4.6. Discussion ... 94 4.6.1. Expert Reviews ... 94 4.6.2. Lessons Learned ... 95 4.7. Chapter Summary & Conclusion ... 98 5. FlowTransfer: Content Sharing Between Phones and a Large Display ... 101 5.1. Introduction ... 103 5.2. Related Work ... 104 5.2.1. Interaction with Large Displays ... 104 5.2.2. Interactive Cross-Device Data Transfer ... 105 5.2.3. Distal Pointing ... 106 5.3. Development Process and Design Goals ... 106 5.4. FlowTransfer’s Pointing Cursor and Transfer Techniques ... 108 5.4.1. Distance-dependent Pointing Cursor ... 109 5.4.2. Description of Individual Transfer Techniques ... 110 5.5. Technical Implementation and Setup ... 115 5.6. User Study ... 115 5.6.1. Study Design and Methodology ... 115 5.6.2. General Results ... 117 5.6.3. Results for Individual Techniques ... 117 5.7. Design Space for Content Sharing Techniques ... 119 5.8. Discussion ... 120 5.8.1. Design Space Parameters and Consequences ... 121 5.8.2. Interaction Design ... 121 5.8.3. Content Sharing-inspired Techniques for Information Visual- ization ... 122 5.9. Chapter Summary & Conclusion ... 123 6. Divico: Touch and Pointing Interaction for Multiple Coordinated Views ... 125 6.1. Introduction ... 127 6.2. Bringing Large-Scale MCV to Wall-Sized Displays ... 129 6.3. Interaction Design for Large-Scale MCV ... 130 6.3.1. Interaction Style and Vocabulary ... 131 6.3.2. Interaction with Visual Elements of Views ... 132 6.3.3. Control of Analysis Tools ... 134 6.3.4. Interaction with Visualization Views ... 134 6.4. Data Set and Prototype Implementation ... 135 6.5. User Study: Goals and Methodology ... 136 6.5.1. Participants ... 137 6.5.2. Apparatus ... 137 6.5.3. Procedure and Tasks ... 138 6.5.4. Collected and Derived Data ... 139 6.6. Results: User Behavior and Usage Patterns ... 140 6.6.1. Data Analysis Method ... 140 6.6.2. Analysis of User Behavior and Movement ... 140 6.6.3. Analysis of Collaboration Aspects ... 142 6.6.4. Analysis of Application Usage ... 145 6.7. Discussion ... 146 6.7.1. Setup ... 146 6.7.2. Movement ... 147 6.7.3. Distance and Interaction Modality ... 147 6.7.4. Device Usage ... 148 6.7.5. MCV Aspects ... 149 6.8. Chapter Summary & Conclusion ... 149 7. Discussion and Conclusion ... 151 7.1. Summary of the Chapters ... 151 7.2. Contributions ... 152 7.2.1. Beyond Casual Exploration of Personal Data ... 153 7.2.2. Multi-Device Settings ... 154 7.2.3. Spatial Interaction ... 156 7.3. Facets of Mobile Device Interaction for InfoVis ... 157 7.3.1. Mobile Devices ... 158 7.3.2. Interaction ... 160 7.3.3. Data Visualization ... 161 7.3.4. Situation ... 162 7.4. Limitations, Open Questions, and Future Work ... 162 7.4.1. Technical Realization ... 163 7.4.2. Extent of Visual Data Analysis ... 164 7.4.3. Natural Movement in the Spectrum of Explicit and Implicit User Input ... 165 7.4.4. Novel Setups & Future Devices ... 166 7.5. Closing Remarks ... 167 Bibliography ... 169 A. Appendix for ViTiles ... 219 A.1. Examples of Early Sketches and Notes ... 219 A.2. Color Scheme for Visualizations ... 220 A.3. Notes Sheet with Interview Procedure ... 221 A.4. Demographic Questionaire ... 222 A.5. Examplary MCV Images for Explanation ... 223 B. Appendix for Marvis ... 225 B.1. Participants’ Expertise ... 225 B.2. Notes Sheet with Interview Procedure ... 226 B.3. Sketches of Ideas by the Participants ... 227 B.4. Grouped Comments from Expert Interviews (Design Phase) ... 228 C. Appendix for FlowTransfer ... 229 C.1. State Diagram for the LayoutTransfer Technique ... 229 C.2. User Study: Demographic Questionnaire ... 230 C.3. User Study: Techniques Questionnaire ... 231 D. Appendix for Divico ... 235 D.1. User Study: Demographic Information ... 235 D.2. User Study: Expertise Information ... 237 D.3. User Study: Training Questionnaire ... 239 D.4. User Study: Final Questionnaire ... 241 D.5. Study Tasks ... 245 D.5.1. Themed Exploration Phase ... 245 D.5.2. Open Exploration Phase ... 246 D.6. Grouping and Categorization of Protocol Data ... 246 D.7. Usage of Open-Source Tool GIAnT for Video Coding Analysis ... 248 D.8. Movement of Participants (Themed Exploration Phase) ... 250 D.9. Movement of Participants (Open Exploration Phase) ... 254 E. List of Co-supervised Student Theses ... 259