- AutorIn
- Johannes Peter Hofer
- Titel
- Information Synchronization in Networked Visual SLAM
- Zitierfähige Url:
- https://nbn-resolving.org/urn:nbn:de:bsz:14-qucosa2-1015288
- Erstveröffentlichung
- 2026
- Datum der Einreichung
- 29.04.2025
- Datum der Verteidigung
- 21.11.2025
- Abstract (DE)
- Simultaneous Localization and Mapping (SLAM) Systeme erstellen hochpräzise Darstellungen ihrer Umgebung und lokalisieren sich gleichzeitig innerhalb dieser. Die Bedeutung solcher Lösungen wird in Zukunft erheblich zunehmen, da Roboter und XR Anwendungen voraussichtlich in zahlreiche Bereiche unseres täglichen Lebens Einzug halten werden. Da SLAM ausschließlich auf die eigenen Sensoren angewiesen ist, lässt es sich in nahezu allen Einsatzbereichen nutzen. Allerdings ergibt sich durch die hohe Rechenkomplexität von SLAM Verfahren eine erhebliche Herausforderung. In kleinen mobilen Robotern oder Geräten mit begrenztem Platz und Energiespeicher ist es häufig nicht möglich, SLAM Systeme in Echtzeit direkt an Bord auszuführen. Insbesondere Visuelle SLAM (V-SLAM) Systeme, die Kameras als primäre Sensoren verwenden, sind sehr rechenintensiv, was die Ausführung auf mobilen Robotern erschwert. Zudem operieren oft mehrere Geräte gleichzeitig am selben Ort, wodurch eine effiziente Zusammenarbeit und ein verbesserter Betrieb nur durch Informationsaustausch ermöglicht werden können. Vernetzte V-SLAM Systeme bieten hierfür eine Lösung. Sie ermöglichen es, Rechenaufgaben auszulagern und Informationen effizient zwischen mehreren Geräten zu teilen. Da diese Systeme jedoch oft in echtzeitkritischen Anwendungen eingesetzt werden, spielt die Kommunikationslatenz eine zentrale Rolle. Die Systeme müssen deshalb äußerst robust und flexibel gegenüber verschiedenen Netzwerkbedingungen sein. Diese Dissertation untersucht diese Herausforderungen und schlägt Methoden für Single-Agent sowie Multi-Agent V-SLAM Systeme vor, um die Widerstandsfähigkeit gegen hohe Latenzen bei der Synchronisation zwischen Servern und mobilen Geräten zu verbessern. So konnte für Single-Agent Offloaded V-SLAM Systeme durch das Zwischenspeichern von Frames auf mobilen Geräten mithilfe eines Circular Frame Buffers die Wahrscheinlichkeit eines Lokalisierungsverlustes in Benchmark-Tests um bis zu 38% reduziert werden. Diese Methode erlaubt zudem eine verlässlichere Lokalisierung bei höheren Bewegungsgeschwindigkeiten. Ebenso wurde gezeigt, dass in Multi-Agent SLAM Systemen die Zuverlässigkeit der kontinuierlichen Lokalisierung verbessert wird, wenn der Server Informationen von anderen mobilen Geräten während der Kartensynchronisation einbezieht. Dadurch konnte die Wahrscheinlichkeit, die Lokalisierung zu verlieren, im Vergleich zu Single-Agent Systemen um bis zu 62% gesenkt werden. Die Dissertation untersucht weiterhin Möglichkeiten, die Struktur und den Inhalt der übertragenen Informationen zu optimieren, um die Latenzzeit weiter zu reduzieren und den Durchsatz zu erhöhen. Dazu wurden sowohl Analyze-Then-Compress (ATC) als auch Compress-Then-Analyze (CTA) Verfahren vorgestellt und miteinander verglichen. Bei den ATC Methoden wurden die Feature-Representation-Every-Frame (FREF) und Feature-Representation-Only-Keyframes (FROKF) Verfahren entwickelt, die im Gegensatz zu konventionellen Methoden nur lokale Feature-Repräsentationen vom mobilen Gerät an den Server übertragen. Beide Verfahren erzielten signifikante Verbesserungen hinsichtlich der End-to-End-Latenz und des Durchsatzes. Mit FROKF konnte der Datendurchsatz im Vergleich zu herkömmlichen Verfahren um bis zu 85% reduziert werden. Bei Einsatz von FREF sank die End-to-End-Latenz, beispielsweise bei einer Netzwerkdatenrate von 50 Mbps, 1000 Features pro Frame und der Verwendung einer Fitlet-Recheneinheit auf dem mobilen Gerät, um bis zu 80 ms. Dadurch wurde eine echtzeitfähige Übertragung mit 30 Frames pro Sekunde (FPS) möglich. Zusätzlich wurde die H.264-Videoenkodierung als CTA Methode untersucht. Hierbei wurde der Einfluss von Intra-Period sowie Algorithmen zur Entropiekodierung auf Latenz und Durchsatz evaluiert, wobei zur Optimierung für Echtzeitanwendungen insbesondere rechenschwache mobile Geräte, wie ein Raspberry Pi 4B, betrachtet wurden. Es zeigte sich, dass CTA unter diesen Bedingungen bessere Ergebnisse liefert als die genannten ATC Verfahren. Schließlich beschäftigt sich die Dissertation mit Verfahren zur Kompression visueller Informationen, dargestellt als lokale Features in Form binärer Vektoren, um eine effiziente Datenübertragung auch bei stark begrenzten Netzwerkbedingungen zu ermöglichen. Hierzu wurde eine analytische Untersuchung der Feature-Matching-Wahrscheinlichkeit in Abhängigkeit der Größe der Feature-Deskriptoren durchgeführt. Darauf aufbauend wurden weitere Untersuchungen hinsichtlich der Auswirkungen der Deskriptorgröße auf die Systemleistung durchgeführt. Zusätzlich wurde das Orientation Restriction with Frame-to-Frame Projection (ORFFP) Verfahren vorgeschlagen, um die Größe des Feature-Sets gezielt zu begrenzen und somit kleinere Deskriptorgrößen effektiver einsetzen zu können.
- Abstract (EN)
- Simultaneous Localization and Mapping (SLAM) systems create highly accurate representations of their environment and simultaneously localize themselves within it. The significance of these solutions is expected to increase substantially in the future, as robots and XR applications are likely to enter many aspects of our daily lives. Given that SLAM relies exclusively on on-board sensors, it can be deployed across virtually all application domains. However, a significant challenge arises from the computational complexity of SLAM algorithms. In small mobile robots or devices with limited space and energy resources, it is often not feasible to run SLAM systems in real-time directly on-board. In particular, Visual-SLAM (V-SLAM) systems that use cameras as primary sensors are very computationally intensive, making execution on mobile robots difficult. Additionally, multiple devices frequently operate simultaneously in the same area. Efficient collaboration and improved performance require these devices to share information. Networked V-SLAM systems offer a solution to these challenges. They enable computational tasks to be offloaded from mobile devices to dedicated servers and/or facilitate centralized or decentralized sharing of information among multiple devices. Such Offloaded and/or Collaborative SLAM (O/C-V-SLAM) systems thus enable numerous new application scenarios. Nonetheless, since these systems frequently operate in real-time-critical contexts, latency introduced by communication significantly affects their applicability. Consequently, systems must be highly robust and adaptable to various network conditions. This thesis investigates these challenges by proposing and evaluating methods for both single-agent and multi-agent V-SLAM systems to enhance resilience against high latency during information synchronization between servers and mobile devices, thereby improving system reliability. By caching frames on the mobile device using a circular frame buffer, a method was developed to reduce the loss of environmental information caused by synchronization delays between mobile devices and the server. In single-agent offloaded V-SLAM systems, tests using benchmarking sequences showed that this approach reduces the probability of localization failure by up to 38%. Additionally, the method enables more reliable localization at higher movement speeds of the mobile device. Similarly, it was demonstrated that in multi-agent C-SLAM systems, the reliability of continuous localization can be improved when the server incorporates information collected from other mobile devices during map synchronization. Compared to single-agent systems, this collaborative approach reduced the likelihood of localization loss by up to 62%. Building on this, the thesis explores ways to optimize the structure and content of transmitted information to further reduce latency and enhance throughput. Both Analyze-Then-Compress (ATC) and Compress-Then-Analyze (CTA) methods are presented and compared. For ATC methods, the Feature-Representation-Every-Frame (FREF) and Feature-Representation-Only-Keyframes (FROKF) approaches were introduced, which transmit only local feature representations from the mobile device to the server, in contrast to conventional methods. Both methods demonstrated significant improvements regarding end-to-end latency and data throughput. Using FROKF, throughput is reduced by up to 85% compared to the conventional method. With FREF, the end-to-end latency is decreased by up to 80ms, for instance, under conditions of a 50Mbps network data rate, 1000 features per frame, and the use of a Fitlet computing unit on the mobile device. This reduction enables real-time transmission at 30 FPS. Additionally, H.264 video encoding was explored as a CTA method. To optimize this approach for real-time applications, B-frames were disabled, and the impact of intra-period length and entropy coding algorithms on end-to-end latency and throughput was evaluated. It was determined that CTA performs better than the aforementioned ATC methods when employing computationally limited mobile devices, such as a Raspberry Pi 4B. Finally, the thesis examines methods for compressing visual information, represented as local features encoded in binary vectors, in V-SLAM systems, enabling efficient data transmission even under highly constrained network conditions. An analytical study was conducted to examine feature matching probability as a function of feature descriptor size and environment-specific parameters. Based on this analysis, recall values can be derived depending on the size of the feature descriptors. The analytical results were verified through empirical measurements, and additional V-SLAM performance indicators dependent on the feature descriptor size were tested. Furthermore, the Orientation Restriction with Frame-to-Frame Projection (ORFFP) method was proposed to constrain the feature set size, thus improving the applicability of smaller feature descriptor sizes.
- Freie Schlagwörter (EN)
- SLAM, Cooperation, Robotics, Networked Visual SLAM
- Klassifikation (DDC)
- 621
- Klassifikation (RVK)
- ZN 6120
- GutachterIn
- Prof. Dr.-Ing. Dr. h.c. Frank H. P. Fitzek
- Prof. Dr.-Ing. Eckehard Steinbach
- Prof. Dr. Wolfram Burgard
- Den akademischen Grad verleihende / prüfende Institution
- Technische Universität Dresden, Dresden
- Förder- / Projektangaben
- German Federal Ministry of Education and Research 6G-ANNA
ID: 16KISK10 - Version / Begutachtungsstatus
- publizierte Version / Verlagsversion
- URN Qucosa
- urn:nbn:de:bsz:14-qucosa2-1015288
- Veröffentlichungsdatum Qucosa
- 10.06.2026
- Dokumenttyp
- Dissertation
- Sprache des Dokumentes
- Englisch
- Lizenz / Rechtehinweis
CC BY 4.0- Inhaltsverzeichnis
Acknowledgments — iii Zusammenfassung — v Abstract — vii Contents — ix 1. Introduction — 1 1.1 Research Questions of this Thesis — 4 1.2 Publications and Contributions Related to this Thesis — 6 1.3 Outline of this Thesis — 7 2. Background & Related Work — 9 2.1 SLAM Problem Formulation — 10 2.1.1 Preliminaries — 10 2.1.2 Probabilistic SLAM Formulation — 11 2.1.3 Probabilistic SLAM Solutions — 13 2.2 SLAM Architecture — 16 2.2.1 Sensor Types — 17 2.2.2 Visual SLAM Frontend — 19 2.2.3 Visual SLAM Backend — 22 2.3 ORB-SLAM2 — 26 2.3.1 Oriented FAST and Rotated BRIEF (ORB) — 27 2.3.2 Architecture — 28 2.4 SLAM Offloading — 30 2.4.1 Edge-SLAM — 31 2.4.2 Energy Perspective — 35 2.4.3 Challenges in Offloaded SLAM Systems — 36 2.5 Collaborative SLAM — 38 2.5.1 Collaborative SLAM Network Topology — 39 2.6 Data Compression — 43 2.6.1 Throughput Reduction Methods in O/C-V-SLAM — 43 2.7 Benchmarking Sequences — 45 3. Increasing Resilience Against Information Synchronization Delay — 49 3.1 Local Map Gap Modeling — 50 3.2 Circular Frame Buffer to Enhance Map Synchronization — 53 3.2.1 Testbed — 55 3.2.2 Evaluation — 56 3.2.3 Summary — 60 3.3 Increasing Resilience Against Synchronization Delays Through Collaboration — 61 3.3.1 Reliable Agents in Centralized Visual Collaborative SLAM (RAVIC) — 61 3.3.2 Testbed — 66 3.3.3 Evaluation — 67 3.3.4 Summary — 72 4. Comparison of Analyze-Then-Compress Methods in Networked V-SLAM — 75 4.1 Task Distribution and Data Transmission — 76 4.2 Analyze-Then-Compress Methods — 80 4.2.1 Conventional — 80 4.2.2 Feature-Representation-Every-Frame (FREF) — 82 4.2.3 Feature-Representation-Only-Keyframe (FROKF) — 83 4.3 Testbed — 84 4.4 Evaluation — 85 4.4.1 Serialization Influence — 85 4.4.2 Throughput — 86 4.4.3 Latency — 90 4.4.4 Feature Compression — 95 4.5 Conclusion of this Chapter — 100 5. H.264 Compress-Then-Analyze Transmission — 103 5.1 H.264 Design — 104 5.1.1 Image Compression — 105 5.1.2 Video Compression — 106 5.2 H.264 Parameter Adjustment — 106 5.3 Testbed — 107 5.4 Evaluation — 109 5.4.1 Impact of Video Motion on Frame Sizes — 109 5.4.2 Throughput — 110 5.4.3 Latency — 111 5.5 ATC vs. CTA Comparison — 114 5.6 Conclusion of this Chapter — 115 6. Research Agenda for Reducing Feature Descriptor Sizes in Networked Visual-SLAM — 117 6.1 Feature Descriptors — 118 6.2 Developing the Research Agenda: V-SLAM Feature Descriptor Size in Data Association — 120 6.2.1 Novel Model for Probability of Correct Feature Match — 120 6.2.2 Supporting Reduced Feature Descriptor Sizes: Proposed Research Agenda — 125 6.3 Reducing Feature Set Size: ORFFP — 126 6.3.1 Review of ORB-SLAM2 Frame-to-Frame Projection — 126 6.3.2 Orientation Restriction with Frame-to-Frame Projection — 128 6.4 Evaluation Setup — 129 6.4.1 Testbed — 129 6.4.2 V-SLAM Key Performance Indicators & Metrics — 130 6.5 Evaluation Results — 132 6.5.1 Empirical Parameter Estimation for PCFM — 132 6.5.2 Feature Descriptor Size Influence on V-SLAM Performance — 135 6.5.3 Size Reduction of Learned Feature Descriptors — 143 6.6 Summary & Call to Action — 145 6.6.1 Summary of Feature Descriptor Size Trade-offs — 145 6.6.2 Imperatives for Future Research — 149 7. Conclusion and Future Work — 151 7.1 Summary and Key Findings — 151 7.2 Discussion and Future Work — 154 Acronyms — 157 List of Figures — 161 List of Tables — 167 Bibliography — 171 A.1 List of Author’s Publications — 171 A.2 References — 173