- Titel
- 3D-Digitalisierung von Industrieanlagen zur anschließenden Herstellung passgenauer Dämmlösungen
- Zitierfähige Url:
- https://nbn-resolving.org/urn:nbn:de:bsz:14-qucosa2-934128
- Erstveröffentlichung
- 2024
- Datum der Einreichung
- 01.03.2024
- Datum der Verteidigung
- 16.07.2024
- Abstract (DE)
- Im Bereich der Industrieisolierung ist das Handaufmaß gängige Praxis, um Rohrleitungsgeometrien zu erfassen und anschließend eine passende Dämmung zu fertigen. Laserbasierte Messverfahren (LiDAR) aus dem geodätischen Bereich konnten sich in der Industrieisolierung nicht durchsetzen. Trotz verschiedener Automationsansätze ist die Modellierung auf Basis der Punktwolken mit Standardsoftware aufwändig und nur geschulten Anwendern vorbehalten. Ergänzt wird diese Tatsache um die Problematik teurer Hardwarekosten. Photogrammetrische Ansätze bilden hierzu eine kostengünstige Alternative. Zugehörige Rekonstruktionsverfahren für Rohrleitungen existieren bereits, sind jedoch wenig automatisiert. In dieser Arbeit werden daher die Automationsmöglichkeiten für eine photogrammetrische Rekonstruktion von Rohrleitungen im industriellen Umfeld thematisiert. Der Forschungsbeitrag dieser Arbeit kann in drei Schwerpunkte gegliedert werden: a) Automationsansätze auf Basis von Objektwissen, b) Automationsansätze mittels Deep Learning und c) ein Ausgleichungsverfahren für Aufnahmen eines Unmanned Aerial System (UAS) zur simultanen Bildorientierung und Rekonstruktion von Rohren im Außenbereich in Anlehnung an eine Bündelblockausgleichung. Ausgehend von bekannten Rohrdurchmessern aus den Normungstexten wird zunächst für eine Kamerakonstellation mit bekannter Orientierung eine abgewandelte Art der Epipolargeometrie für Zylinder präsentiert. Diese erlaubt die Einschränkung des Suchbereichs in den Bildern und kann somit zur Detektion von Zylindern beitragen. Die Suche von Flanschen und Bögen erfolgt über bereits rekonstruierte Objekte. Eine Alternative dazu stellt die Detektion und Rekonstruktion der Rohrleitungsbauteile mithilfe von Deep Learning und Instanzsegmentierung in den Bildern dar. Hierzu werden verschiedene Modelle trainiert und Berechnungsverfahren implementiert. Die Optimierung der Rekonstruktion sowie die Integration des vorhandenen Objektwissens gelingt mithilfe eines Ausgleichungsansatzes. Die entwickelte Methodik wird schließlich für den Einsatz an UAS-Aufnahmen adaptiert. Das Ausgleichungsverfahren wird dazu um die Schätzung der Orientierungsparameter erweitert. Für eine automatisierte Berechnung können die mittels Deep Learning detektierten Rohre als Eingabedaten verwendet werden. Die einzelnen Forschungsbeiträge und neu entwickelten Ansätze werden sowohl an realen Daten zur Ermittlung der Robustheit, wie auch im Rahmen von Labortests zum Zwecke eine Genauigkeitsbeurteilung untersucht. Die Automation anhand von Objektwissen bietet sich vor allem für einfachere Aufnahmen an. Hinsichtlich der Genauigkeit sind die Ergebnisse nach der Ausgleichung mit einer manuellen Rekonstruktion beziehungsweise einer LiDAR-Messung vergleichbar. Bei komplexeren Bildern empfiehlt sich dagegen die Detektion und Rekonstruktion mittels Instanzsegmentierung. Rohre, Flansche und Bögen lassen sich mit einer Erkennungsrate von knapp 60 % gut detektieren und mit einer Genauigkeit von circa 5 mm berechnen. Gegenüber der Rekonstruktion durch Objektwissen ist die Berechnung außerdem unabhängig von anderen Objekten möglich. Eine Aufnahme mittels UAS ist besonders für größere Objekte geeignet. Die erweiterte Ausgleichung zur Bildorientierung liefert in Bezug auf die Orientierungsparameter etwas schlechtere Werte als eine Berechnung über Passpunkte. Nichtsdestotrotz werden, sofern keine groben Abweichungen, zum Beispiel aufgrund von mehrdeutigen Kanten in den Bildern vorliegen, Genauigkeiten von 5-10 mm erreicht. Die Erfüllung der Genauigkeitsanforderungen für den eingangs erwähnten Einsatz in der Industrieisolierung ist damit gegeben.
- Abstract (EN)
- In the field of industrial insulation, manual measurement of pipe geometries is common practice in order to produce exactly fitting insulation. Laser-based measurement methods (LiDAR) from the geodetic sector have not been able to establish themselves in industrial insulation. Despite various automation approaches, modeling on the basis of point clouds with standard software is time-consuming and reserved for skilled users only. This fact is compounded by the problem of expensive hardware costs. Photogrammetric approaches are a cost-effective alternative. Reconstruction methods for pipelines already exist, but are not very automated. This thesis therefore focuses on the automation possibilities for photogrammetric reconstruction of pipelines in an industrial environment. The research contribution of this work can be divided into three main areas: a) automation approaches based on object knowledge, b) automation approaches using deep learning and c) an adjustment method for UAS imagery for simultaneous image orientation and reconstruction of pipes similar to a bundle block adjustment. Based on known pipe diameters from the standardization texts, a modified type of epipolar geometry for cylinders is first presented for a camera constellation with a known orientation. This allows the restriction of the search area in the images and can thus contribute to the detection of cylinders. Flanges and elbows are searched for using already reconstructed objects. Alternatively, pipeline components can be detected in the images using deep learning and instance segmentation. Various models were trained for this purpose. The 3D geometry can then be derived directly from the images. An adjustment approach is used to optimize the reconstruction and to integrate the existing object knowledge. Finally, the developed methodology is adapted for use on UAS imagery. The adjustment is extended to estimate the orientation parameters. For this purpose, the detected pipes can serve as input data to automate the calculation. The individual research contributions and newly developed approaches were examined both using real data to determine robustness and in laboratory tests to assess accuracy. Automation based on object knowledge is particularly suitable for simpler images. In terms of accuracy, the results after the adjustment are comparable with manual reconstruction or LiDAR measurements. For more complex images, however, detection and reconstruction using instance segmentation is recommended. Pipes, flanges and elbows in particular can be recognized well with a precision of almost 60 % and can be calculated with an accuracy of approx. 5 mm Compared to reconstruction using object knowledge, calculation is also possible independently of other objects. UAS imagery is particularly suitable for larger objects. The extended adjustment for image orientation provides slightly worse values for the orientation parameters than a calculation using ground control points. Nevertheless, an accuracy of 5-10 mm can be achieved, provided there are no gross deviations, for example due to ambiguous edges in the images. This therefore meets the accuracy requirements for the aforementioned use in industrial insulation.
- Forschungsdatenverweis
- Automation der Anlagenvermessung -Potenziale und Anwendungsmöglichkeiten von KI und UAS
Link: https://www.researchgate.net/publication/382642317_Automation_der_Anlagenvermessung_-Potenziale_und_Anwendungsmoglichkeiten_von_KI_und_UAS - Automated pipeline reconstruction using deep learning & instance segmentation
DOI: 10.1016/j.ophoto.2023.100043
Link: https://www.sciencedirect.com/science/article/pii/S2667393223000145 - Automation Strategies for the Photogrammetric Reconstruction of Pipelines
DOI: 10.1007/s41064-023-00244-0
Link: https://link.springer.com/article/10.1007/s41064-023-00244-0 - PhoTo3D - 3D-Digitalisierung von Industrieanlagen zur Herstellung passgenauer Dämmlösungen
Link: https://www.researchgate.net/publication/367045605_PhoTo3D_-_3D-Digitalisierung_von_Industrieanlagen_zur_Herstellung_passgenauer_Dammlosungen - Freie Schlagwörter (DE)
- BIM, Deep Learning, Photogrammetrie, Rohrleitungen, UAV
- Klassifikation (DDC)
- 526
- Klassifikation (RVK)
- RB 10232
- GutachterIn
- Prof. Dr. Michael Möser
- Prof. Dr. Stefan Knoblach
- Prof. Dr. Volker Schwieger
- BetreuerIn Hochschule / Universität
- Prof. Dr. Michael Möser
- BetreuerIn - externe Einrichtung
- Prof. Dr. Stefan Knoblach
- Den akademischen Grad verleihende / prüfende Institution
- Technische Universität Dresden, Dresden
- Förder- / Projektangaben
- Bundesministerium für Wirtschaft und Klimaschutz Zentrales Innovationsprogramm Mittelstand
Photogrammetrische 3D-Digitalisierung von Industrieanlagen zur Herstellung kostengünstiger und performancestarker Dämmlösungen
(PhoTo3D)
ID: 4662503DF9 - Version / Begutachtungsstatus
- publizierte Version / Verlagsversion
- URN Qucosa
- urn:nbn:de:bsz:14-qucosa2-934128
- Veröffentlichungsdatum Qucosa
- 23.09.2024
- Dokumenttyp
- Dissertation
- Sprache des Dokumentes
- Deutsch
- Lizenz / Rechtehinweis
- Inhaltsverzeichnis
1 Einführung 1 1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Stand der Forschung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2.1 Rohrleitungsvermessung mittels LiDAR . . . . . . . . . . . . . . . . . . . . . . 3 1.2.2 Rohrleitungsvermessung mittels Photogrammetrie . . . . . . . . . . . . . . . . 6 1.2.3 Rohrleitungsvermessung mittels kombinierter Verfahren . . . . . . . . . . . . . 9 1.2.4 Rohrleitungsvermessung mittels UAS . . . . . . . . . . . . . . . . . . . . . . . 9 1.2.5 Deep Learning in der Photogrammetrie . . . . . . . . . . . . . . . . . . . . . . 10 1.2.6 Alternative photogrammetrische Orientierungsverfahren . . . . . . . . . . . . . 11 1.2.7 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.3 Zielsetzung und Forschungsfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.4 Aufbau der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 2 Grundlagen 17 2.1 Bauteile im Anlagenbau . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1.1 Rohre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1.2 Flansche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1.3 Formstücke . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.1.4 Armaturen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.1.5 Druckbehälter und -kessel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.2 Drehung mittels Quaternionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.3 Ausgewählte photogrammetrische Grundlagen . . . . . . . . . . . . . . . . . . . . . . . 25 2.3.1 Äußere Orientierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.3.2 Innere Orientierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.3.3 Abbildung eines Punktes ins Bild - Kollinearitätsgleichungen . . . . . . . . . . 26 2.3.4 Verfahren zur Lösung der Inneren und Äußeren Orientierung . . . . . . . . . . . 26 2.4 Abbildung von 3D-Volumenkörpern . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 2.4.1 Projektion von Kegeln und Zylindern . . . . . . . . . . . . . . . . . . . . . . . 28 2.4.2 Projektion von Tori . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 2.4.3 Sichtbarkeitsanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.5 Extraktion von Bildkanten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 2.6 Bildbasierte Zylinderrekonstruktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3 Entwicklung eines Messsystems zur Rohrleitungsrekonstruktion 35 3.1 Anforderungen an das System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 3.2 Aufbau und Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.3 Systemkalibrierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 3.4 Arbeitsablauf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.5 Rekonstruktionsverfahren für Rohre und Fittings . . . . . . . . . . . . . . . . . . . . . 39 3.5.1 Rohre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3.5.2 Reduzierstücke . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.5.3 Bögen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.5.4 Flansche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.5.5 T-Stücke . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.5.6 Armaturen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.5.7 Behälter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 3.6 Optimierung der Rekonstruktion mittels Ausgleichungsrechnung . . . . . . . . . . . . . 44 3.6.1 Formulierung der Beobachtungsgleichungen . . . . . . . . . . . . . . . . . . . 44 3.6.2 Definition der Unbekannten . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 3.6.3 Funktionale Modellierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.6.4 Prozessierung der Rohrleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 4 Automationsansätze durch Objektwissen 55 4.1 Rekonstruktion von Zylindern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.1.1 Vollautomatischer Ansatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.1.2 Halbautomatischer Ansatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 4.2 Rekonstruktion von Bögen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.3 Detektion von Flanschen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 4.4 Objektbasierte Transformation mehrerer Standpunkte . . . . . . . . . . . . . . . . . . . 62 4.4.1 Zuordnung korrespondierender Rohrbauteile . . . . . . . . . . . . . . . . . . . 63 4.4.2 Berechnung der Vortransformation . . . . . . . . . . . . . . . . . . . . . . . . . 64 4.4.3 Finale Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 4.5 Ergebnisse und Genauigkeitsbetrachtung . . . . . . . . . . . . . . . . . . . . . . . . . . 66 4.5.1 Zylinderrekonstruktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 4.5.2 Bogenrekonstruktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4.5.3 Flanschrekonstruktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4.5.4 Automatische Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 4.6 Zwischenfazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 5 Automation mittels Deep Learning und Instanzsegmentierung 75 5.1 Objekterkennung mittels Instanzsegmentierung . . . . . . . . . . . . . . . . . . . . . . 75 5.1.1 Übersicht über die verschiedenen Modelle . . . . . . . . . . . . . . . . . . . . . 75 5.1.2 Eigene Implementierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 5.2 Rekonstruktion von Rohren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 5.3 Rekonstruktion von Flanschen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 5.3.1 Strategie für das Labeln der Bilder . . . . . . . . . . . . . . . . . . . . . . . . . 83 5.3.2 Prozessierung und Verschneidung der Masken . . . . . . . . . . . . . . . . . . . 84 5.4 Rekonstruktion von Bögen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 5.5 Ergebnisse und Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 5.5.1 Erkennung von Rohren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 5.5.2 Rekonstruktion von Rohren . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 5.5.3 Erkennung von Flanschen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.5.4 Rekonstruktion von Flanschen . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.5.5 Erkennung von Bögen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 5.5.6 Rekonstruktion von Bögen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 5.6 Zwischenfazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 6 Objektaufnahme mittels UAS 107 6.1 Zylinderbasierte Bündelausgleichung zur Orientierung und Rekonstruktion . . . . . . . 109 6.1.1 Szenario 1: Bildaufnahme mit einer GNSS-Einzellösung und Passpunkten . . . . 110 6.1.2 Szenario 2: Aufnahme mit differentiellem GNSS und ohne Verknüpfungspunkte 114 6.2 Testmessungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 6.2.1 Feldtest in einer Industrieanlage . . . . . . . . . . . . . . . . . . . . . . . . . . 116 6.2.2 Genauigkeitsuntersuchung im Labor . . . . . . . . . . . . . . . . . . . . . . . . 119 6.3 Ergebnisse und Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 6.3.1 Genauigkeit der Bildorientierung im Feldversuch . . . . . . . . . . . . . . . . . 120 6.3.2 Genauigkeit der Rekonstruktion im Feldversuch . . . . . . . . . . . . . . . . . . 122 6.3.3 Qualität der Näherungswerte für die Bildorientierung . . . . . . . . . . . . . . . 124 6.3.4 Genauigkeitsuntersuchung im Labor . . . . . . . . . . . . . . . . . . . . . . . . 125 6.4 Zwischenfazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 7 Zusammenfassung und Ausblick 131 7.1 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 7.2 Potenziale für zukünftige Forschungsarbeiten . . . . . . . . . . . . . . . . . . . . . . . 134 7.3 Ausblick zur Integration der Daten in den Fertigungsprozess . . . . . . . . . . . . . . . 135 Literaturverzeichnis 137