Teilprojekt B04

Scan2SAM - Datengetriebene Erzeugung baustatischer Systeme aus 3D-Punktwolken und formalisiertem Wissen zur VPINN-basierten Zustandsprognose

Digitale Zwillinge (DZ) bilden physische Objekte der realen Welt anwendungsfallbezogen ganzheitlich in ein digitales Gegenstück in der virtuellen Welt ab. Ein wesentlicher Aspekt für die umfassende digitale Repräsentation in einem DZ ist die integrative Abbildung verschiedener Eigenschaften des realen Objekts – u.a. geometrische, funktionale und physikalische. Zu diesem Zweck wird das reale Objekt durch verschiedene digitale Modelle (z.B. geometrisch-semantische Modelle (GSM) zur Visualisierung und Datenreferenzierung oder abstrahierte Strukturmodelle für die baustatische Analyse) beschrieben, deren jeweilige Erstellung in der Praxis jedoch in unterschiedlicher Weise erfolgt. Aufgrund der separaten und unabhängigen Generierung der Modelle ist die anschließende enge Integration in einem DZ herausfordernd. Oftmals agieren die Modelle in einem DZ daher nebeneinander, was ihre spätere Kopplung erschwert. 

An dieser stelle setzt das Projekt „Scan2SAM“ an. Ziel ist die Methodischen Grundlagen zur Erzeugung eines Prognosetools zu untersuchen. Das Prognosetool soll es ermöglichen, auf der Grundlage von semantisch segmentierten 3D-Punktwolken zunächst ein Strukturmodell und anschließend ein baustatisches System, durch Anreicherung des Strukturmodells mit Randbedingungen, zur numerischen Untersuchung des Bauwerks automatisch zu erzeugen. Auf Basis dieses baustatischen Systems sowie von SHM-Daten soll mit Hilfe von Variational Physics-Informed Neural Networks (VPINNs) eine Prognose der Steifigkeitsverteilung gemacht werden. Auf Grundlage dieser Prognose können anschließend geschädigte Bereiche im Bauwerk identifiziert werden (siehe Abb. 1).

Konkret setzt sich Scan2SAM die folgenden Ziele:

Z1: Ableitung eines Strukturmodells aus semantisch segmentierten 3D-Punktwolken zur baustatischen Beurteilung bestehender Bauwerke.

Z2: Automatisierte Einbeziehung und Zuordnung von Plan- und Messdaten zur Erzeugung und Verbesserung des baustatischen Systems im Hinblick auf Rand- und Übergangsbedingungen sowie zur Abschätzung von Steifigkeiten des Strukturmodells.

Z3: Entwicklung einer Berechnungsmethode basierend auf VPINNs, die in der Lage ist, auf Basis von Messdaten effektive Steifigkeiten abzuschätzen und die Position von Steifigkeitsminderungen zu progno stizieren, um eine Aussage über Umfang und Lokalisation der Schädigungen zu ermöglichen.

Z4: Entwicklung eines Prognosetools, welches auf Basis von Z1 bis Z3 in der Lage ist, automatisiert das baustatische System abzuleiten, wesentliche geplante Eigenschaften zu schätzen,die Bestandseigenschaften auf Basis von Messdaten zu ermitteln und hieraus einen ggf. vorhandenen Schaden zu quantifizieren und lokalisieren.

Publikationen

[1]Vassilev, H., Laska, M., & Blankenbach, J. (2024). Uncertainty-aware point cloud segmentation for infrastructure projects using Bayesian deep learning. Automation in Construction, 164, 105419. https://doi.org/10.1016/j.autcon.2024.105419

[2]Kellner, M., Vassilev, H., Busch, A., Blaskow, R., Ferrandon Cervantes, M., Poku-Agyemang, K. N., Schmitt, A., Weisbrich, S., Maas, H.-G., Neitzel, F., Reiterer, A., & Blankenbach, J. (2024). Scan2BIM – A Review on the Automated Creation of Semantic-Aware Geometric as-is Models of Bridges. Avn – Allgemeine Vermessungs-Nachrichten, 3, 159–181. https://doi.org/10.14627/avn.2024.3.4

[3]Mansour, M., Martens, J., & Blankenbach, J. (2024). Hierarchical SVM for Semantic Segmentation of 3D Point Clouds for Infrastructure Scenes. Infrastructures, 9(5), 83. doi.org/10.3390/infrastructures9050083

[4]Vassilev,H. Blankenbach J. (2025), Empirischer Vergleich von Deep-Learning-Ansätzen zur semantischen Segmentierung von 3D-Punktwolken auf realen Brückendatensätzen. Avn - Allgemeine Vermessungs-Nachrichten. (under review)