Die Umstellung von reaktiven hin zu präskriptiven Instandhaltungsstrategien für den Erhalt und die Lebensdauerverlängerung von Brückenbauwerken erfordert neben modernen Erfassungs- und Messtechnologien auch die strukturierte Verarbeitung und gezielten Zugriff auf die Bestandsdaten und die Inspektionshistorie der Bauwerke. So bergen die über Jahrzehnte gesammelten Informationen immenses Wissen über Brückenzustände (bspw. „ein Wasserschaden an der linken, unteren Ecke des vorderen Widerlagers“), Degradationsprozesse und Schadensmuster, mit dessen Hilfe sich Zustandsindikatoren ableiten und Prognosemodelle erstellen lassen (Abb.: 1). Ein Rückblick auf vergangene Instandhaltungsprozesse ermöglicht es zudem auch, aus diesen zu lernen und die Auswirkungen von bestimmten Maßnahmen auf die Lebensdauer von Brücken zu analysieren und so Handlungsempfehlen zu optimieren. Zudem würde eine automatische und systematische Erschließung von Bestandsdaten eine maschinenlesbare Durchsuchbarkeit der Daten ermöglichen und das so oft rein Personen- oder projektbezogene Wissen sichern.

Bestandsdaten zu Brückenbauwerken liegen jedoch nur in semi- oder unstrukturierter Form vor und können nur von qualifiziertem Personal gesichtet und zusammen mit den restlichen Bauwerksdaten (BIM-Modelle, Messdaten, Punktwolken etc.) in eine analytische Gesamtsicht zusammengeführt werden. Eine über mehrere tausend Brücken hinweg gehende Querschnittsanalyse von Bestandsdaten zur Erkennung von Zusammenhängen ist jedoch auch für Fachpersonal nicht leistbar und erfordert umso mehr eine explizite, maschinenlesbare Repräsentation der kontextualisierten Daten und ihrer Relationen untereinander.

Über Jahrzehnte von unterschiedlichen KMUs durchgeführte Bauwerksbeschreibungen, Schadensdokumentation und Zustandsmessungen haben zu einer fragmentierten, heterogenen Datengrundlage mit hohem Rauschen geführt. Inspektionsdaten werden bundesweit mehrheitlich in einer relationalen Datenbank dokumentiert (SIB-Bauwerke) (WPM Ingenieure GmbH, 2020), welche mit vordefinierten Textblöcken und impliziter Verortung von Schadensbereichen („unten links“, „dritter Balken von links“ etc.) arbeitet. Konstruktionspläne aber auch Sanierungspläne sind analog oder digital gezeichnet worden, und nutzen projektspezifische Bauwerksreferenzen (bspw. „Achse A, Ansicht Richtung Aachen“). Hinzu kommen Fotodokumentationen von Schäden, deren Verortung nur von Projektbeteiligten identifiziert werden kann oder durch Beschreibungen erfolgt, die keiner konkreten Vorlage entsprechen. 

Zudem sind viele Bauwerksinformationen in reinen freitextlichen Dokumenten enthalten, wie bspw. Prüfberichte, Maßnahmenbeschreibungen und ausführliche, textliche Schadensdokumentationen.

Für die systematische Verarbeitung und Auswertung dieser Daten ist es daher essentiell, die bisher oft nur implizit räumlich in Relation stehenden heterogenen Daten explizit und maschinenlesbar zu verknüpfen und somit ganzheitlich analysierbar zu machen (Abb.: 2).

In der ersten Phase des SPP-Teilprojektes RaumLink wurde untersucht, wie die räumliche Überlagerung von heterogenen Daten dazu dienen kann, die Verknüpfungen zwischen den verschiedenen Ressourcen automatisch herzuleiten und die Informationen einander zuzuordnen. Dokumente, die denselben (Projekt-)Raum einnehmen, gehören in unterschiedlichen Abstufungen zusammen, beschreiben dasselbe Objekt (Bauteil, Schaden), Teilaspekte dessen oder liefern Kontextinformationen.

Dazu wurden regelbasierte, formal-logische Ansätze und symbolische Wissensmodellierung erarbeitet (Göbels & Beetz, 2024; Schulz & Beetz, 2024), um die heterogenen Datensätze einer Brücke in einem übergeordneten, dreidimensionalen Projektraum abzubilden (Schulz et al., 2023), ihre räumlichen Überlagerungen zu berechnen und so explizite Verknüpfungen zwischen den Datensätzen herzustellen (Göbels et al., 2024). Es wurde ein grundlegendes räumliches Metadatenschema entwickelt und dokumententyp- und inhaltsbasierte Regeln zur Anwendung des Metadatenschemas erarbeitet. Schließlich werden diese Daten in einer räumlichen, containerbasierten Umgebung wie bspw. Common Data Environments (CDE) (Schapke et al., 2018; Werbrouck, 2024) oder in digitalen Archiven (bspw. ICDD) (Senthilvel, 2024) und verlinkt.

Angesichts der hohen Individualität von (Bestands-)Bauwerksdaten stößt die symbolische Verarbeitung jedoch an ihre Grenzen bezüglich der Skalierbarkeit und ihres Umgangs mit inkonsistenten, manuell erstellten Daten. Während für die (semi-)strukturierten SIB-Bauwerke Daten ein vollautomatischer Verortungsprozess erzielt werden konnte, ist die Typ-Kategorisierung und Extraktion von räumlichen Referenzen aus unstrukturierten Daten (Texten, Plänen und Fotos) bisher nur manuell erfolgt. Die rein regelbasierte Verarbeitung von Daten birgt zudem das Risiko eines Informationsverlusts, da sie nur die Informationen erfasst, die festgelegten Regeln entsprechen. Daten, die außerhalb dieser streng formalisierten Regeln liegen, werden ignoriert und führen zu Lücken im Wissensgraphen, was logische Schlussfolgerungen und Ableitungen behindern kann.

Das Vorhaben Spatio-B-RAG konzentriert sich auf die Entwicklung eines Retrieval-Augmentation-Generators (RAG), der domänenspezifisches, räumliches Wissen nutzt, um prädiktive Schadensbeurteilungen von Brückenbauwerken zu ermöglichen. Durch die Verknüpfung heterogener, multimodaler Daten wie Inspektionsberichte, Baupläne, Fotodokumentationen und Punktwolken in einem räumlichen Kontext wird ein dynamisches Wissenssystem geschaffen. Ausgangsbasis sind die räumlich annotierten Wissensgraphen als Ergebnis des RaumLink Projektes, in denen mithilfe der ReLoc Ontologie semistrukturierte Brückeninspektionsdaten der SIB-Bauwerke-Datenbank auf Grundlage der Anweisung Straßeninformationsbank, Teilsystem Bauwerksdaten (ASB-ING) entwickelt und an der Referenzbrücke in Worms erprobt wurden. Diese dienen als Trainingsdaten für domänenspezifische RAGs für Bauwerksmodelle. Der RAG wird mithilfe von symbolischen und subsymbolischen Methoden, darunter Named Entity Recognition (NER) mit BERT, multimodale Modelle wie VisualBERT und LXMERT sowie Graph Neural Networks (GNNs), entwickelt, um Text-, Bild- und 3D-Daten effektiv zu verarbeiten. Die Integration räumlicher Relationen und domänenspezifischer Ontologien ermöglicht es, die Informationen effizient abzurufen und als Grundlage für Prognosen und Instandhaltungsentscheidungen zu nutzen.