PointSemSeg+ Semantische Segmentierung von Punktwolken mittels Bayesschen Neuronalen Netzen zur Unsicherheitsquantifizierung

Mit dem zunehmenden Einsatz der digitalen Bauwerksinformationsmodellierung (BIM) im gesamten Lebenszyklus steigt gleichzeitig der Bedarf an der BIM-gerechten Dokumentation von Bestandsbauwerken (As-is-Modellierung). Die rasanten technologischen Entwicklungen der letzten Jahre im Bereich der Aufmaßsysteme (z.B. Laserscanner) erlauben heute die effiziente und räumlich hochaufgelöste Bauwerkserfassung in Form von 3D-Punktwolken. Die Ableitung von geometrisch-semantischen as-is Modellen aus den 3D-Punktwolken (Scan to BIM) ist jedoch ein komplexer, mehrstufiger Prozess (vgl. Abb. 1), der durch einen hohen Aufwand und zahlreiche manuelle Arbeitsschritte geprägt ist. Zur Steigerung des Automatisierungsgrads beim Scan to BIM, erscheinen maschinelle Lernverfahren, insbesondere für den wichtigen Schritt der semantischen Segmentierung, äußerst vielversprechend. Besonders tiefe künstliche neuronale Netze (Deep Neural Networks, DNN) sind in der Lage aus großen Mengen an Trainingsdaten komplexe Zusammenhänge zu erlernen und erzielen dadurch heute bereits gute Ergebnisse bei der semantischen Segmentierung von Bauteilen.

Eine wichtige Information für die Folgeschritte (z.B. Geometriefitting) oder auch für die spätere Nutzung der automatisch abgeleiteten Modelle, ist jedoch die Kenntnis der Qualität, da der automatisierte Prozess nie fehlerfrei gelingt. Trotz großer Fortschritte in den letzten Jahren, sind moderne DNN-Architekturen noch nicht in der Lage die Unsicherheit ihrer Ausgaben ausreichend genau zu quantifizieren, was eine bedeutende Einschränkung der Einsatzfähigkeit in realen Anwendungen darstellt. Um die Robustheit und Verlässlichkeit der semantischen Segmentierung von 3D-Punktwolken im Bereich des Infrastrukturbaus zu steigern, werden im Projekt speziell Bayessche Neuronale Netze für die Schätzung der Unsicherheit untersucht.

Das Projekt ist in 5 Arbeitspakete gegliedert:

[AP1] Anforderungsanalyse, Datenerhebung und Vorverarbeitung

• Auswahl repräsentativer Bauteile in Anlehnung an die Nibelungenbrücke Worms
• Datenerhebung mit geodätischen Laserscanner (terrestrisch, UAV), Kamera
• Manuelle Segmentierung und Klassifizierung der Daten (Ground Truth)

[AP2] Sensitivitätsanalyse zur Untersuchung von Punktwolkenmerkmalen

• Analyse von erfassten Merkmalen (u.a. Koordinaten, Farbwerte und radiometrische Information)
• Analyse von abgeleiteten Merkmalen (z.B. lokale Kovarianz, Höhe, Texturmerkmale, etc.)

[AP3] Vorsegmentierung

• Vorsegmentierung mit klassischen Verfahren (z.B. Support Vector Machines, Random Forrests etc.)

[AP4] Bayessche Neuronale Netze zur semantischen Segmentierung von Punktwolken

• Erweiterung von bekannten Netzwerkarchitekturen mit Bayesschen Schichten
• Untersuchung des Einflusses von den verschiedenen Merkmalen aus AP2
• Zuverlässigkeitsuntersuchung der geschätzten Unsicherheit

[AP5] Evaluierung

• Erstellung eines Demonstrators ausschließlich anhand von Deep Learning-Verfahren, um die Tauglichkeit unter Berücksichtigung der Unsicherheit in der Praxis zu bewerten.