Wissenschaft: UAV-Photogrammetrie zur Qualitätssteuerung im Tagbau

Moderne Multi-View-Rekonstruktion und Methoden des maschinellen Lernens zur Charakterisierung von gesprengtem Hauwerk

Die Gewinnungssprengung im Tagebau stellt die erste Stufe der Zerkleinerungskette im Bergbau dar und hat naturgemäß einen starken Einfluss auf alle nachgeschalteten Prozesse, wie das Laden, Fördern und die weitere Aufbereitung. Schnelle Informationen über die Eigenschaften des gesprengten Hauwerks ermöglichen eine zielgerichtete und effiziente Produktionsplanung. Kenntnisse über die erreichte Zerkleinerung ermöglichen außerdem Anpassungen in den weiteren Schritten bzw. dadurch können auch Rückschlüsse auf zukünftige Gewinnungssprengungen bzw. deren Planung und Auslegung gezogen werden (Mosher (2011)).

 

Die Bestimmung der Hauwerkseigenschaften einer modernen Gewinnungssprengung mittels – im Labormaßstab gängiger – Siebanalyse ist weder praktisch noch wirtschaftlich sinnvoll durchführbar, weshalb schon seit einiger Zeit bildbasierende Verfahren in verschiedenen Formen zum Einsatz kommen. Die Photogrammetrie, als flächiges und berührungsloses Verfahren, ist in der Lage, die Szene mit sehr hohem Detailgrad zu erfassen, wobei insbesondere bei der Analyse von gesprengtem Hauwerk Abschattungen sowie teilweise und vollständige Überlappung ein großes Problem darstellen. Aufgrund der stetigen Weiterentwicklung unbemannter Flugsysteme (unmanned aerial vehicle, UAV) gemeinsam mit modernen Methoden der bildbasierenden 3D-Rekonstruktion (Structure from Motion, SfM) kommen vergleichbare Verfahren mittlerweile in vielen Bereichen der Geodatenerfassung (Inspektion, Massenermittlung, Nachtragsvermessung, …) zum Einsatz (Briese et al. (2013)). Sie schließen die (geometrische) Lücke zwischen Luftbildphotogrammetrie und terrestrischen Methoden und führen – hervorgerufen durch die weitestgehende Automatisierung der Auswertung – gleichsam zu einer Wiederbelebung bildbasierender Vermessungsverfahren in der Praxis. Im Gegensatz zu vielen herkömmlichen Messsystemträgern (Flugzeuge, Satelliten, Fahrzeuge oder Schiffe) zeichnen sich UAVs vor allem durch die Möglichkeit der schnellen, einfachen, sicheren und verhältnismäßig kostengünstigen Datenerfassung aus (Rumpler et al. (2014)), was in weiterer Folge den Schluss nahe legt, die „neu gewonnene Perspektive“ auch zur Beurteilung von Sprengergebnissen zu nutzen.

Im Rahmen eines internationalen Forschungsprojekts beschäftigt sich die Montanuniversität Leoben gemeinsam mit weiteren Forschungs- und Industriepartnern aus dem In- und Ausland mit dem Potential unbemannter Flugsysteme zur Analyse von gesprengtem Hauwerk.

Charakterisierung des Hauwerks mit maschinellem Lernen

Im Rahmen des Projektes wird die metrische 3D-Rekonstruktion mit maschinellem Lernen verbunden. Ziel ist es, die Korngrößenverteilung vollautomatisch zu bestimmen sowie Knäpper und Bereiche unterschiedlicher Zerkleinerung zu detektieren. Teil dieser Aufgabe ist, die Umrisse einzelner Gesteinsfragmente richtig zu erkennen und zu interpretieren. Da reine Farbbilder wegen Schattenwurfs nicht immer gut dafür geeignet sind, wird auch die Tiefen-Information aus der 3D-Rekonstruktion (siehe 2b) dazu verwendet. Aufgrund der Tatsache, dass die Korngrößenbestimmung und Knäpperdetektion metrische Aufgaben sind, ist eine metrische Rekonstruktion unbedingtes Erfordernis. Zur Segmentierung der einzelnen Körner werden neuronale Netze verwendet. Diese Netzwerke sind in der Lage, auf Basis „vorhandener Erfahrung“ die Unterschiede zwischen scheinbaren Kanten (z. B. durch Schattenschlag) von echten Objektumrissen zu unterscheiden (Xie und Tu (2015)). Um diese Unterscheidung treffen zu können, müssen die Netzwerke allerdings speziell für diese Aufgabe trainiert werden. Dabei muss jedoch nicht immer alles von Null weg gelernt werden. Mit Transfer Learning (siehe z. B. Yosinski et al. (2014)) können Netzwerke, die für eine bestimmte Aufgabe mit großen Mengen an Trainingsdaten (z. B. Bild-Klassifikation) trainiert wurden, mit nur geringen Mengen an zusätzlichen Trainingsdaten für andere Aufgaben adaptiert werden. Diese Eigenschaft soll genutzt werden, um die benötigte Menge an Trainingsdaten möglichst gering zu halten.

Datenakquisition

Zur Generierung der angesprochenen Trainingsdaten werden grundsätzlich zwei Stoßrichtungen parallel verfolgt. Neben der Auswertung realmaßstäblicher Daten von Gewinnungssprengungen im Tagbau kommt vor allem aufgrund der einfacheren Reproduzierbarkeit und der Möglichkeit, eine exakte „Ground Truth“ zu ermitteln, auch Modellversuchen im Maßstab 1:25 eine hohe Bedeutung zu. Die Modellversuche ermöglichen eine reproduzierbare Wiederholung ein und derselben „Sprengung“ und dieselbe zugrunde liegende Körnung kann problemlos mehrmals „geworfen“ und photogrammetrisch erfasst werden. Diese Anordnung ermög-licht einerseits eine fundierte Analyse hinsichtlich Repräsentativität der sichtbaren Oberfläche für das gesamte Hauwerk und andererseits wird die „Verschiedenartigkeit“ mehrerer Sprengungen mit vergleichbarem Ergebnis simuliert und in der Algorithmenentwicklung berücksichtigt.

 

In beiden Fällen erfolgt die Bildaufnahme mit einer Sony Alpha 6000 Systemkamera mit einer Auflösung von 24Mp und einer fixen Brennweite von 16 mm, wobei sowohl im Real- als auch im Modellmaßstab automatisch detektierbare „fiducial Marker“ als Passpunkte zur Skalierung und Georegistrierung zum Einsatz kommen. Durch die Verwendung von zerkleinertem Material vom Steirischen Erzberg – wo auch die realmaßstäblichen Untersuchungen durchgeführt werden – wird die Vergleichbarkeit der Modellversuche mit den Befliegungen sichergestellt und die Modelldaten können direkt auch als Trainingsdaten für die Algorithmen des maschinellen Lernens herangezogen werden.

 

Foto: Aufbau des Modellversuchs zur Erzeugung von Trainingsdaten inklusive Ground Truth-Information.

Bild oben: Beispiel einer Luftbildaufnahme. Das Bild links zeigt das Farbbild einer Luftbildaufnahme des Hauwerks. Im unteren Teil des Bildes ist außerdem ein automatisch detektierbarer Referenz-Punkt erkennbar. Das Bild rechts zeigt ein farbkodiertes Tiefenbild, welches mit Multi-View-Stereo erstellt wurde. Grüne Objekte sind näher als rote. Knäpper und größere Fragmente sind im Tiefenbild sehr gut erkennbar.


Zusammenfassung und Ausblick

Unbemannte Flugsysteme in Verbindung mit leistungsstarken und automatisierten 3D-Bildauswertungen haben in den letzten Jahren einen nicht mehr zu übersehenden Stellenwert in der bergmännischen Vermessung erreicht. Aufgrund der Möglichkeit der raschen, sicheren und vollständigen Datenerfassung sollen vergleichbare Systeme jedoch zukünftig nicht nur zur Ableitung von Geometrieinformationen, sondern auch für spezielle bergtechnische Anwendungen, wie z. B. zur Charakterisierung von gesprengtem Hauwerk, eingesetzt werden. Sprenganlagen unterschiedlicher Größe können ohne signifikanten Mehraufwand rasch aufgenommen werden, und die abgeleiteten, hoch aufgelösten und vor allem dreidimensionalen Informationen bilden eine wertvolle Grundlage zur Beurteilung der Sprengergebnisse.


Neben einer neuen Trägerplattform sind jedoch auch signifikante Weiterentwicklungen in der Datenanalyse- und Bearbeitung von Nöten, um robuste Aussagen zu generieren. Die beschriebene Verbindung aus photogrammetrischer Erfassung und maschinellem Lernen soll daher die Belastbarkeit und Reproduzierbarkeit der Ergebnisse erhöhen und zur Entwicklung eines weitestgehend automatisierten Systems beitragen, das mit einem Minimum an menschlicher Interaktion auskommt.

Danksagung

Die präsentierten Arbeiten werden durch die EU Horizon2020 Forschungs- und
Innovationsprogramme unter Grant agreement No 730294 („Sustainable Low Impact Mining solution for exploitation of small mineral deposits based on advanced rock blasting and environmental technologies“, SLIM) gefördert.

Dipl.-Ing. Alexander Tscharf
Lehrstuhl für Bergbaukunde, Bergtechnik und Bergwirtschaft, Montanuniversität Leoben

 

Bilder: © A. Tscharf, Montanuniversität Leoben

Top