Einleitung

Die Infrastrukturwartung von Strassen, Brücken und Staumauern bietet grosses Potenzial für den Einsatz von künstlicher Intelligenz (KI). KI-basierte Bilderkennung kann kleinste Risse oder Beschädigungen systematisch und automatisiert erfassen. Infrastrukturbetreiber führen aktuell die meisten Inspektionen noch manuell durch. Im Rahmen der Innovation-Sandbox für KI haben IBM Research und pixmap gmbh auf dem Militärflugplatz in Dübendorf ein Pilotprojekt umgesetzt, um das Potenzial von KI-basierten Inspektionen zu beurteilen. Eine Drohne hat qualitativ hochwertiges Bildmaterial der Landebahn erstellt, um mithilfe von KI-Modellen automatisiert Beschädigungen zu erkennen. Die Erkenntnisse werden dazu verwendet, den Einsatz von KI bei der Inspektion und Wartung von weiteren Infrastrukturelementen voranzutreiben. Das Bildmaterial wird anderen Innovationsakteuren zur Verfügung gestellt. Die Kooperation zwischen Verwaltung, Militär, Forschung und Privatwirtschaft leistet mit diesem Projekt einen Beitrag zur Weiterentwicklung des internationalen KI-Standorts im Metropolitanraum Zürich.

I. Herausforderungen manueller Inspektionen

Die Wartung und Inspektion von Infrastrukturelementen wie Strassen, Brücken und Staumauern ist von immenser Bedeutung für die Sicherheit der Bevölkerung und die Aufrechterhaltung von wirtschaftlichen Aktivitäten. Infrastrukturbetreiber stehen allerdings vor einer enorm grossen Aufgabe mit hoher Komplexität: Die Länge des Strassennetzes in der Schweiz beträgt über 84 000 km.¹ Mehr als 40 000 Brücken überspannen Schluchten, Täler und Flüsse.² Über 200 Talsperren und Tausende kleinere Stauanlagen machen die Schweiz zum Land mit der höchsten Staudammdichte.³ Wie kann diese riesige Menge an Infrastrukturelementen effizient überwacht werden? Viele Inspektionsverfahren basieren auf der manuellen Erhebung von Rissen, Beschädigungen und anderen Unregelmässigkeiten des Materials. Die Folge ist eine Reihe von Herausforderungen, die von mangelnder Effizienz bis hin zu menschlichen Fehlern reichen. Das Potenzial der Automatisierung durch KI blieb bisher ungenutzt. Kapitel 1 geht zuerst auf die vier Kernherausforderungen manueller Inspektionen ein und erläutert danach das Potenzial der automatisierten Inspektion durch Bilderkennung.

Mangelnde Effizienz

Bei manuellen Inspektionen muss ein Mensch physisch die gesamte Fläche einer Infrastruktur, bspw. von Landebahnen oder Strassenabschnitten, überprüfen. Das bedeutet nicht nur, dass manuelle Inspektionen viel Zeit und personelle Ressourcen in Anspruch nehmen, sondern auch, dass die Instandhaltungszyklen oft länger sind, als sie es sein sollten. Das manuelle Abfahren oder Ablaufen von Infrastrukturelementen führt zu Verzögerungen, die mithilfe von automatisierten Systemen vermeidbar wären. In vielen Fällen ist die manuelle Inspektion auch sehr kostenintensiv.

Schlechte Dokumentation

Während manuelle Inspektionen zwar Daten über Schäden und Probleme liefern, bleiben sie oft hinter dem zurück, was heute technisch möglich ist. Anstatt eines umfassenden digitalen Abbilds (Digital Twin), das den Zustand einer Infrastruktur über einen längeren Zeitraum kontinuierlich dokumentiert, wird oft eine Liste von problematischen Bereichen oder Schäden erstellt. Die Position der Schäden wird oft nur grob angegeben, was die Behebung erschwert. Ein fehlendes digitales Modell mit automatisierter Erkennung bedeutet auch, dass die Daten oftmals nicht in Betriebssysteme integriert sind und dementsprechend nicht als Entscheidungsgrundlage genutzt werden können.

Menschliche Fehlerquellen

Menschen machen Fehler. Sie können aufgrund von Konzentrationsproblemen auftreten, insbesondere bei repetitiven und langwierigen Aufgaben wie der Inspektion langer Strassenabschnitte. Darüber hinaus gibt es das Problem der Konsistenz: Was jemand als Schaden ansieht, erachtet jemand anderes als unbedeutend. Nicht erfasste Schäden oder Verwechslungen können zu teuren Reparaturen oder gar zu Infrastrukturrisiken führen.

Gefährdung der Sicherheit

Manuelle Inspektionen bringen oft Gefährdungen für das Inspektionspersonal mit sich, insbesondere wenn sie an exponierten Lagen, etwa in der Nähe von Hochspannungsleitungen oder in der Höhe, durchgeführt werden müssen. Jedes Jahr gibt es Unfälle, die durch manuelle Inspektionen verursacht werden. Während Sicherheitsausrüstung und -schulungen dazu beitragen können, die Risiken zu reduzieren, bleibt die Frage, ob es sinnvoll ist, Menschen solchen Gefahren auszusetzen, wenn technologische Alternativen verfügbar sind.

Potenzial für automatisierte Inspektionen

Die genannten Herausforderungen zeigen das grosse Potenzial von automatisierten Inspektionen. Die Fortschritte in der Bilderkennungstechnologie eröffnen neue Möglichkeiten, um einige der Herausforderungen zu überwinden und die Effizienz und die Genauigkeit von Inspektionsverfahren signifikant zu steigern. Im vorliegenden Projekt haben sich verschiedene Akteure aus Verwaltung, Forschung und Wirtschaft zusammengeschlossen, um einen Beitrag zur automatisierten Infrastrukturwartung zu leisten. IBM Research hat im Frühling 2022 einen Projektvorschlag in die Innovation-Sandbox für KI eingereicht. Die Idee war es, Erfahrungen aus vergangenen Projekten mit KI-basierten Brückeninspektionen zu nutzen, um diese auf die Landebahnen von Flughäfen auszuweiten. Die Innovation-Sandbox für KI unterstützte das Innovationsvorhaben, indem qualitativ hochwertige Bilddaten bereitgestellt wurden und indem mit dem Militärflugplatz Dübendorf ein Projektpartner aus dem Innovationsökosystem des Metropolitanraums Zürich gewonnen werden konnte. Die Zusammenarbeit für die Erstellung des Bildmaterials erfolgte mit der pixmap gmbh, die auf die Inspektion und Vermessung durch Drohnen und Flugroboter spezialisiert ist.

Der Report ist nachfolgend in die folgenden Teile gegliedert: Kapitel 2 beschreibt das Vorgehen und die Erkenntnisse aus den drei Drohnenmissionen von pixmap gmbh. Anschliessend gibt Kapitel 3 einen Überblick über die automatisierte Auswertung des Bildmaterials durch die Bilderkennungstechnologie von IBM Research. Kapitel 4 zieht ein Fazit und zeigt mögliche Handlungsfelder, um die automatisierte Inspektion von Infrastrukturelementen im Metropolitanraum Zürich voranzutreiben. Der Anhang beschreibt die technischen Details der Bilderkennung durch IBM Research.

II. Drohneneinsatz zur Erstellung des Bildmaterials

Die Grundlage für eine automatisierte Detektion von Rissen und Beschädigungen von Infrastrukturelementen ist umfassendes Bildmaterial. Es gibt verschiedene Methoden und Quellen, um zu solchen Daten zu gelangen. In manchen Fällen reicht es, frei zugängliche Satellitenaufnahmen zu verwenden, bspw. wenn die Infrastrukturschäden auch bei tiefer Auflösung klar ersichtlich sind. Falls jedoch für eine detaillierte Inspektion hochauflösendes Bildmaterial benötigt wird, kommt man um eine spezifische Aufnahme nicht herum. Die Erfassung kann mit einem Fahrzeug erfolgen oder aus der Luft, z.B. mit einer Drohne. Im vorliegenden Fall hat die Firma pixmap gmbh Drohnen eingesetzt. Drohnen haben den grossen Vorteil, systematische Aufnahmen zentimetergenau, wiederholbar und in hoher Auflösung machen zu können. Zudem sind sie leicht transportierbar und relativ kostengünstig zu betreiben.

Für das Pilotprojekt stellte der Militärflugplatz Dübendorf seine Landebahn von über 2,8 km Länge zur Verfügung. Durch den Flugplatzbetreiber wurde ein repräsentativer Pistenabschnitt von 200 × 40 m definiert. Pixmap gmbh nahm diesen Bereich in der geforderten Maximalqualität mittels Drohne auf und stellte IBM Research die Daten zur Auswertung zur Verfügung. Die sehr hohe Auflösung erlaubte es dem KI-Team von IBM, im Nachgang zu evaluieren, ob auch weniger hochauflösendes Bildmaterial für eine automatisierte Auswertung der Risse und Beschädigungen ausreichen würde. Dies ist insbesondere im Hinblick auf den operativen Einsatz von automatisierten Inspektionen relevant, bspw. falls die Höchstqualität zu teuer wäre oder die Datenerhebung für regelmässige Wartungsarbeiten zu lange dauern würde.

Für die Planung des Drohneneinsatzes im vorliegenden Kontext mussten einige Herausforderungen beachtet werden.

• Regulierung: Je nach Mission und Einsatzort gibt es regulatorische Anforderungen für den Einsatz von Drohnen. Mit der Übernahme der Drohnenregulierung der EU/EASA per 1. Januar 2023 wurden die gesetzlichen Vorgaben nochmals strenger. Mittels Betriebsbewilligung muss der Betreiber der Drohne nachweisen, dass sowohl Risiken für Personen am Boden (Ground Risks) als auch Kollisionen mit anderen Luftfahrzeugen (Air Risks) mit grösster Wahrscheinlichkeit vermieden werden können. Im vorliegenden Fall wurde die Piste gesperrt und die Flughöhe der Drohne auf maximal 10 m limitiert, womit der übrige Flugplatzbetrieb mit Helikoptern nicht tangiert wurde.
• Anforderungen an die Drohne/Kamera: Für eine Aufnahme in Submillimeterauflösung muss eine qualitativ hochwertige Kamera auf einer Drohne mit Präzisions-GPS eingesetzt werden. Moderne Drohnen lassen sich mit Vollformatkameras (Sensorgrösse von 36 × 24 mm) und Auflösungen von 40 bis 100 MP bestücken. Wichtig ist auch eine Kamera mit kurzen Verschlusszeiten, um Bewegungsunschärfe zu vermeiden, und einem kurzen Auslöseintervall, im vorliegenden Fall 0,7 s. Um die Drohne zentimetergenau über die Piste lenken zu können, muss sie mit einem speziellen GPS-System (RTK-GNSS) ausgerüstet sein und autonom nach vordefinierten Wegpunkten fliegen können.
• Wetterabhängigkeit: Es ist zu beachten, dass solche Missionen wetterabhängig sind. Die Piste muss trocken sein, die Drohne darf keinen Schatten auf die aufgenommene Fläche werfen, und starke Windböen sind zu vermeiden. Bei der Planung sind Reservetermine für die Drohnenaufnahmen deshalb wichtig.

Im vorliegenden Projekt konnte die Firma pixmap gmbh die Drohnenmissionen wie geplant am 13. Mai 2023 durchführen.

Um über eine möglichst breite Datenbasis zu verfügen, hat man den Hauptauftrag leicht erweitert, und es wurden drei unterschiedliche Missionen mit verschiedenen Aufnahmeparametern geflogen.

Mission 1: Ein neues Niveau der Auflösung

Die typische Auflösung für Drohnenaufnahmen im Vermessungsbereich liegt zwischen 1 cm und 3 cm. Die vorliegende Mission ging jedoch weit darüber hinaus. Die geforderte Maximalauflösung von 0,25 mm gegenüber 1 cm entspricht einem Faktor von 40- bzw. 1600-mal mehr Punkten pro Flächeneinheit. Dies führte zu extremen Flugparametern: Mit einer Hochleistungskamera ausgerüstet musste die Drohne auf einer Flughöhe von nur 3 m operieren. Eine sehr langsame Fluggeschwindigkeit von 0,7 m/s und ein Bild alle 0,7 s waren nötig, um Bilder mit leichter Überlappung zu erfassen und Bewegungsunschärfe zu vermeiden. Dies führte zu sehr langen Flugzeiten von total 2 h bei etwa 11 500 Bildern.

Mission 2: Tiefere Auflösung als Alternative

Während Mission 1 auf maximale Auflösung fokussierte, zielte die zweite Mission auf Skalierbarkeit ab, die Möglichkeit also, später eine ganze Landebahn aufnehmen zu können. Eine etwas geringere Auflösung von 0,75 mm erlaubte eine 10-mal schnellere Erfassung mit entsprechend kleinerem Datenvolumen.

Mission 3: Fokus auf Kartierung

Diese Mission zielte darauf ab, mittels Fotogrammetrie ein noch umfassenderes Gesamtbild der Landebahn zu erstellen. Alle Einzelbilder wurden dabei durch Spezialsoftware (Pix4Dmapper) zu einem einzigen, georeferenzierten Orthofoto und einem Höhenmodell verrechnet. Anstelle von Tausenden einzelnen Aufnahmen entstand so ein einziges, unverzerrtes Gesamtbild, das dann weiter analysiert werden konnte. Eine fotogrammetrische Erfassung ist aber nur mit einer wesentlich höheren Überlappung der einzelnen Aufnahmen möglich, was wiederum die erzielbare Auflösung schmälert. Möchte man die gesamte Piste fotogrammetrisch aufnehmen, kann mit heutiger Technik eine Auflösung von rund 1,5 bis 2 mm erzielt werden. Für den im vorliegenden Projekt festgelegten Pistenabschnitt konnte eine Auflösung von 0,6 mm erreicht werden.

Schlussfolgerungen der Drohnenmissionen

Die Bilanz ist positiv: Alle Missionen konnten beim ersten Versuch erfolgreich durchgeführt werden. Auf Anhieb liessen sich hochwertige Daten ohne Erfassungslücken generieren. Die umfassende Auswertung durch IBM Research (siehe Kapitel 3) zeigt, dass das Ziel, Pistenschäden automatisch zu erkennen, selbst mit der leicht verminderten Auflösung von 0,75 mm (M2) zu erreichen ist. Das bedeutet, dass sich das hier angewendete Verfahren bereits heute auf ganze Landebahnen oder längere Strassenabschnitte applizieren lässt. Entsprechende Missionen müssen mit dem notwendigen Know-how sorgfältig geplant und mit hochwertiger Ausrüstung durchgeführt werden mit Fokus auf Zielsetzungen, die der Betreiber präzise festlegt. Mit fortschreitender Entwicklung der Drohnentechnik werden auch erweiterte Anforderungen wie eine fotogrammetrische Erfassung im Submillimeterbereich bald möglich sein, und der Aufwand wird tendenziell abnehmen. Der Einsatz von Drohnen zur Inspektion von Infrastrukturelementen ist definitiv von grosser Bedeutung.

III. Automatisierte Inspektion durch Bilderkennung

IBM Research nutzte das hochaufgelöste Bildmaterial aus den drei Drohnenmissionen von pixmap gmbh als Grundlage für die Entwicklung von automatisierten KI-basierten Inspektionsmethoden.

Durch Fortschritte im Bereich Deep Learning sind immer mehr Anwendungen in der Bilderkennung realisierbar, die früher als unmöglich galten. Die rasanten technologischen Entwicklungen werden durch die Verfügbarkeit von annotierten Daten und spezialisierter Hardware, bspw. GPU (Graphics Processing Unit), vorangetrieben, die das Training von KI-Modellen erleichtern. Die Methode gehört zum Bereich Machine Learning, wobei das Modell aus grossen Mengen von Daten lernt. Der aktuelle Stand der Technologie ermöglicht im vorliegenden Projekt die Erkennung von kleinen Rissen in der Infrastruktur.

Im vorliegenden Projekt bestand die Herausforderung darin, dass sehr selten annotierte Daten im Bereich der Bauinfrastruktur öffentlich verfügbar sind und die meisten Bilddaten keine sichtbaren Defekte zeigen. Lösungen wie Few-Shot Learning, Transfer Learning und Self-Supervised Learning werden erforscht, um diese Herausforderung zu überwinden.

IBM Research Zürich hat im Rahmen dieses Projekts spezielle Expertise im Bereich der automatisierten visuellen Inspektion von Bauinfrastrukturen eingebracht, insbesondere bei Betonpfeilern von Brücken. Ziel der eingesetzten Technologien ist es, durch automatisierte Inspektionen die Kosten der Infrastrukturwartung zu senken, eine systematische Dokumentation der Bauwerke zu ermöglichen und Risikobewertungen vorzunehmen. Dabei wurden auch aktuelle Einschränkungen diskutiert und Empfehlungen für die Zukunft gegeben. Der Anhang dieses Reports beschreibt die Methoden und Technologien hinter der automatisierten visuellen Defekterkennung von IBM Research im Detail.

Datenorganisation

Pixmap gmbh führte drei Erfassungsmissionen mit unterschiedlichen Anforderungen durch, was vor allem im Hinblick auf die Datenvolumina relevant war. IBM Research konnte so die Effizienz und die Genauigkeit der gesammelten Bilddaten optimieren. M1 zielte auf höchste Detailgenauigkeit, was jedoch direkte Auswirkungen auf die Gesamtflugzeit, die Auswertungszeit und den Umfang der Datenverarbeitung und der Kosten hatte. Um diese Probleme zu lösen und Kosten zu senken, war die Datenorganisation bei M2 weniger anspruchsvoll. M2 erfasste weniger detaillierte Bilder mit einer GSD (Ground Sampling Distance) von 0,75 mm pro Pixel, also einem 3-mal kleineren Detailreichtum als bei M1. Dadurch verkleinerte sich das Datenvolumen um das 9-fache, was bei der Datenverarbeitung Zeit und Speicherplatz sparte. IBM Research hat zudem festgestellt, dass weniger überlappende Bilder und etwas mehr Unschärfe zusätzlich Verarbeitungszeit einsparen und die Datenmenge reduzieren. Diese Änderungen sorgten für eine effiziente Datenorganisation, während die Qualität der Daten für Analysen ausreichend hoch blieb. M3 diente vorrangig als Vergleichsmission mit spezifischen Überlappungsanforderungen und deckte weniger Gesamtfläche ab. IBM Research analysierte von jeder Mission die Menge an Bilddaten separat, um die optimale Methode für die Organisation und Verarbeitung von Daten in Bezug auf Detailgenauigkeit und Effizienz zu finden.

Algorithmische Bildzusammensetzung

Das Hauptziel für alle drei Missionen war es, viele einzelne Bilder zu einem grossen, detaillierten und genauen Übersichtsbild zusammenzufügen, das die gesamte Landebahn zeigt. Die Herausforderung lag in der extremen Genauigkeit, die notwendig war, um Risse und Schäden detailliert zu erkennen.

IBM Research hat einen speziellen Algorithmus entwickelt, der die Bilder in mehreren Phasen effizient und genau zusammenfügt. Die Methode konzentrierte sich darauf, die Positionierungs- und Ausrichtungsfehler zu minimieren, um ein kohärentes und präzises Gesamtbild zu erstellen. Damit sich das immense Datenvolumen effektiv verarbeiten liess, wurde der Datensatz in kleinere Segmente unterteilt, die unabhängig voneinander bearbeitet und später zusammengeführt wurden.

Wichtige Aspekte der Bildzusammensetzung:

• Anspruchsvolle Bildzusammensetzung: Das GPS-System, das von pixmap gmbh genutzt wurde, konnte die Positionierung der einzelnen Bilder bis auf eine Abweichung von 1 cm optimieren. Das entspricht einem viel höheren Detailgrad als bei herkömmlichen Aufnahmen und macht die Bildzusammensetzung sehr anspruchsvoll.
• Komplexe Algorithmen: Der entwickelte Algorithmus arbeitet in mehreren Stufen, um Daten zu optimieren, auszurichten und schliesslich zu einem grossen Bild zusammenzufügen.
• Datenmanagement: Um die riesige Datenmenge zu bewältigen, wurde sie in kleinere, handhabbare Teile zerlegt, die später wieder zusammengeführt wurden.

Für eine effiziente Bearbeitung wurden Methoden implementiert, um bereits bearbeitete Daten zu speichern und wiederzuverwenden. Dadurch liess sich wertvolle Rechenzeit einsparen.

KI-Technologie für zuverlässige Risserkennung

Das Foundation Model von IBM Research, das für die Risserkennung entwickelt wurde, basiert auf einem automatisierten visuellen Inspektionsmodell, das mithilfe von Vision-Transformer-Architektur und Self-Supervised Learning ausgebildet wurde. Es durchläuft mehrere Stufen: Am Anfang wird es mit allgemeinen Bildern trainiert, dann mit bereits verfügbaren Bildern ziviler Infrastrukturen wie Brücken, um anschliessend für die spezifische Aufgabe – das Erkennen von Rissen – verfeinert zu werden. Dieses Modell wurde auf die Bilder der Missionen M1 und M2 angewendet und lieferte zuverlässige Ergebnisse, auch wenn verrauschte Detektionen an den Rändern zwischen Bordstein und Landebahnoberfläche auftraten. Die Erkennung von Rissen, die auf Bildern sichtbar sind, ist mit diesem Modell zuverlässig möglich. Die Daten von M2 sind ausreichend für die Analyse und Erkennung von relevanten Rissen und bieten ein gutes Verhältnis von Qualität und Aufwand, sodass die Erfassung der gesamten Landebahn in einem halben Tag machbar ist.

Übersicht über die von M1 und M2 erkannten Risse: Das KI-Modell arbeitete in einem sensitiven Modus, sodass viele Risse erkannt wurden. Bei der Konfidenz sind die Zahlen niedriger; hier wurden nur Rissinstanzen mit einem Vertrauenswert von mindestens 0,5 einbezogen. Der Unterschied von M2 zu M1 ist in diesem Fall anteilsmässig deutlich kleiner, was bedeutet, dass das Modell auch unter erschwerten Bedingungen gute Ergebnisse liefert.

OCL-Tool zur Präsentation von Ergebnissen

Das One-Click-Learning (OCL)-Tool von IBM Research ist ein Forschungsinstrument, das KI-Ergebnisse auf umfassende Weise präsentiert. Es kann KI-Ergebnisse visuell darstellen, generieren, demonstrieren und kontinuierlich weiterentwickeln. Beim hier vorgestellten Projekt wurden die Bild- und Vorhersageansichten zur Darstellung von Rissen und Defekten auf der Landebahn in Dübendorf verwendet.

Funktionen und Ansichten des OCL-Tools:

• Bildbetrachtung: Erlaubt den Zugriff auf alle bereitgestellten Bilder (>13 000) in strukturierten Ordnern mit Fokus auf die drei unterschiedlichen Missionen und Bildqualitäten sowie die Navigation innerhalb dieser Struktur.
• Vorhersageansicht: Zeigt Ergebnisse der KI-Modelle und extrahiert zugehörige Attribute wie Risslänge automatisch, um pixelgenaue Segmentierungsmasken von Defekten in der Landebahn darzustellen.
• Übersichtsansicht: Erlaubt dem Benutzer das Betrachten grosser Landebahnabschnitte und eine Echtzeitnavigation. Es ermöglicht auch das Verständnis des Kontexts, in dem ein Defekt detektiert wurde.
• Zusammengeführte Vorhersagen und Überblick: Ermöglicht es dem Benutzer, die Zusammenhänge und Positionen aller Defekte zu verstehen, und führt mehrfache Detektionen eines Defekts in verschiedenen Bildern zu einer einzigen Vorhersage zusammen.
• Statistische Zusammenfassung: Stellt aggregierte Statistiken über alle erkannten Defekte bereit, sowohl für einzelne Bilder als auch für die gesamte zusammengeführte Übersicht.
• Reportingfunktionalität: Erstellt Reports für alle im Tool erfassten Daten mit Detailansichten jedes Defekts, wichtigen Attributen und Direktverlinkungen zum OCL-Tool für eine vergrösserte Ansicht des visualisierten Defekts. Eine Georeferenzierung erlaubt es dem Pistenwartungspersonal, die Defekte auf der Landebahn manuell zu überprüfen und Schäden mit einem Verguss instand zu setzen.

Im Projekt wurde das OCL-Tool primär für die Demonstration und Überprüfung der Ergebnisse eingesetzt, insbesondere im Kontext von M1 und M2, um die Analyse und Interpretation der grossen Datenmengen zu erleichtern. IBM Research hat einen vollständigen Bericht und spezifische Rissdetektionen für die M2-Daten bereitgestellt. Dies ist insbesondere für die Verwendung der Projektergebnisse durch die zuständigen Infrastrukturbetreiber relevant.

IV. Potenzial von KI in der Infrastrukturwartung

Das Innovation-Sandbox-Projekt «Bilderkennung in der Inspektion von Landebahnen» hat erfolgreich demonstriert, wie grosse Datenmengen systematisch erfasst und von KI-Modellen bewertet werden können. Risse konnten in allen drei Missionen (M1, M2 und M3) korrekt identifiziert werden. Um in der Praxis grosse Flächen in angemessener Zeit zu scannen, ist es unerlässlich, dass die Erfassung effizient durchgeführt wird. IBM Research hat gezeigt, dass M1 und M2 gegenüber M3 überlegen sind. Zusätzlich besagt eines der Hauptresultate, dass die Auflösung von M2 ausreicht, um die wichtigen Risse zu erfassen, vollständig zu dokumentieren und solide Entscheidungen bezüglich des Gesamtzustands der Infrastruktur zu treffen. Die gesamte Piste kann in einem halben Tag durch eine Drohne erfasst werden, was eine kontinuierliche Überprüfung in der Praxis ermöglicht (bspw. halbjährlich im Frühling und im Herbst, um saisonale Unterschiede fortlaufend zu erfassen).

Hochauflösende Bilddaten von Pisten wie der Landebahn in Dübendorf sind im Normalfall schwer zugänglich. Im Rahmen der Innovation-Sandbox für KI reale Daten nutzen zu können, ist deshalb für den Forschungs- und Innovationsstandort des Metropolitanraums Zürich sehr wichtig. Institutionen wie IBM Research erhalten so die Möglichkeit, die neuesten KI-Algorithmen und -Strategien in einem relevanten Kontext zu bewerten und zu verbessern. Daher wird diese Art von Daten auch in den nächsten Jahren dazu beitragen, die künftigen Entwicklungen der KI-Technologie im Bereich der automatisierten Bilderkennung voranzutreiben.

Zusätzlich wird mit jedem Projekt, in dem KI-Anwendungen erfolgreich eingesetzt werden, immer sicherer, dass die entwickelten Foundation Models – in diesem Fall von IBM Research – in einem breiten Kontext zuverlässig funktionieren. Das bedeutet, dass diese Art der Bilderkennung auch für die Inspektion von Fassaden von Grossgebäuden, Brücken, Staudämmen, Tunneln oder Strassenoberflächen angewendet werden kann.

Bestätigung der Mehrwerte einer automatisierten Landebahninspektion

Das vorliegende Projekt hat bestätigt, dass die Bilderkennung sehr hohes Potenzial bei der automatisierten Inspektion von Infrastrukturelementen bietet. Auch wenn die KI-Anwendung noch nicht im operativen Betrieb eingesetzt wird, kann man davon ausgehen, dass die in Kapitel 1 genannten vier Herausforderungen der manuellen Inspektion adressiert werden können.

Mehr Effizienz

Das Projekt hat gezeigt, dass der Einsatz von Drohnen zur Erstellung von Bildmaterial zeitsparend ist. Durch die Verwendung von Bilderkennung kann zudem eine höhere Effizienz erzielt werden, verglichen mit traditionellen Inspektionsmethoden, die ohne KI-basierte Berichterstattung von Bodenpersonal durchgeführt werden. Selbst wenn KI-Technologien zum Einsatz kommen, muss in den meisten Fällen eine Fachperson vor Ort die erkannten Schäden final validieren und beurteilen. Das Bodenpersonal kann die Inspektion allerdings basierend auf einer bestehenden Entscheidungsgrundlage vornehmen. Idealerweise könnten die Reports mit den grössten Schäden direkt an die Wartungsunternehmen weitergeleitet werden, die für die Behebung der Schäden zuständig sind. Dadurch würde der gesamte Prozess optimiert und beschleunigt.

Bessere Dokumentation

Die Möglichkeit, digitale Abbilder von Infrastrukturelementen zu erstellen und diese kontinuierlich zu überprüfen, stellt einen erheblichen Mehrwert dar. Aktuell fehlt in der Praxis oftmals eine vollständige, personenunabhängige und einheitliche Dokumentation. Die digitale Abbildung ist besonders nützlich für die detaillierte und systematische Überprüfung. Dies fördert die Qualitätssicherung, da bestehende Risse und bereits behoben Schäden präzise und über einen längeren Zeitraum hinweg überwacht werden können.

Weniger menschliche Fehlerquellen

Durch den Einsatz von automatisierten Systemen können menschliche Fehler minimiert werden, die oft wegen unterschiedlicher und inkonsistenter Einschätzungen von Fachleuten auftreten. Insbesondere bei Personalwechseln oder -ausfällen können traditionelle Inspektionsmethoden zu unterschiedlichen Beurteilungen führen. Die Automatisierung der Inspektionen durch KI ermöglicht eine konsistente und objektive Analyse und Bewertung der Infrastrukturelemente, wodurch die Ergebnisse zuverlässiger und nachvollziehbarer werden.

Höhere Sicherheit

In gefährlichen Umgebungen, etwa auf Staudämmen oder Brücken, können Drohnen zur Durchführung von Inspektionen eingesetzt werden, um die Risiken für die Menschen zu minimieren. Obwohl dies im aktuellen Projekt nicht im Vordergrund stand, ist es ein wichtiger Aspekt, vor allem wenn man bedenkt, dass Inspektoren sich in solchen Umgebungen potenziellen Gefahren aussetzen müssen. Durch den Einsatz von Bilderkennungstechnologie in solchen Umgebungen kann die Sicherheit des Personals erhöht und gleichzeitig eine detaillierte und präzise Analyse der Strukturen gewährleistet werden.

Ausblick

Die Innovation-Sandbox soll das Innovationsökosystem im Metropolitanraum Zürich stärken. Das vorliegende Projekt ist ein Beitrag dazu. Der flächendeckende Einsatz von Bilderkennung in der Infrastrukturwartung befindet sich allerdings noch in weiter Ferne. Deshalb schlägt das Projektteam folgende Handlungsfelder vor, um das Potenzial am Innovationsstandort Zürich künftig noch besser zu nutzen:

1. Integration der automatisierten Inspektion in bestehende Prozesse
   Um den Mehrwert von automatisierten Inspektionen zu maximieren, ist es wichtig, diese Technologien nahtlos in die bestehenden Prozesse der Infrastrukturbetreiber zu integrieren. Das beinhaltet unter anderem die Entwicklung von Schnittstellen, um verschiedene Anwendungen miteinander zu verknüpfen und die Resultate in einem Format bereitzustellen, das die Weiterverarbeitung durch Infrastrukturbetreiber ermöglicht. Insbesondere bei Begehungen braucht das Wartungspersonal Zugriff auf ein digitales Modell der Landebahn mit GPS-Funktion, um die automatisiert erkannten Risse vor Ort zu finden und zu verifizieren. Zudem sollten Best Practices über Organisationsgrenzen hinweg verbreitet werden, um Wissen und Erfahrungen effektiv zu teilen und somit die Einführung und Nutzung von automatisierten Inspektionstechnologien zu erleichtern.
2. Neue Open-Data-Ansätze im Innovationsökosystem
   Für die Stärkung des Innovationsökosystems im Metropolitanraum Zürich ist es essenziell, neue Open-Data-Ansätze zu entwickeln. Dabei sollten basierend auf konkreten Anwendungsfällen aus Wirtschaft, Forschung und Verwaltung mehr Daten verfügbar gemacht werden. Das ermöglicht es anderen Akteuren des Innovationsökosystems, ähnliche Projekte umzusetzen. Durch die Bereitstellung und Nutzung grosser Datenmengen von Landebahnen, Brücken und Staudämmen können innovative Lösungen entwickelt und die Potenziale von KI-basierten Inspektionen besser ausgeschöpft werden.
3. Übertragbarkeit auf andere Infrastrukturelemente
   Die Übertragbarkeit der getesteten Technologien und Methoden auf andere Infrastrukturelemente wie Brücken, Strassen und Staudämme muss geprüft werden. Jeder Anwendungsfall bringt spezifische Chancen und Herausforderungen mit sich, weshalb ein interdisziplinärer Austausch über verschiedene Infrastrukturkategorien hinweg wichtig ist. Ein solcher Austausch fördert die Entwicklung angepasster Lösungen für diverse Infrastrukturelemente und ermöglicht so die breite Anwendung innovativer Bilderkennungstechnologien in der Infrastrukturwartung.
4. Proaktiver Umgang mit regulatorischen Fragestellungen
   Die Überwindung regulatorischer Hürden ist essenziell für die Implementierung KI-basierter Inspektionen durch Drohnen. Wichtige Massnahmen hierbei sind die Einrichtung von Testumgebungen für experimentelle Anwendungsfällen. Ein intensiver Austausch zwischen Regulatoren wie dem Bundesamt für Zivilluftfahrt (BAZL) und Industrieverbänden (bspw. Drone Industry Association Switzerland) ist ebenfalls wichtig, um Anforderungen frühzeitig zu definieren, Gesetze zukunftsgerichtet anzupassen und Zertifizierungsprozesse zu beschleunigen. Diese Strategien können Innovationsbarrieren abbauen und die Einführung neuer Inspektionstechnologien im Metropolitanraum Zürich und in der gesamten Schweiz fördern.
5. Stärkung der gesellschaftlichen Akzeptanz von Drohnen
   Um die Implementierung von KI-basierter Drohnentechnologie für die Infrastrukturwartung erfolgreich zu realisieren, ist die Stärkung der gesellschaftlichen Akzeptanz von Drohnen von entscheidender Bedeutung. Es ist wichtig, einen offenen und inklusiven Dialog mit der Bevölkerung zu führen, um Chancen und Risiken transparent zu kommunizieren und Missverständnisse zu klären. Das Wissen über die Drohnentechnologie in der breiten Gesellschaft liesse sich durch Informationsveranstaltungen, Workshops und Bildungsinitiativen vergrössern. Zusätzlich könnten Begegnungszonen und Erlebnisparks eingerichtet werden, wo Menschen direkt mit Drohnen in Kontakt kommen, ihre Funktionen und Anwendungen erleben und somit ein besseres Verständnis für die Technologie entwickeln können. Diese Massnahmen können dazu beitragen, Vorurteile abzubauen und das Vertrauen in die Technologie zu fördern, was wiederum die Implementierung von innovativen Inspektionstechnologien unterstützt.