Behörden erhoffen sich vom KI-Einsatz verschiedene Vorteile: KI soll helfen, Prozesse zu automatisieren, die Effizienz zu steigern und die Servicequalität zu verbessern. So setzen bereits heute mehrere Kantone Chatbots ein, die Anfragen beantworten und Kundinnen und Kunden mit Informationen versorgen.

Die Einsatzmöglichkeiten im öffentlichen Sektor reichen aber weit darüber hinaus. KI-Technologien würden sich besonders zur Analyse von grossen Datenmengen eignen, wie sie in der Verwaltung anfallen – darunter auch in sensiblen Bereichen wie der Sozialhilfe oder im Steuerwesen, wo KI zum Beispiel eine Rolle in der Betrugsbekämpfung spielen könnte. Deshalb ist es zentral, sich bereits in einer frühen Phase über die Herausforderungen und mögliche Lösungsansätze Klarheit zu verschaffen.

Anwendungs- und Handlungsfelder

In der Schweiz fehlt es bisher an einer vertieften rechtlichen und ethischen Auseinandersetzung mit der Frage, welche Chancen und Risiken der Einsatz von KI in der Verwaltung mit sich bringt und welche Handlungsempfehlungen sich daraus ableiten lassen. Diese Lücke schliesst nun eine Studie im Auftrag des Kantons Zürich. Sie beschreibt das Potenzial des KI-Einsatzes in der Verwaltung, beleuchtet die Gefahren und stellt Projekte und Anwendungen vor, die in der Schweiz im Einsatz sind. Beispielhaft verweist die Studie auf Erfahrungen im Ausland.

Durchgeführt hat die Studie ein Team um Prof. Dr. Nadja Braun Binder, Professorin für Öffentliches Recht an der Universität Basel, in Zusammenarbeit mit der gemeinnützigen Organisation AlgorithmWatch, die für die ethischen Erwägungen zuständig war.

Empfohlene Massnahmen

Die Studie nennt die rechtlichen Herausforderungen, die der Kanton Zürich zu berücksichtigen hat, wenn er KI-Systeme einsetzen möchte. Sie liefert zudem Vorschläge, wie diese Herausforderungen aus rechtlicher Sicht angegangen werden können. Zu den wichtigsten Aspekten zählen, rechtsstaatliche Verfahrensgarantien sicher zu stellen, Diskriminierung zu verhindern, Datenschutz zu gewährleisten und Transparenz herzustellen.

Algorithmen erscheinen auf den ersten Blick objektiver als Menschen. Doch zum einen enthalten sie immer bereits die Wertungen derjenigen, die sie entwickeln. Zum anderen stecken in den Daten, in denen KI-Technologien mit Methoden des maschinellen Lernens eigenständig Muster erkennen, um aus ihnen Regeln abzuleiten, bereits Diskriminierungsmuster. Hier besteht die Gefahr, dass auch der Algorithmus sie lernt und dann reproduziert, wenn er neue Daten verarbeitet.

«Daten können fehlerhaft oder unvollständig sein und so alte Diskriminierungsmuster reproduzieren oder gar neue etablieren», hält Braun Binder fest. Hier könnten Kontrollen Abhilfe schaffen – sei es durch Verwaltungsmitarbeitende, Drittorganisationen oder Kontrollalgorithmen. Als problematisch erachten die Autorinnen und Autoren der Studie auch die fehlende Nachvollziehbarkeit: Teilweise sei es fast unmöglich, zu verstehen, wie lernende Algorithmen zu ihren Ergebnissen kommen. «Der Begründung staatlicher Entscheidungen kommt vor diesem Hintergrund zentrale Bedeutung zu», so Braun Binder.

Ethische Implikationen

Aus verschiedenen Richtlinien zur KI-Ethik leitet die Studie zentrale Grundsätze für den Einsatz durch Behörden ab: Die verwendeten KI-Systeme sollten so konzipiert sein, dass sie Menschen nicht schaden und die Autonomie des Menschen schützen. Weitere Grundsätze bilden Fairness, Gemeinwohlorientierung, Kontrolle, Transparenz und eine Rechenschaftspflicht, die klärt, wer für Ergebnisse und das Verhalten von KI-Anwendungen verantwortlich ist.

Auf dieser Basis entwickelten die Studienautorinnen und -autoren zwei Checklisten als Hilfsmittel, um Transparenz bei technologischen Automationsprojekten und -anwendungen in der öffentlichen Verwaltung herzustellen.

Die Studie kombiniert die Auslegeordnung des Einsatzes von KI-Systemen in der Verwaltung mit der Analyse und Einordnung rechtlicher und ethischer Implikationen. Damit trägt sie dazu bei, die Chancen des KI-Einsatzes durch Behörden im Kanton Zürich zu nutzen und zugleich den Risiken effektiv zu begegnen.