Staatliche KI muss
besser geregelt werden

Wer das Strassenverkehrsamt des Kantons Aargau ausserhalb der Öffnungszeiten anruft, wird mit einem Voicebot verbunden. Der Roboter mit dem Namen «Vicky» gibt Auskunft auf Standardfragen wie «Wie löse ich mein Auto ein?». Er versteht auch Schweizerdeutsch und lernt nach Angaben des Kantons laufend dazu.¹ «Vicky» ist eines von zahlreichen Beispielen für die Anwendung von künstlicher Intelligenz (KI) durch die öffentliche Verwaltung.

«Der Roboter ‹Vicky› gibt Auskunft auf Standard­fragen wie ‹Wie löse ich mein Auto ein?›. Er versteht auch Schweizerdeutsch und lernt laufend dazu.»

Die Hoffnung, Aufgaben besser und/oder effizienter zu erfüllen, beflügelt KI-Vorhaben nicht nur in der Privatwirtschaft. Doch während über die Notwendigkeit und die Ausgestaltung der Regulierung von KI im Privatsektor zurzeit eifrig debattiert wird (beispielsweise im Zusammenhang mit ChatGPT), stösst der Einsatz von KI bei Bund und Kantonen auf weniger Aufmerksamkeit. Doch auch hier werden Projekte verfolgt, die wichtige Rechtsfragen aufwerfen.

Mailbot und maschinelles Lernen

KI ist ein Sammelbegriff, der verschiedene Technologien umfasst. Das EU-Parlament hat sich jüngst im Entwurf für ein KI-Gesetz auf eine Definition verständigt. Demnach handelt es sich bei einem KI-System um ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichen Autonomiegraden arbeitet, und das zu expliziten oder impliziten Zwecken Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann, die physische oder virtuelle Umgebungen beeinflussen.² KI soll helfen, Prozesse zu automatisieren sowie Erkenntnisse aus grossen Datenmengen zu gewinnen und nutzbar zu machen.

Für die Bundesverwaltung führt das Kompetenznetzwerk für künstliche Intelligenz (Competence Network for Artificial Intelligence, CNAI) eine Liste mit KI-relevanten Vorhaben.³ Sie dient in erster Linie dazu, den Erfahrungsaustausch unter den Bundesstellen zu erleichtern. Die Bundesstellen sind aber nicht verpflichtet, ihre Projekte einzutragen. Es gibt auch keine verbindlichen Vorgaben dazu, welche Informationen gemeldet werden müssen. So fehlen in der Liste wichtige Angaben, insbesondere zu den genutzten Trainingsdaten. Dennoch schafft sie eine gewisse Transparenz über die KI-Projekte der Bundesverwaltung, per 11. April 2023 immerhin insgesamt 45. Dazu zählt ein Mailbot des IT-Helpdesks des Eidgenössischen Departements für auswärtige Angelegenheiten, der eingehende Support-Anfrage-Mails thematisch analysiert, einem Gebiet zuordnet und priorisiert. Zudem identifiziert dieser Bot aufgrund ähnlicher Fälle bestehende Hilfestellungen und schickt diese als ersten Lösungsvorschlag zurück. Ein anderes Projekt ist ein vom Bundesamt für Energie (BFE) unter dem Namen «Data Science for Energy Policy» entwickelter Prototyp, der den Mehrwert von Data Science für die Arbeiten des BFE aufzeigen soll. Mit Hilfe verschiedener Methoden maschinellen Lernens soll z.B. die Anfälligkeit der Verteilnetzbetreiber in bezug auf Cyberangriffe analysiert oder der nationale Stromendverbrauch vorhergesagt werden.

Rechtsgrundlage erforderlich

Auch die Kantone haben diverse Vorhaben lanciert. Im Kanton Zürich wurde ein Projekt zur Triage von Kantonsratsanfragen mit Hilfe von Machine Learning durchgeführt.⁴ Und mit Hilfe der Software Precobs werden im Aargau aufgrund von Vergangenheitsdaten Vorhersagen über die Wahrscheinlichkeit von Einbrüchen beziehungsweise gefährdete Gebiete getroffen.⁵

Für staatliches Handeln ist gemäss dem Legalitätsprinzip eine sowohl hinsichtlich der Normstufe (Gesetz oder Verordnung) als auch der Normdichte (Detaillierungsgrad) ausreichende Rechtsgrundlage erforderlich. Das gilt auch für den Einsatz von KI. Dabei ist allerdings nicht jeder KI-Einsatz mit den gleichen Herausforderungen verbunden, und entsprechend gelten nicht für jede Anwendung dieselben Anforderungen an die Rechtsgrundlage. Wenn der KI-Einsatz aber Einschränkungen von Grundrechten – z.B. das Diskriminierungsverbot oder die persönliche Freiheit – mit sich bringt, sind die Anforderungen strenger. Dasselbe gilt, wenn der Einsatz von KI rechtsstaatliche Verfahrensgarantien beeinträchtigt – wie den aus dem rechtlichen Gehör fliessenden Anspruch auf vorgängige Äusserung und Mitwirkung in Verwaltungsverfahren oder den Anspruch auf Begründung einer Verfügung. Ausserdem ist für die Bearbeitung besonders schützenswerter Personendaten oder in Fällen des Profilings nach den datenschutzrechtlichen Vorgaben eine formell-gesetzliche Grundlage notwendig.

In Diskussionen rund um KI wird häufig auf das neue Datenschutzgesetz des Bundes (nDSG) verwiesen, das am 1. September 2023 in Kraft tritt. Es enthält in Artikel 21 eine Bestimmung zu «automatisierten Einzelentscheiden». Sowohl die inhaltliche Bewertung des Sachverhalts als auch die darauf beruhende Entscheidung erfolgen dann ausschliesslich durch Algorithmen, d.h. ohne Dazutun einer natürlichen Person. Setzen Bundesorgane solche automatisierten Einzelentscheide ein, sind sie aufgrund des nDSG verpflichtet, diese entsprechend zu kennzeichnen. Ausserdem muss der betroffenen Person die Möglichkeit gegeben werden, ihren eigenen Standpunkt darzulegen, und sie hat einen Anspruch auf Überprüfung des Entscheides durch eine natürliche Person. Die Regelung im nDSG enthält indes lediglich Minimalanforderungen, die zu berücksichtigen sind, falls ein Bundesorgan gestützt auf eine andere Rechtsgrundlage vollautomatisierte Entscheide vorsieht, die auf einer Bearbeitung von Personendaten beruhen. Daher dürften die Auswirkungen auf den KI-Einsatz in der öffentlichen Verwaltung gering sein. Denn dort werden maschinelle Lernverfahren meist bei Teilschritten einer Entscheidungsfindung eingesetzt – etwa zur Ermittlung von Angaben zu einem Sachverhalt oder zur Vorbereitung einer Entscheidungsempfehlung, am Schluss entscheidet aber ein Mensch.

Während Bund und Kantone erste KI-Prototypen entwickeln und Erfahrungen mit technischen Verfahren sammeln, sind kaum konkrete Regulierungsbestrebungen für den KI-Einsatz erkennbar. Der Bund stellte im Jahr 2019 vielmehr fest, der allgemeine Rechtsrahmen in der Schweiz reiche zum gegenwärtigen Zeitpunkt grundsätzlich aus, um mit Herausforderungen von KI sowohl im öffentlichen Sektor als auch in der Privatwirtschaft umzugehen.⁶ Im Jahr darauf wurden sieben unverbindliche Leitlinien erlassen, die den Einsatz von KI in der Bundesverwaltung transparent, verantwortungsvoll und sicher gestalten sollen.⁷ Angesichts der Regulierungsbestrebungen in der EU, aber auch der Arbeiten des Europarates zu einer KI-Konvention⁸ erstaunt diese Haltung.

Transparenz, Fairness und Datenschutz sichern

Längst ist für Wissenschafterinnen und Wissenschafter sowie zivilgesellschaftliche Organisationen nicht zuletzt angesichts der rasanten technologischen Entwicklung klar, dass der KI-Einsatz im öffentlichen Sektor angemessener Rechtsgrundlagen bedarf.⁹ Nur so kann sichergestellt werden, dass die Verwendung von KI transparent ist und dass diejenigen, die von KI-Systemen betroffen sind, die Gründe für Entscheidungen verstehen können. KI-Systeme sind ausserdem anfällig für Vorurteile und können diskriminierende Ergebnisse produzieren, wenn sie mit fehlerhaften oder voreingenommenen Daten trainiert werden. Eine Regulierung würde sicherstellen, dass KI-Systeme im öffentlichen Sektor fair eingesetzt werden und keine diskriminierenden Praktiken unterstützen. Zudem muss der Datenschutz gewährleistet werden, insbesondere angesichts der Tatsache, dass KI grosse Mengen an persönlichen Daten verarbeiten kann. Rechtsgrundlagen sollen ferner dafür sorgen, dass KI-Systeme im öffentlichen Sektor sicher und zuverlässig sind und die Menschenrechte respektieren. Dies ist besonders wichtig, wenn KI in Bereichen wie Verkehr, Gesundheitswesen oder öffentliche Sicherheit eingesetzt wird, bei denen Fehler schwerwiegende Auswirkungen haben können.

«KI-Systeme sind anfällig für Vorurteile und können diskriminierende

Ergebnisse produzieren, wenn sie mit fehlerhaften oder

voreingenommenen Daten trainiert werden.»

Zu den zurzeit in Fachkreisen diskutierten konkreten Vorschlägen zählt z.B. die Schaffung verbindlicher Rechtsgrundlagen für ein Register der im öffentlichen Sektor eingesetzten KI-Systeme. Zürich wird demnächst als erster Kanton in der Schweiz entsprechende Vorgaben einführen.¹⁰ Andere Vorschläge beziehen sich auf die Schaffung konkreter Rechtsgrundlagen beim Einsatz von KI durch die Polizei, im Steuerbereich oder für andere besonders sensible Anwendungen. Beispiele dafür sind die Gesichtserkennung und weitere biometrische Fernerkennungsverfahren im öffentlichen Raum, wenn das Risiko einer Massenüberwachung besteht, oder der Einsatz von Social Scoring mit dem Ziel, den Zugang zu grundlegenden Ressourcen (staatliche Dienstleistungen, Kredite, soziale Sicherheit etc.) zu regulieren. Die Vorteile von KI können nur genutzt werden, wenn die Regulierung angemessen ist. Der Staat sollte hier mit gutem Beispiel vorangehen.