Dürfen Maschinen
über Menschen entscheiden?

In der öffentlichen Diskussion um die Grenzen des Einsatzes von selbstlernenden Maschinen und künstlicher Intelligenz (KI) steht oft die Frage nach der Verantwortung oder der Haftung im Vordergrund, namentlich wenn es um populäre Beispiele von Unfällen mit Robotern oder selbstfahrenden Autos geht. Dabei wird vergessen: Die Haftungsproblematik als Folge einer Schadensverursachung stellt sich eigentlich erst ganz am Ende der Kausalkette. Es wäre stattdessen angezeigt, die Debatte zu den rechtlichen Leitplanken algorithmischer Entscheidungen mit der Frage zu beginnen, wo und wie das Rechtssystem die Entscheidungen und Handlungen definiert. Denn: Dank neuer Technologien ist es möglich geworden, immer mehr – früher von Menschen getroffene – Entscheidungen an Maschinen zu delegieren. Und die Dynamik dieser Technologien, einschliesslich der Tatsache, dass ihre Entscheidungsgeschwindigkeit zunimmt und auch die Entscheidungsqualität (d.h. die Effizienz bei der Entscheidungsfindung) bei Maschinen oft höher ist als bei Menschen, kann in Konflikt geraten mit dem eher statischen Recht, das zuvorderst eine stabile und Verlässlichkeit bringende Ordnung verwirklichen will.

Diese Entwicklung stellt die Menschheit vor Fragen, die sie in ihrer bisherigen Geschichte nicht beantworten musste und die nun plötzlich sehr aktuell werden. Etwa: Sind automatisierte Entscheidungen anders geartet als menschliche Entscheidungen? Und wenn ja, wie reflektiert das Recht diesen Umstand? Haben die Maschinen schon heute ein Recht, Entscheidungen zu fällen – oder sollen sie ein solches erhalten? Und wenn ja: In welchen Lebensbereichen könnte dies der Fall sein? Um diese Fragen zu beantworten, erscheint es als sinnvoll, ein wenig auszuholen.

Recht als Rahmenordnung für Technologien

Klar ist: Das Recht setzt die Leitplanken für das menschliche Verhalten und die gesellschaftliche Organisation. Mit seinen Anordnungen kann das Recht etwas erlauben oder aber verbieten, ausserdem Bedingungen für die Ausübung von Tätigkeiten vorschreiben. Wie sieht das im Hinblick auf Maschinen konkret aus?

Einen klaren Verbots-Weg hat die nach dem Zweiten Weltkrieg unter dem Eindruck der Industrialisierung geschriebene Verfassung der Freien Hansestadt Bremen gewählt, die festlegt: «Der Mensch steht höher als Technik und Maschine (…).»¹ Wörtlich genommen würde diese Vorschrift die Übertragung von Entscheidungen auf Maschinen also schlicht ausschliessen. Diese Vorschrift dürfte weltweit einzigartig sein und ist (soweit ersichtlich) in der Rechtsprechung auch noch nie zur Anwendung gekommen. Zahlreicher als die ausdrücklichen Verbote sind im aktuellen Recht aber die impliziten Förderungen neuer Technologien: So verpflichtet etwa die Behindertenrechtskonvention der Vereinten Nationen (UNO) die Staaten zur Unterstützung der Forschung und Entwicklung neuer Technologien, die behinderten Menschen eine geeignete Hilfe sein könnten.² Trifft diese Vor-aussetzung z.B. für automatisierte, mit künstlicher Intelligenz betriebene Geräte zu, wäre deren Einsatz geboten. Ausserdem haben die Bürgerinnen und Bürger nach der Europäischen Grundrechtecharta ein Recht auf eine gute Verwaltung.³ Was harmlos klingt, bedeutet im Zeitalter von KI aber auch: Falls Algorithmen die Verwaltungsaufgaben besser, schneller und/oder für die Betroffenen einfacher erledigen, müssten sie eingesetzt werden.

Bereits aus diesen Beispielen wird ersichtlich, dass ein grundsätzliches Problem, dem sich das Recht ausgesetzt sieht, wenn neue Technologien die Umweltbedingungen verändern (wie z.B. auch beim Aufkommen der Internet- oder später der Blockchain-Infrastruktur), darin besteht, dass einstmals klar ersichtliche und sinnvoll erscheinende Regelungen plötzlich ihren Charakter verändern, nicht mehr denselben Sinn haben wie vor der Entwicklung der Technologie. Der regelmässig langsame Anpassungsprozess der Regulierungen ist sachimmanent, und eine Beschleunigung des Gesetzgebungsprozesses würde bedingen, die Kompetenzen vom Parlament auf einzelne Verwaltungseinheiten zu verschieben, was unter Demokratiegesichtspunkten nicht ideal ist.⁴ Einfache Verbote, Erlaubnisse und Definitionen von Bedingungen nützen der Zivilgesellschaft also im Umgang mit neuen Technologien nur so lange, wie letztere einen klar definierten Tätigkeitsbereich (etwa bei der Fertigung in der Industrie) haben, der reglementiert wird. Spätestens wenn es um den Umgang mit Menschen und ihren direkten Schicksalen – ihrer Würde – geht, hört dieser Kreis aber auf. Was also tun in einem solchen Fall?

Menschenwürde und informationelle Selbstbestimmung als Ausgangspunkt

Die Verfassungen vieler kontinentaleuropäischer Länder, so auch die Bundesverfassung (BV) in der Schweiz, enthalten den Grundsatz der Menschenwürde⁵ und der informationellen Selbstbestimmung.⁶ Die Menschenwürde ist (auch bei einem Robotereinsatz) unantastbar und schützt vor Eingriffen in die physische oder psychische Integrität des einzelnen. Nach der sogenannten «Objektformel» dürfen Menschen nicht (oder nur unter bestimmten Voraussetzungen) den Entscheidungen von Maschinen unterworfen sein, weil dadurch die Menschenwürde gefährdet werden könnte. In einer solchen eher abstrakten Betrachtungsweise spielt auch keine Rolle, ob automatisierte Maschinenentscheidungen qualitativ schlechter oder besser sind als menschliche Entscheidungen.

Weitere Bestimmungen sekundieren diesen Grundsatz: Das zentrale Gleichbehandlungsgebot ⁷ bzw. Diskriminierungsverbot will verhindern, dass Fehlentwicklungen zulasten von möglicherweise benachteiligten Individuen eintreten. Dieser Grundsatz kommt etwa zum Tragen, wenn die von intelligenten Systemen verwendeten Daten zu Personen und Entscheiden nicht repräsentativ sind oder sie keinen relevanten Bezug zur Auswertung aufweisen (z.B. im Rahmen eines mit einem Roboter geführten Anstellungsgesprächs). Weiter räumt der Anspruch auf rechtliches Gehör dem einzelnen ein Recht auf Anhörung ein: Behörden und Gerichte sind zu einer Begründung ihrer Entscheidungen verpflichtet⁸ – bei Algorithmen, die Recht sprechen sollen, würde das wohl schwierig.

Das Grundrecht auf Schutz der Privatsphäre schützt zudem jeden Umgang mit persönlichen Daten, d.h. mit solchen Daten, die einen gewissen Bezug zu einer bestimmten oder zu einer (weit ausgelegt) bestimmbaren Person haben. Staatliche Verfügungen, auch erlassen gestützt auf einen Algorithmus, stellen regelmässig eine Bearbeitung personenbezogener Daten dar und fallen deshalb in den Schutzbereich der informationellen Selbstbestimmung. Moderne Datenschutzgesetze enthalten deshalb konkrete Regelungen bei automatisierten Einzelentscheidungen. Ungeachtet dessen bleibt die aber interessanteste Frage im Umgang mit den neuen Maschinen offen: Einig sind wir uns wohl alle dahingehend, dass KI und ihre Handlungen reguliert werden müssen, dass man ihnen Grenzen setzt und «Pflichten» auferlegt. Aber: Wollen wir ihnen auch Rechte⁹ zugestehen?

Rechtspersönlichkeit von Maschinen?

Den Anfang genommen hat diese Diskussion, ausgelöst von staatlichen Behörden, im Steuerrecht: Weil immer mehr Arbeiten von Maschinen und nicht mehr von Menschen erledigt werden, möchten die Steuerämter eine Anknüpfung der Steuererhebung bei den Maschinen ins Auge fassen (sog. Robotersteuer). Das Konzept würde darin bestehen, dass Steuerausfälle wegen des Verlustes an Arbeitsstellen dadurch kompensiert werden, dass der Gebrauch von Robotern bei den Unternehmen besteuert wird. Nötig wäre die Entwicklung einer spezifischen steuerlichen Rechtspersönlichkeit und eines angemessenen Steuersystems. Von ebenso grosser Bedeutung ist die Frage der Rechtssubjekteigenschaft mit Blick auf Verantwortung und Haftung. Wer soll für den Schaden einstehen, den eine automatisiert handelnde Maschine verursacht? Steht das die Algorithmen verwendende Unternehmen oder der Softwareentwickler in der Pflicht?

Bisher ist die juristische Lehre überwiegend, aber nicht einstimmig, der Auffassung gewesen, dass den Maschinen keine Rechtspersönlichkeit zukommt, was auch mit der Tatsache zusammenhängen mag, dass es sich bei der künstlichen Intelligenz, die algorithmische Entscheidungen ermöglicht, um eine von der Technikgestaltung abhängige «Querschnittsmaterie» handelt. Nicht auszuschliessen ist aber, dass sich diese Meinungsbildung künftig, insbesondere wenn die Quantität von an Maschinen delegierten Entscheidungen (und deren Qualität) zunimmt, ändert.

In ähnlicher Weise wird über eine «Ethik der Algorithmen» bzw. über eine «Roboterethik» debattiert, die danach fragt, ob die autonomen Maschinen selber über irgendeine Form von ethikrelevantem Bewusstsein verfügen. Eine solche Annahme würde bedingen, dass Maschinen auch eine moralische Verantwortung für ihr Tun zu übernehmen in der Lage wären; mehrheitlich wird deshalb heute in der Ethik davon ausgegangen, dass anstelle der Schaffung einer Roboterethik vielmehr eine Erweiterung der auf den Menschen bezogenen Ethik sachgerecht wäre.

Verfassungsrechtliche Rahmenbedingungen für algorithmische Entscheidungen

Auch künftig gilt: Automatisierte Einzelentscheidungen von Behörden sind nur zulässig, wenn – wie für jedes staatliche Handeln – eine gesetzliche Grundlage vorliegt (Legalitätsprinzip). Für schwerwiegende Grundrechtseingriffe ist sogar ein formelles Gesetz erforderlich. Heute fehlt es verbreitet am Vorliegen dieser Voraussetzung, obwohl in vielen Bereichen der Verwaltung eine Digitalisierung der Verfahren durchaus denkbar wäre. Im Vordergrund stehen Steuerveranlagungen (in Deutschland schon weiter vorangetrieben als in der Schweiz), aber auch in anderen Bereichen (z.B. Zollabrechnungen) ist der Einsatz von Algorithmen durchaus denkbar.
Um das Manko der fehlenden gesetzlichen Grundlage zu beheben, will der Bundesrat mit dem neuen, im Parlament zur Diskussion anstehenden (nachfolgend genauer angesprochenen) Datenschutzgesetz – wenn zwar systematisch nicht überzeugend – Sonderregeln schaffen: Im Anhang zum Gesetzesentwurf ist vorgesehen, dass die Festsetzung der Schwerverkehrsabgabe, des Steuerbetrags nach Tabaksteuergesetz und Mineralölsteuergesetz sowie die Veranlagung nach Zollgesetz und nach Biersteuergesetz automatisiert bzw. durch einen Algorithmus erfolgen darf. Weiter sollen die mit der Durchführung der Unfall- und der Militärversicherung betrauten Organe pauschal ermächtigt werden, automatisierte Verfügungen zu erlassen.

Rechtstaatlich weiter zu beachten sind die allgemeinen Verfahrensgarantien, insbesondere das rechtliche Gehör. Beim automatisierten Erlass einer Verfügung ist gesetzlich in den meisten Fällen ein vorgängiges Recht des Betroffenen auf Äusserung nicht vorgesehen; sofern eine Verfügung zu seinem Nachteil ergehen soll, ist das Recht auf Gehör aber jedenfalls zu gewährleisten. Eine weitere Anforderung betrifft das Recht auf Begründung staatlichen Handelns; ob die Entscheidung eines Algorithmus, der mit künstlicher Intelligenz ausgestattet ist, eine Begründung zu liefern vermag, ist zumindest ungewiss. Spezifische Kausalketten einer individuellen Konstellation wird ein Algorithmus regelmässig auch nicht erkennen können. Aus diesen Gründen dürften automatische Entscheidungen nur, aber immerhin in stark standardisierten Verfahren zur Anwendung kommen können.

Automatisierte Einzelentscheidungen und Datenschutz

Dem Datenschutz kommt in der digitalisierten Welt eine ohnehin immer grössere Bedeutung zu. Die Aufrechterhaltung des Schutzes der Personendaten ist auch sicherzustellen, wenn Maschinen die Entscheidungen automatisiert fällen. Die Datenschutzgrundverordnung der Europäischen Union (DSGVO) und der Entwurf zu einem Schweizer Datenschutzgesetz (E-DSG) anerkennen dieses Anliegen durch Schaffung besonderer rechtlicher Vorgaben.

Schon das französische Datenschutzgesetz von 1978 hatte ein grundsätzliches Verbot automatisierter Einzelentscheidungen enthalten. Die DSGVO geht in Art. 22 ebenfalls von deren Unzulässigkeit aus, enthält aber Ausweichklauseln: Ausnahmen sind etwa vorgesehen mit Blick auf den Abschluss oder die Erfüllung eines Vertrages und im Falle einer ausdrücklichen Einwilligung der betroffenen Person, die auf einer ausreichenden Information zu beruhen hat. Obwohl in der Schweiz das E-DSG grundsätzlich dem Konzept der DSGVO folgt, wird in Art. 19 nicht ein Verbot von automatisierten Einzelentscheidungen vorgesehen, sondern lediglich eine (relativ detaillierte) Informationspflicht und ein Recht auf das sog. menschliche Gehör vorgeschlagen. Ähnlich wie in der EU sind zudem Ausnahmen vorgesehen. Wie sich das Parlament zu diesem Vorschlag des Bundesrates stellt, bleibt abzuwarten.

Ganz allgemein nehmen moderne Datenschutzgesetze (auch in der Schweiz) einen Paradigmenwechsel vor: Die Anliegen des Datenschutzes und der Datensicherheit sollen durch Technologiegestaltung umgesetzt werden. Datenschutzfreundliche Voreinstellungen und Datenschutzfolgeabschätzungen bezwecken, die persönlichen Daten vor Kenntnisnahme durch unberechtigte Dritte abzuschotten. Je besser die Technikgestaltung funktioniert, umso höher ist das Schutzniveau. Diese allgemeine Überlegung gilt auch für automatisierte Einzelentscheidungen.

Aspekte der Verantwortung und Haftung

Nun zu Verantwortung und Haftung: Das (den umliegenden Ländern ähnliche) Schweizer Haftungsrecht kennt eine Vielzahl allgemeiner Prinzipien, die im Falle von Schadensverursachungen zur Anwendung kommen können: Da wären, erstens, die allgemeinen Regeln der Deliktshaftung. Sie verpflichten die Anbieter von Gütern (also auch von Software), die Produkteentwicklungen zu beobachten und regelmässige Risikoabschätzungen vorzunehmen, um festzustellen, welche Fehlentwicklungen dem Techno­logiedesign inhärent sein könnten, sowie hernach proaktiv Schutzmassnahmen zu treffen, um die Risiken zu mindern. Der anwendbare Haftungsmassstab ist offen und objektiviert; eine Verantwortung entfällt nur dann, wenn unvorhersehbare Systemreaktionen eintreten. Das besondere Produkthaftungs- und Produktsicherheitsrecht (in der Schweiz und in der EU) begründet, zweitens, sogenannte Gefährdungshaftungen, die den Anbieter von Gütern kausal haften lassen, ausser wenn ihm – etwa im Falle eines «Ausreissers» – der Exkulpationsbeweis gelingt. Die schon etwas in die Jahre gekommenen Gefährdungshaftungsgesetze erfassen aber Dienstleistungen grundsätzlich nicht; in der Europäischen Union ist deshalb anerkannt, dass sich eine Anpassung der Regulierungen aufdrängt. Das EU-Parlament hat überdies die Kommission aufgefordert, einen Vorschlag für eine Richtlinie zu zivilrechtlichen Regelungen im Bereich Robotik («Civil Law Rules on Robotics») auszuarbeiten.

Abseits dieser Neuentwicklungen sind, drittens, auch konkrete Gesetzesanpassungen, wie dies Deutschland vor knapp zwei Jahren mit einer Revision des Strassenverkehrsrechts getan hat, angezeigt. Nach § 1a des Strassenverkehrsgesetzes (StVG) dürfen zwar Fahrzeuge auf hoch- oder vollautomatisierte Fahrfunktionen ausgelegt werden, doch bleibt die Rolle des Fahrzeugführers als verantwortliche Person erhalten.¹⁰¹¹ Wenn also der Computer das Fahrzeug steuert, kommt dem Fahrzeugführer eine veränderte Aufgabe zu, nämlich die unmittelbare Überwachung des Fahrzeuges, weshalb er «wahrnehmungsbereit»¹² zu sein hat, um bei entsprechenden Signalen des Fahrzeugs oder bei «offensichtlich» eine Fehlfunktion indizierenden Umständen die Kontrolle über das Fahrzeug wieder zu übernehmen.¹³ Dieses Konzept einer Verantwortungszuordnung im Mensch-Maschine-Verhältnis wird durch den «Event Data Recorder»¹⁴ auf der Beweisebene abgesichert. Mit einer solchen Regelung hat Deutschland an sich Neuland betreten, auch wenn einige Details noch klärungsbedürftig sein werden.

Die Gretchenfrage

Die im Titel gestellte Frage, ob Maschinen über Menschen entscheiden dürfen, lässt sich nicht mit einem einfachen «Ja» oder «Nein» beantworten. Vielmehr geht es vorerst darum, in der Gesellschaft zu diskutieren, welche Technologien im Interesse der Menschen einsatzwürdig sind und welche nicht. Diese Debatte ist breit, nicht allein in der Rechtswissenschaft, zu führen und muss neben ökonomischen Effizienzüberlegungen auch die ethisch-moralische und die soziale Dimension mitumfassen. Im Kontext der Internet Governance wird meist vom sog. «Multistakeholder»-Vorgehen gesprochen.

Der technologische Fortschritt lässt sich nicht aufhalten; es wäre auch wenig sinnvoll, auf den Nutzen und die Chancen des Einsatzes von Algorithmen zu verzichten. Die Geschichte lehrt, dass ein «Hände weg»-Ansatz nicht zukunftsgerichtet ist; so hat etwa das Verbot des Autofahrens im Kanton Graubünden sich nicht sehr lange halten lassen (1900 − 1925). Das Recht ist vielmehr aufgerufen, Rahmenbedingungen festzulegen, die zu beachten sind, wenn in bestimmten Situationen Maschinen über Menschen entscheiden dürfen.

Grundpfeiler einer solchen rechtlichen Rahmenordnung müssen die Menschenwürde, das Diskriminierungsverbot und der Schutz der Privatsphäre (informationelle Selbstbestimmung) sein. Wenn es gelingt, diese drei verfassungsrechtlichen Prinzipien im Kontext algorithmischer Entscheidungen zu operationalisieren und noch weitere spezifische Gesetzesanpassungen kleineren Ausmasses (z.B. im Haftungsbereich) zu realisieren, verliert die negativ behaftete Vorstellung, dass Maschinen über Menschen entscheiden, erheblich an Brisanz.