Spiel mir den Code vom Tod

Mit einem Knall bricht im Vorlesungssaal Chaos aus: Ein Drohnenschwarm ist in den Raum eingedrungen, scheinbar willkürlich richten die ungesteuerten Nanodrohnen, jedes Einzelstück keine Handfläche gross, ein Massaker an. An zwölf unterschiedlichen Universitäten verlieren an diesem Tag 8300 Studenten ihr Leben, andere kommen unverletzt davon. Später offenbart sich eine Systematik hinter dem Gemetzel: Wer in den Tagen vor dem Attentat in den sozialen Netzwerken ein Video geteilt hatte, das auf Korruption in der Politik hinwies, der wurde von den ­Roboterdrohnen gezielt aufgesucht und getötet.

Ja, das beschriebene Szenario stammt aus einem Science-­Fiction-Film: Mit dem siebenminütigen Video «Slaughterbots» wollte eine Gruppe von Wissenschaftern 2017 auf die Bedrohung durch autonome Waffensysteme aufmerksam machen, die ihre vordefinierten Ziele eigenhändig aufsuchen und mittels einer kleinen Sprengstoffladung rasch und präzis vernichten. Der aufwühlende Kurzfilm wurde millionenfach angeklickt und in zahlreichen Medien diskutiert. Wie weit sind wir davon entfernt, dass unkontrollierbare Drohnenschwärme zur Realität werden?

Am 8. März 2021 publizierte der Sicherheitsrat der Vereinten Nationen einen Bericht zum Konflikt in Libyen. Ein Abschnitt ist besonders brisant: Kurz und relativ schwammig beschreiben die Autoren, wie die Truppen des Warlords Chalifa Haftar im März 2020 von einem Schwarm bewaffneter Kargu-2-Drohnen des türkischen Herstellers STM gejagt worden seien, wobei die Drohnen keiner direkten Steuerung durch einen Menschen unterstanden hätten. Was 2017 eine Dystopie war, scheint sich 2020 erstmals bewahrheitet zu haben.

Die Schwärme kommen

Jeder Drohneneinsatz beginnt in einer Kommandozentrale: Hier wird für die Drohne ein Ziel und ein Einsatzgebiet festgelegt. Zwei Herangehensweisen sind denkbar. Zum einen kann ein mensch­licher Operator die Drohne zum Ziel steuern, wie das beispielsweise heute bei den amerikanischen Drohnenkriegen in Afghanistan oder Jemen der Fall ist. Zum anderen eröffnet die künstliche Intelligenz den Drohnenbetreibern neue Möglichkeiten: Es ist vorstellbar, dass Drohnen ohne menschliche Steuerung ihr Einsatzgebiet so lange durchsuchen, bis sie das vordefinierte Ziel mittels Gesichtserkennung identifizieren.

In seinem Buch «Army of None» beschreibt Paul Scharre, ein ehemaliger Mitarbeiter des amerikanischen Verteidigungsministeriums, die drei Funktionen, die eine künstliche Intelligenz bei einer Vernichtungsdrohne zu erfüllen hat: Sie muss eine Drohne kollisionsfrei navigieren, ein Ziel identifizieren und danach eine Wirkung, beispielsweise das Entzünden einer an der Drohne ­angebrachten Sprengstoffladung, auslösen können. Schritt eins und drei sind gemäss Scharre bereits heute technologisch einwandfrei umsetzbar. Einzig bei der Gesichtserkennung funktioniert die künstliche Intelligenz noch nicht zuverlässig genug. Laut Scharre stellt das die einzige technologische Hürde dar, die heute noch verhindert, dass jemand eine funktionstüchtige und hochpräzise Vernichtungswaffe bastelt – durch die leichte Zugänglichkeit ziviler Drohnen und das Herunterladen einer Open-Source-KI vom Internet theoretisch sogar in der eigenen Garage.

Erachtet ein Land den Gesichtserkennungsmechanismus ­seiner Militärdrohnen einmal als störungssicher genug, steht ­einem Einsatz der Roboterdrohnen nichts mehr im Weg. Das bedeutet allerdings noch nicht, dass sie ihre Ziele auch selbständig vernichten: Technologisch wäre es beispielsweise denkbar, dass eine Roboterdrohne zur Zerstörung jedes Ziels die menschliche Bestätigung aus der Kommandozentrale benötigt. Man spricht dann von «Human-in-the-Loop»: Der Mensch behält die Kontrolle, weil die Drohne ohne die explizite Erlaubnis keinen Schaden anrichten darf. Eine zweite Möglichkeit wäre eine Anwendung nach Schema «Human-on-the-Loop»: Özgür Güleryüz, der CEO von STM, erklärte im Anschluss an den Bericht der UNO, dass die Kargu-2-Drohnen zwar eigenhändig Ziele ausfindig machen, der Mensch den Einsatz allerdings jederzeit abbrechen könne. Dementsprechend bleibt die Drohne durch ein ständiges Vetorecht zu einem gewissen Grad unter menschlicher Kontrolle. Anders liegt der Fall bei den «Slaughterbots»: Sie vernichten ihre Ziele, ohne dass ein Mensch dieses bestätigt, und ohne Möglichkeit auf einen frühzeitigen Einsatzabbruch – sie funktionieren nach dem Prinzip «Human-out-of-the-Loop». Jedes zusätzliche Mass an mensch­licher Kontrolle bringt eine Geschwindigkeitseinbusse mit sich – ein Zeitverlust, der sich im Kriegstreiben als Nachteil erweisen könnte.

Im Schweizer Drohnen- und Robotik-Zentrum, einem Forschungszentrum der armasuisse Wissenschaft und Technologie des Eidgenössischen Departement für Verteidigung, Bevölkerungsschutz und Sport (SDRZ VBS) in Thun werden zwar keine eigenen bewaffneten Drohnen entwickelt oder getestet, man beobachtet jedoch das Wettrüsten im Ausland und beschäftigt sich neben technischen auch mit den rechtlichen, ethischen und moralischen Fragen rund um den Einsatz auto­nomer Roboter. «Das technische Know-how zur Herstellung einer ‹Slaughterbot›-Drohne ist heute schon verfügbar», meint Mark Höpflinger, Leiter des SDRZ VBS. Er betont, dass mächtige Player wie China oder die USA im Verlauf der letzten Jahre viele Millionen in Projekte zur Erforschung von militärischen Drohnenschwärmen investiert hätten. Ein Schwarm ist eine grosse Anzahl Drohnen, die untereinander kommunizieren und ohne direkte menschliche Steuerung vorgehen können. Die militärischen Organisationen haben dabei bereits beträchtliche Fortschritte erzielt: Auf dem YouTube-Kanal der U.S. Navy findet man beispielsweise ein Video aus dem Jahr 2016, in welchem drei F/A-18 Super Hornets ins­gesamt 103 Perdix-Drohnen auswerfen, die sich anschliessend selbständig organisieren und Formationen fliegen.

Technologisch ist also bereits heute viel möglich. – Die wichtigsten Streitkräfte der Welt prüfen gegenwärtig, wie sie die neuerlangten Möglichkeiten zu ihrem Vorteil einsetzen können. Höpflinger sagt: «Die militärische Entwicklung geht eindeutig in Richtung autonomerer Waffensysteme. Militärische Vorteile daraus entstehen unter anderem durch eine Verkürzung der Reaktionszeit, was in einem zukünftigen hochintensiven Konflikt ein entscheidender Faktor sein kann.» Zusammen mit den Universitäten Zürich und St. Gallen entwickelt das SDRZ VBS ein Ethik-Evalua­tions-Schema, um robotische Anwendungen nach 37 Kriterien – vom Aussehen eines Roboters bis hin zu seiner Anfälligkeit für Angriffe durch Hacker – auf Herz und Nieren zu überprüfen. Dies soll eine fundiertere Diskussion über die ethischen Risiken der Technologie ermöglichen. Die Möglichkeiten der Schweiz zur ­Einflussnahme in die internationale Dynamik sind jedoch beschränkt: Bei der Entwicklung autonomer Waffensysteme ist sie zusammen mit vielen weiteren Nationen eine Zuschauerin, die am Seitenrand aufschreit, wenn sie auf dem Spielfeld eine Ungerechtigkeit entdeckt – ob sie damit das Spielgeschehen verändern kann, bleibt offen. Geht es um die Abwehr dieser Bedrohung, wird sie jedoch zwangsweise zur Mitspielerin.

Halbautonome Staubsauger

Man könnte an dieser Stelle entgegnen, dass der Einsatz maschineller Unabhängigkeit vom Menschen in einem militärischen Kontext kein Novum sei: Erste Marschflugkörper, die sich selber ins Ziel navigieren, wurden bereits während des Ersten Weltkriegs erprobt, und das 2010 in Dienst gestellte israelische Abwehrsystem Iron Dome pflückt Kurzstreckenraketen aus der Luft, ohne dass ein Mensch ihm die explizite Erlaubnis zum Abschuss erteilt.

Es gibt international tatsächlich keinen Konsens darüber, wie «Autonomie» im Kontext eines Waffensystems definiert wird. Beim SDRZ VBS stützt man sich unter anderem auf die sogenannten Autonomy Levels for Unmanned Systems (ALFUS). Maschinelle Anwendungen werden gemäss diesem Framework nach drei Kriterien beurteilt: nach ihrer Umgebungskomplexität, Missionskomplexität und Unabhängigkeit vom Menschen. Vielleicht besitzen Sie ja einen Staubsaugerroboter iRobot Roomba, der Ihr Wohnzimmer rund um die Uhr sauber hält. Der Roomba ist stark unabhängig vom Menschen – auch wenn Sie ihn nicht ständig überwachen, macht er das, was er am besten kann. Da das Komplexitätsniveau seiner Mission allerdings äusserst gering ist, würden ihn nur wenige als «autonom» bezeichnen. Anders wäre es bei den fiktiven «Slaughterbots»: Unabhängig von menschlicher Steuerung seine Ziele zu finden und zu vernichten ist eine hochkomplexe Angelegenheit, die in allen drei Kriterien den geläufigen Vorstellungen von «Autonomie» entspricht.

Beim SDRZ VBS rollt in den Gängen ein RoboMaster S1 des chine­sischen Herstellers DJI herum, ein Spielzeugroboter mit einem kleinen Kanonenrohr. Das Zentrum möchte mit diesem Spielzeug die potentielle zukünftige Bedrohung vor Augen führen und zeigen, wie weit die Technologie bereits ist. Mit einer App auf dem Smartphone gibt man dem RoboMaster ein Ziel vor, welches der Roboter dann bestätigt und fixiert – von nun an verfolgt die Minikanone die Zielperson auf Schritt und Tritt. Unter dem Leitspruch «Learn to Win» wird er auf der Website von DJI als ideales Einsteigermodell für das Programmieren von Robotern beworben. Soll sie also so aussehen, die Kriegsführung der Zukunft?

Die Schweiz wartet ab

Beat Flach hat Sorgenfalten auf der Stirn. «Künstliche Intelligenz wird bei Waffensystemen eine ähnliche Revolution auslösen, wie das der Wechsel vom Vorlader zur Patrone und dem Maschinengewehr getan hatte», sagt der grünliberale Nationalrat. Seit ­Jahren warnt Flach seine Kolleginnen und Kollegen im Parlament vor der neuartigen Bedrohung, die von autonomen Waffen ausgeht – und stösst dabei oft auf taube Ohren, wie er erzählt. Die Diplomatie beschäftigt sich schon seit einigen Jahren regelmässig mit den ­Anwendungen einer modernen Kriegsführung: Auf Druck der Bürgerbewegung «Campaign to Stop Killer Robots» treffen sich seit 2014 regelmässig Vertreter von Regierungen aller Welt, um in Genf über ein allfälliges Verbot autonomer Waffensysteme im Rahmen des Völkerrechts zu diskutieren.

Weltweit fordern über 30 Staaten – vornehmlich aus Süd- und Mittelamerika oder Afrika, mit Österreich als einzigem Vertreter aus Westeuropa – eine Regulierung von Waffensystemen, die «über einen Mangel an sinnvoller menschlicher Kontrolle» ver­fügen. Ein Spezialfall unter diesen stellt China dar: Es unterstützt zwar ein Verbot tödlicher autonomer Waffen in ihrer Ver­wendung, nicht jedoch in ihrer Entwicklung – ein strategisch nachvollziehbarer Schritt, gehört die Volksrepublik doch zu den führenden Entwicklern autonomer Drohnensysteme. Die bisherigen Fortschritte der Treffen in Genf bleiben jedoch überschaubar: 2019 verabschiedeten die Regierungsvertreter elf Leitprinzipien, die im wesentlichen jedoch lediglich notieren, dass das bestehende Völkerrecht auf neue Bedrohungslagen anwendbar sei. Für das Erlassen neuer Regeln ist der Verhandlungsprozess blockiert: Wichtige Player wie die USA oder Russland erachten es als verfrüht, über ein Verbot einer Technologie nachzudenken, die heute noch gar nicht eingesetzt wird. Auch die Genfer Diplomatie ist sich nicht einig darüber, was sie eigentlich meint, wenn sie von «autonomen» Waffensystemen spricht.

«Solange die ‹Slaughterbots› in ihrer Testumgebung bleiben und

nicht durch unsere Strassen und Universitäten schwirren,

kann die Gesellschaft noch die Rahmenbedingungen für den ­

Einsatz autonomer Drohnenschwärme definieren.»

Die Schweiz hat seit 2014 an sämtlichen Verhandlungen zu autonomen Waffensystemen teilgenommen. Bezüglich eines Verbots der «Killerroboter» hat sie bis anhin jedoch keine Position ­bezogen – die Vertreter der Eidgenossenschaft sehen sich zur neutralitätspolitischen Zurückhaltung verpflichtet. Beat Flach will das ändern: «Es muss eine ethische, moralische und rechtliche Verantwortung für den Einsatz von autonomen Drohnen geben. Mein Wunsch ist es, dass der Bundesrat sich bei den Vereinten Nationen für ein Verbot oder immerhin eine global anerkannte Regelung über den Einsatz autonomer Waffensysteme einsetzt. Die Schweiz soll eine Vermittlerrolle einnehmen.» Langsam, aber sicher scheinen Flachs Bemühungen Wirkung zu erzielen: Im Juni 2021 befürwortete der Nationalrat ein Postulat der sicherheitspolitischen Kommission, wonach der Bundesrat im Rahmen der «Rüstungskontrolle und Abrüstung 2022–2025» einen Bericht erstellen soll, der sich mit den drohenden Herausforderungen rund um den ­Einsatz künftiger autonomer Waffensysteme auseinandersetzen soll. «Das absolute Minimum», findet Beat Flach.

Sind Sie bereit?

Lauscht man den mahnenden Worten von Beat Flach, scheint es offensichtlich: Die Welt wäre eine friedlichere, wenn wir den ­autonomen Drohnen einen Riegel schieben könnten, bevor sie ihr Unheil anrichten können. Es gibt allerdings auch glühende Verfechter autonomer Kampfdrohnen, die darin eine Chance für eine ethischere Kriegsführung sehen: der US-amerikanische Roboter­ethiker Ronald C. Arkin zum Beispiel, der sich von der erhöhten Zielgenauigkeit der Maschinen eine Verminderung von «Kollateralschäden» verspricht – solange es den Entwicklern gelingt, bei der Programmierung der Drohnen ethische Mindestbedingungen einzubacken.

«Das humanitäre Völkerrecht und die Genfer Konvention schreiben heute schon vor, wann man Gewalt anwenden darf und wann nicht – ganz unabhängig davon, ob ein Waffensystem autonom ist oder nicht», sagt Tobias Vestner. Er ist Leiter des Programms «Sicherheit und Recht» beim Geneva Centre for Security Policy und beschäftigt sich mit den ethischen und rechtlichen Fragestellungen rund um autonome Waffensysteme. Dass die ­internationale Gemeinschaft sich bisher noch nicht auf einheit­liche Richtlinien hinsichtlich der «Killerroboter» einigen konnte, erklärt Vestner sich so: «Kriegssituationen sind sehr komplex. Dementsprechend fällt es bis heute schwer, künstliche Intelligenz so einzusetzen, dass der Mensch sie unter Kontrolle behält. Grössere Staaten wie die USA sind sich dessen bewusst und wollen sich daher zuerst einen Überblick über die Anwendung verschaffen – sie wollen erkunden, zu was die Technologie überhaupt ­fähig ist.» Vestner glaubt nicht, dass die internationale Gemeinschaft den Einsatz autonomer Drohnen verbieten wird: «Die Technologie wird kommen, und die Militärs dieser Welt werden sie verwenden. Sie werden sich allerdings auf nationaler Ebene für die Festsetzung von Technologiestandards engagieren, da auch sie ein Interesse daran haben, dass autonome Waffen­systeme unter menschlicher Kontrolle bleiben. Im multilateralen Rahmen wird man dann wahrscheinlich versuchen, die unterschiedlichen Standards miteinander abzugleichen.»

Dabei sind jedoch schwierige Fragen zu beantworten. Was, wenn der Drohnenabsender ein Staat wie Nordkorea ist, der sich nicht um die Richtlinien des Völkerrechts schert? Was, wenn sich nicht identifizieren lässt, wer eine bewaffnete Drohne überhaupt in den Einsatz geschickt hat? Was, wenn eine Drohne unter menschlicher Kontrolle einem ungezügelten Roboter militärisch unterlegen ist?

Solange die «Slaughterbots» in ihrer Testumgebung bleiben und nicht durch unsere Strassen und Universitäten schwirren, kann die Gesellschaft noch die Rahmenbedingungen für den ­Einsatz autonomer Drohnenschwärme definieren. Letztlich sei es eine ethisch-moralische Frage, ob autonome Waffensysteme gerechtfertigt seien, sagt Tobias Vestner. «Darf ein Algorithmus die Entscheidung über den Tod eines Individuums fällen? Das muss jeder und jede mit dem eigenen Bauchgefühl beantworten.»