Im „Forum InformatikerInnen für Frieden und gesellschaftliche Verantwortung“ (FIfF e.V.) engagieren sich Fachleute aus der Informatik seit über 40 Jahren für Abrüstung in militärischen Anwendungen. Zuletzt forderte das FIfF e.V. gemeinsam mit, „AK gegen bewaffnete Drohnen“ sowie der „Informationsstelle Militarisierung“ in einem Positionspapier, das System „Lavender“ der israelischen Streitkräfte und andere KI-basierte Waffensysteme sollten als Kriegsverbrechen eingestuft werden.

netzpolitik.org: Wieso habt ihr euch dafür entschieden, das Positionspapier zu schreiben?

Rainer Rehak: In der Diskussion um aktuelle Kriege werden sehr viele politische, militärische, soziale, wirtschaftliche und menschenrechtliche Fragen verhandelt. Insbesondere bei den aktuell von Israel ausgehenden Angriffen mit KI-basierten Waffensystemen gibt es aber wenige Stimmen, die kompetent sowohl die Technik verstehen als auch die gesellschaftliche Einbettung nachvollziehen können.

Da wir uns in Arbeitsgruppen schon lange mit bewaffneten Drohnen, automatischen, automatisierten und autonomen Waffensystemen beschäftigen, haben wir gemerkt, dass wir uns dazu äußern müssen. Unser Vereinsmitglied Christian Heck steckt sehr tief in dem Thema drin. Er machte den Anfang und hat uns dann alle reingeholt.

„Wir haben eine ganz klare politische Forderung“

netzpolitik.org: Wen möchtet ihr mit dem Positionspapier erreichen?

Rainer Rehak: Zum einen die Zielgruppe der interessierten Öffentlichkeit. Wir wollen den Leser:innen einen differenzierteren Blick auf die Diskussion ermöglichen. Wenn von „Targeted Killing“, also gezielter Tötung oder KI gesprochen wird, klingt das oft positiv. Genauso wie die älteren Begriffe „Smart Bombs“ oder „Präzisionswaffen“. Die klingen klinisch sauber und schön. Deshalb wollten wir einordnen, was technisch dahintersteckt. Außerdem versuchen wir, die Entwicklungen in Beziehung zum historischen Kontext zu verstehen.

Zum anderen richten wir uns explizit an die Politik. Wir haben eine ganz klare politische Forderung: Die Nutzung von solchen KI-Systemen muss als Kriegsverbrechen eingestuft werden.

netzpolitik.org: Habt ihr noch weitere Forderungen, explizit an die Bundesregierung?

Rainer Rehak: Der Einsatz autonomer und bewaffneter Drohnen sollte insgesamt politisch geächtet werden. Unser Ziel ist es darauf hinzuarbeiten, dass sie völkerrechtlich genauso behandelt werden wie ABC-Waffen. Uns ist klar, dass bewaffnete Drohnen schon lange in der Welt sind. Das macht sie aber nicht richtiger. Bei autonomen Drohnen haben wir gemerkt, dass das ein besonders schwieriger Prozess ist. Es treten schon bei der Definition Probleme auf, was autonome Drohnen sind und was sie von normalen Drohnen unterscheidet.

netzpolitik.org: Um ein Ziel mit einer herkömmlichen bewaffneten Drohne anzugreifen, braucht es immer noch Menschen. Sie sind im Prozess eingebunden, wenn auch mit großer räumlicher Distanz. Bei autonomen Systemen ist das anders. Warum sollten Menschen die Entscheidungen treffen?

Rainer Rehak: Sobald gehandelt wird, muss auch irgendwer verantwortlich sein. Das trifft sowohl dann zu, wenn es schief läuft, als auch, wenn etwas richtig läuft. Wenn mit Waffen Menschen getötet werden, dann müssen sich Menschen dafür verantworten, dass sie das gemacht oder sich dafür entschieden haben.

„Ein Prozess von Verantwortungsdiffusion bei gleichzeitig zunehmender Technisierung und Komplexität“

netzpolitik.org: Ist das bei Systemen wie „Lavender“ der Fall?

Rainer Rehak: Bei diesen automatisierten Systemen, mit denen wir es jetzt zum Beispiel mit „Lavender“ zu tun haben, findet eine automatische Zielselektion statt. Trotzdem ist jemand verantwortlich. Es sind die, die gesagt haben: Wir benutzen dieses System, wir kennen alle Eigenschaften, wir machen das. Da liegt die Verantwortung nicht mehr allein bei den einzelnen Soldatinnen und Soldaten, die das auf dem Schlachtfeld einsetzen. Auch diejenigen in den Hierarchieebenen weiter oben, die Strategien entwickeln oder die politischen Ziele vorgeben, tragen Verantwortung. Es wird immer leichter, die Verantwortung an viele Stellen zu legen. Dieser Effekt wird leider auch strategisch ausgenutzt. Wir sprechen über einen Prozess von Verantwortungsdiffusion bei gleichzeitig zunehmender Technisierung und Komplexität.

Es gibt noch einen zweiten Aspekt, den finde ich persönlich sehr relevant: Diese automatisierten Systeme sind ja eben keine „Präzisionswaffen“. Das zeigt auch die investigative Recherche des Journalisten Yuval Abraham. Stichproben hätten gezeigt, dass „Lavender“ in zehn Prozent der Fälle gar keine legitimen Ziele markierte. Selbst bei den Zielen, die sogenannte „legitime Ziele“ waren, genehmigte das israelische Militär, dass für jeden mutmaßlichen Hamas-Kämpfer fünf bis 20 Zivilist:innen getötet werden können.

Diese Automatisierung sorgt eben nicht dafür, dass die Waffen genauer werden, sondern dass man sie schneller und breiter einsetzen kann. Außerdem sorgt die Maschinisierung dafür, dass es einen Skalierungs-Effekt gibt, der verheerende Folgen hat.

„Wir drehen mal an ein paar Parametern und machen einfach den Fokus ungenauer.“

netzpolitik.org: Könntest du den Skalierungs-Effekt näher erklären?

Rainer Rehak: Vorher war es so, dass die israelische Führung und dann auch die israelischen Streitkräfte menschlich betriebene Zielgenerierungssysteme einsetzten. Damit konnten sie meines Wissens nach pro Tag „nur“ im einstelligen Bereich Ziele erzeugen. Diese wurden dann angegriffen, entweder vom Boden aus oder sie wurden bombardiert. In jüngerer Zeit hat die IDF angefangen, die informationsbasierten Systeme einzusetzen, um Ziele zu generieren. Jetzt konnten sie pro Tag tausende solcher Ziele errechnen und diese dann auch angreifen.

Bei „Lavender“ war es manchmal sogar so, dass sie alle aktuellen Ziele, die das System ausgespuckt hatte, angegriffen hatten, aber, salopp gesagt, trotzdem noch Bomben für den Tag übrig hatten. Deshalb sollen sie sich dafür entschieden haben, die sowieso schon geringen Genauigkeitsanforderungen noch weiter herunterzusetzen. Sie haben also an ein paar Parametern gedreht und den Fokus ungenauer gemacht, dann produziert das System weitere Ziele. Diese Möglichkeiten sind ein Beispiel für Skalierungs-Effekte.

Als Mensch würde man vielleicht auf die Karte gucken und zufällig auf Häuser zeigen. Das wäre eindeutig Willkür und ganz furchtbare Kriegspraktik. Wenn es aber eine Maschine macht, bekommt das so eine Art „Goldstaub des Gezielten“. Das stimmt aber nicht und das wissen diejenigen, die es einsetzen, auch genau. Trotzdem benutzen sie es so.

netzpolitik.org: Die Armee argumentiert damit, dass es sich um gezielte Tötungen handele. Auf der anderen Seite sind mir keine Zahlen oder Beweise dafür bekannt, dass dadurch tatsächlich Menschenleben gerettet werden konnten. Ist dir in der Debatte schon einmal aufgefallen, dass eine „gezielte Tötung“ mit Fakten belegt werden konnte?

Rainer Rehak: Eine Schwierigkeit besteht darin, an unabhängige Informationen heranzukommen. Drohnenangriffe und Bombardierungen werden in einem Krieg meist von der technologisch stärkeren Partei eingesetzt. Das haben wir gesehen beim „War on Terror“ unter Obama, bei den Drohnenangriffen in Afghanistan oder in Waziristan, einer Region in Pakistan. Erst Whistleblower wie zum Beispiel Daniel Hale oder auch Journalisten wie Julian Assange konnten aufdecken, dass öffentliche Informationen des Militärs nicht richtig sind. Man ist gewissermaßen auf einen Zufall angewiesen, wenn es um Einblicke geht, wie gut oder schlecht diese Art von Waffen funktionieren. Das macht die Evaluation extrem schwer.

Aber nach all dem, was wir bisher wissen, sind diese Waffen wahnsinnig ungenau. Wir sehen riesengroße Fehlerraten und zusätzlich noch sogenannte Kollateralschäden, das heißt getötete Menschen, die aber gar keine Ziele waren. Diese Waffen sind unpräzise und haben verheerende Folgen. Das äußert sich in den entsprechenden Todesraten, die wir bei dieser Art der Kriegsführung Israels sehen. Die Mehrheit der 37.000 Opfer waren Frauen und Kinder.

Das liegt auch an einem automatisierten Lavender-Teilsystem, das feststellen soll, wann die Zielpersonen jeweils zu Hause bei ihren Familien angekommen waren, sodass deren Wohnungen und somit auch Familien bombardiert werden konnten. Dieses Zielsystem hat übrigens den internen Namen: „Where’s Daddy?“. Das führt uns dahin zu sagen: Diese Art von Waffen, das sind Kriegsverbrechen.

netzpolitik.org: Staaten setzen solche Systeme bereits länger ein. Was ist an Systemen wie „Lavender“ neu?

Rainer Rehak: Die KI-Systeme, die jetzt zum Einsatz kommen, sind ein Nachfahre der sogenannten „Signature Strikes“. Dabei tötete man mutmaßlich militante Personen basierend auf Kommunikations-Metadaten. Das sind einfach gesagt Informationen dazu, wer, wo mit wem kommuniziert. Solche Daten spielten bei den Kampfeinsätzen des US-Militärs in Afghanistan eine maßgebliche Rolle.

Die Herangehensweise hat sich bis heute im Prinzip nicht geändert: Man toleriert Ungenauigkeiten einfach, vielleicht ist es durch KI sogar noch schlimmer geworden.

„Wenn etwas ans Licht kommt, werden nicht die bestraft, die die Systeme einsetzen“

netzpolitik.org: Automatisierte Systeme markieren die Ziele anhand der vorhandenen Daten. Dabei soll etwa bei „Lavender“ auch maschinelles Lernen zum Einsatz kommen. Gibt es Erkenntnisse dazu, welche Art und welche Menge von Daten benutzt wird?

Rainer Rehak: Soweit wir das wissen, werden etliche Kommunikationsdaten, Bewegungsdaten, Satellitendaten bis hin zu Kartendaten und Zahlungsdaten genutzt, derer man habhaft werden kann. Datenanalyse-Unternehmen wie Palantir Technologies Inc. helfen dabei. Die USA haben mit dieser informationsbasierten Zielanalyse damals nach dem Terrorangriff vom 11. September begonnen.

Gaza ist in der Hinsicht besonders, weil das ganze Umfeld direkt von Israel kontrolliert wird. Das heißt es geht auch um Informationen, wer oder welche Güter wann rein und wieder herausgehen.

Auch der Begriff des „gläsernen Gefechtsfelds“, den die Bundeswehr nutzt, verdeutlicht, wie alles Wissen, alle Daten verwendet werden sollen, um dann die Analysesysteme auf sie anzusetzen und zu sagen: Jetzt wollen wir mal errechnen, wer die Terroristen sind.

netzpolitik.org: Glaubst du, dass bei den Vereinten Nationen in der Diskussionen um autonome Waffensysteme noch etwas zu erreichen ist?

Rainer Rehak: Aktuell gibt es viel Widerstand, insbesondere von den Staaten, die an den Waffen arbeiten oder planen sie einzusetzen. Als China einmal gesagt hat, dass sie dafür seien, autonome Waffensysteme zu verbieten und eine Definition vorlegte, wäre darunter keins der Waffensysteme gefallen, über die wir jetzt reden. Das hilft bei der praktischen Umsetzung eines Verbots natürlich nicht weiter. Mein Eindruck ist daher, dass das länger dauern wird. Vielleicht mehr als zehn Jahre, vielleicht dauert es bis zu 20 oder dreißig Jahre. Das war bei den ABC-Waffen aber auch der Fall. Am Anfang wurde gesagt, das werden wir nie schaffen. Deshalb ist es aus meiner Sicht trotzdem wichtig, dass Deutschland und die EU mit anderen Partnerstaaten zusammen auf eine Ächtung als Kriegsverbrechen hinwirkt.

netzpolitik.org: Was muss passieren, damit der Einsatz von KI-basierten Waffensystemen in die Reihe der Verstöße gegen das humanitäre Völkerrecht aufgenommen wird?

„Was passiert, wenn wir uns dafür entscheiden diesen Weg weiterzugehen?“

Rainer Rehak: Wir brauchen eine viel größere Diskussion über die konkreten Systeme. Wir müssen anfangen die Faktenlage zusammenzutragen, so wie wir es mit unserem Papier versuchen. Erst dann können Leser:innen überhaupt merken, dass es kritikwürdig ist und dass wir noch gar nicht genug wissen. Ernstzunehmender Journalismus, der über diese Thematik auch technisch versiert berichtet, kommt bis heute eher selten vor. Außerdem sollten wir eine gesellschaftliche Debatte führen, die sich damit beschäftigt, wie sich Kriegsführung entwickelt. Eine Frage, die wir uns stellen: Was passiert, wenn wir als Welt uns dafür entscheiden, diesen Weg weiterzugehen?

netzpolitik.org: Gibt es etwas, das du den Leser:innen darüber hinaus noch gerne mitgeben würdest?

Rainer Rehak: Wir müssen uns daran erinnern, dass diese KI-Systeme immer ungenau sind. Wenn mal ein Fehler passiert und ich den falschen Film empfohlen bekomme oder ein Lied, das mir nicht gefällt, dann ist das nicht so problematisch. KI-Systeme für wirklich kritische Infrastruktur oder Waffensysteme einzusetzen, ist aber wahnsinnig.

Wie auch der kritische Informatiker Joseph Weizenbaum immer sagte: Da muss man der Versuchung widerstehen. Wir müssen eine innere Stärke aufbauen und uns die Frage stellen: Worum geht es eigentlich? Wollen wir Milliarden in diese Technik stecken oder lieber in langfristige Friedensbemühungen, in soziale Infrastrukturen.

Wir dürfen uns nicht von den Verheißungen über KI-basierte Systeme verzaubern lassen, insbesondere nicht von denjenigen, die sie gerne verkaufen oder nutzen möchten.