Hilfe
Artikel

Häufig gestellte Fragen: Künstliche Intelligenz (KI) im militärischen Bereich

AI_AWS_cover
IKRK

Bei der Entwicklung und dem Einsatz neuer Technologien in der Kriegsführung, einschliesslich der Nutzung künstlicher Intelligenz (KI), ist ein Wettrüsten im Gange. Anstatt aber die Schlachtfelder dieser Welt für die Zivilbevölkerung sicherer zu machen, vergrössern diese Technologien oftmals die Risiken und verursachen erheblichen Schaden.

Was bedeutet KI im militärischen Bereich?

KI im militärischen Bereich bezieht sich auf den Einsatz künstlicher Intelligenz in militärischen Systemen und Operationen, einschliesslich autonomer Waffensysteme, militärischer Systeme zur Unterstützung der Entscheidungsfindung, Cyberoperationen und -fähigkeiten, Logistik, Überwachung und nachrichtendienstliche Analysen.

Gilt das humanitäre Völkerrecht für KI bei der Kriegsführung?

Ja. Das humanitäre Völkerrecht (HVR) gilt für alle Mittel und Methoden der Kriegsführung, einschliesslich des Einsatzes von KI-Technologien. Jede Anwendung von Gewalt muss den Grundsätzen und Regeln des HVR entsprechen, darunter dem Grundsatz der Unterscheidung (zwischen Zivilisten und zivilen Objekten einerseits sowie Kombattanten und militärischen Zielen andererseits), der Verhältnismässigkeit und der Vorsicht. 

Warum ist das IKRK mit Blick auf den Einsatz von KI im militärischen Bereich besorgt?

Das IKRK ist besorgt darüber, dass der Einsatz von KI im militärischen Bereich das Tempo und den Umfang der Kriegsführung beschleunigen, die Unberechenbarkeit erhöhen und die menschliche Kontrolle über die Anwendung von Gewalt einschränken könnte – in der Folge mit ernstzunehmenden Risiken für die Zivilbevölkerung.

KI-Systeme sind bei Kampfhandlungen besonders anfällig für Ausfälle, wenn gegnerische Parteien absichtlich versuchen, Systeme zu täuschen oder zu manipulieren, beispielsweise durch die Manipulation von Daten oder die Ausnutzung von Schwachstellen. 

Das IKRK betont einen auf den Menschen ausgerichteten Ansatz, weil Menschen – und nicht Maschinen – rechtlich für Entscheidungen über die Anwendung von Gewalt verantwortlich bleiben. Menschliches Urteilsvermögen ist entscheidend, um die Einhaltung des HVR zu gewährleisten und die Zivilbevölkerung zu schützen. KI-Systeme sollten die menschliche Entscheidungsfindung unterstützen, anstatt sie zu beeinträchtigen oder zu ersetzen. 
 

Welche Anwendung von KI im militärischen Bereich gibt besonderen Anlass zur Sorge?


Das IKRK hat drei KI-Anwendungen im militärischen Bereich ermittelt, die erhebliche Risiken bergen:

  1. Autonome Waffensysteme (AWS): Diese Systeme können nach ihrer Aktivierung selbstständig Ziele auswählen und angreifen, ohne dass ein weiteres menschliches Eingreifen erforderlich ist.
  2. KI-Systeme zur Unterstützung der Entscheidungsfindung: Diese Systeme verarbeiten enorme Datenmengen, um militärische Entscheidungen zu unterstützen, bergen jedoch Risiken im Zusammenhang mit einer den Systemen immanenten Unzuverlässigkeit und Unberechenbarkeit sowie mit der übermässigen Abhängigkeit des Menschen von den Ergebnissen der Systeme. 
  3. KI in den Informations- und Kommunikationstechnologie: KI wird zunehmend in Cyberoperationen eingesetzt und in Cyberfähigkeiten integriert. So kann der Umfang von Cyberangriffen erhöht werden, während sich gleichzeitig deren Art und Schwere verändern, insbesondere hinsichtlich negativer Auswirkungen auf die Zivilbevölkerung und zivile Infrastruktur.

Können Technologieunternehmen zu militärischen Zielen werden, wenn sie militärische Operationen unterstützen?

Gemäss dem HVR gelten Technologieunternehmen und ihre Mitarbeitenden auf den ersten Blick als zivile Objekte und sind vor Angriffen geschützt. Ein solcher Schutz kann jedoch verloren gehen, wenn Mitarbeitende eines solchen Unternehmens bestimmte Tätigkeiten ausüben oder wenn das Eigentum des Unternehmens auf bestimmte Weise genutzt wird. Wenn beispielsweise eine bestimmte Infrastruktur oder Dienstleistung eines Technologieunternehmens von einer Kriegspartei genutzt wird, um einen wirksamen Beitrag zu militärischen Operationen zu leisten, und eine vollständige oder teilweise Zerstörung, eine Gefangennahme oder Neutralisierung unter den zu einem gegebenen Zeitpunkt herrschenden Umständen dem Gegner einen eindeutigen militärischen Vorteil verschafft, wird das Unternehmen zu einem militärischen Ziel.  

Das IKRK ermutigt daher Technologieunternehmen, sorgfältig zu prüfen, wie ihre Produkte und Dienstleistungen in bewaffneten Konflikten eingesetzt werden könnten. Unternehmen sollten auch Massnahmen ergreifen, mit denen Verstösse gegen das HVR vermieden und Risiken, die ihre Technologien für die Zivilbevölkerung darstellen könnten, verringert werden.
 

Arbeitet das IKRK mit Technologieunternehmen zusammen, die KI-Systeme für den Einsatz im militärischen Bereich entwickeln?

Ja, das IKRK ist in einem aktiven Austausch mit Technologieunternehmen und anderen Interessenträgern, die an der Entwicklung von KI-Systemen beteiligt sind. Im Mittelpunkt dieser Gespräche steht die Sensibilisierung für Informationen rund um das HVR, einschliesslich der Frage, wie Dienstleistungen und Aktivitäten dieser Unternehmen deren Mitarbeitende, Vermögenswerte und Kunden schädigen könnten. Zudem geht es darum, wie KI-Systeme konzipiert und entwickelt werden können, um die Einhaltung des HVR zu verbessern und zivile Schäden zu verringern.

Surveillance capacities of AI as used in warfare
IKRK
IKRK

Autonome Waffensysteme

  • Autonome Waffensysteme (AWS) sind Systeme, die nach ihrer Aktivierung selbständig Ziele auswählen und angreifen, ohne dass ein weiteres menschliches Eingreifen erforderlich ist. 

    „Ohne menschliches Eingreifen“ bedeutet, dass das System nach der Aktivierung durch einen Menschen anhand von Sensoren, die beispielsweise Wärme, Licht, Bewegung, Formen, Geschwindigkeit oder andere Signale entdecken, Informationen aus seiner Umgebung nutzt, um potenzielle Ziele gegenüber einem allgemeinen „Zielprofil“ abzugleichen. Zu solchen Profilen gehören unter anderem Formen, Infrarot- oder Radarsignaturen oder die Geschwindigkeit von Militärfahrzeugen.

    Nicht alle AWS enthalten KI. AWS umfassen einfache bis hochkomplexe Systeme, die sich auf künstliche Intelligenz stützen können, darunter maschinelles Lernen (eine Art KI-System, bei dem das System Muster aus Daten ableitet und diese Muster zur Ausführung einer bestimmten Aufgabe verwendet). Luftverteidigungssysteme können AWS sein, wobei sie im Allgemeinen einfache, regelbasierte Software anstelle von KI verwenden. 

    Das IKRK ist besorgt über den offensichtlichen Trend, zunehmend komplexe KI-Systeme in AWS zu berücksichtigen, da dies die Bedenken hinsichtlich der Unberechenbarkeit der Auswirkungen verschärfen kann. Andere Waffensysteme können KI berücksichtigen, aber keine AWS sein: So kann die Software beispielsweise Funktionen wie Überwachung oder Navigation steuern. Ein KI-System zur Unterstützung der Entscheidungsfindung könnte Informationen für ein Waffensystem liefern, aber es gilt nicht als AWS mit einem menschlichen Entscheidungsträger.

  • Da autonome Waffen Ziele ohne menschliches Eingreifen auswählen und angreifen können, ist es für deren Anwender schwer, Ergebnisse zu berechnen und zu kontrollieren. Diese Unberechenbarkeit erhöht das Risiko wahlloser oder anderweitiger Angriffe, die gemäss dem humanitären Völkerrecht (HVR) als rechtswidrig gelten. AWS haben Mühe, zwischen der Zivilbevölkerung und Kombattanten zu unterscheiden, verwundete oder sich ergebende Soldaten zu erkennen oder komplexe Situationen korrekt zu interpretieren. 

    Das IKRK ist besonders besorgt darüber, dass AWS in komplexen Situationen eingesetzt werden, insbesondere in bevölkerten Gebieten, in denen die Unterscheidung zwischen militärischen Zielen und der Zivilbevölkerung sowie zivilen Objekten erheblich erschwert wird. 

  • Ja. Bestimmte autonome Waffensysteme werden bereits von Streitkräften eingesetzt. Beispiele hierfür sind Raketenabwehrsysteme auf Kriegsschiffen, die eintreffende Raketen autonom erkennen und angreifen. Diese Systeme arbeiten in der Regel in einem kontrollierten Umfeld und zielen auf klar definierte militärische Objekte ab. 

    Es gibt einen deutlichen Trend hin zu mehr Autonomie bei Waffensystemen und ein offensichtliches militärisches Interesse, Beschränkungen hinsichtlich der Art und der Ziele eines Einsatzes solcher Waffen zu lockern oder zu verhindern. Das IKRK ist besonders besorgt darüber, dass AWS KI in einer Weise berücksichtigen, die ihre Funktionsweise und ihre Auswirkungen unberechenbar machen, oder die darauf ausgelegt sind, Menschen direkt anzugreifen. Solche Systeme stellen inakzeptable Risiken für die Zivilbevölkerung sowie für verwundete, kranke, schiffbrüchige oder sich ergebende Kombattanten dar.

    AWS können relativ kostengünstig und einfach entwickelt werden. Die derzeitigen Technologien ermöglichen ihre Entwicklung mit kaum vorhandenen Beschränkungen, was das Risiko ihrer Verbreitung erhöht.

  • „Antipersonen“-AWS sind Waffen, die Menschen direkt auswählen und angreifen können. 

    Das IKRK hält diese Systeme für besonders besorgniserregend, da Signale, die auf den Status einer Person in einem bewaffneten Konflikt hinweisen – beispielsweise, ob sich eine Person ergibt, verletzt oder direkt an Kampfhandlungen beteiligt ist –, äusserst kontextbezogen sind. Dies macht die Erkennung durch einen maschinellen Prozess äusserst schwierig. Darüber hinaus kann sich dieser Status schnell verändern, sodass es im Allgemeinen zu tragischen Folgen kommt.

    Es ist daher schwierig, sich realistische Kampfsituationen vorzustellen, in denen der Einsatz von AWS gegen Menschen kein erhebliches Risiko von Verstössen gegen das HVR birgt.

    Es gibt auch tiefgreifende ethische Bedenken darüber, ob Entscheidungen über Leben und Tod letztlich an Maschinen übertragen werden sollten. Nur Menschen können den immanenten Wert menschlichen Lebens erkennen und verstehen.

    Die Funktionsweise von „Antipersonen“-AWS würde Menschen auf Datenpunkte reduzieren. Dies untergräbt den Grundsatz, Menschen niemals zu Objekten zu degradieren.

    Die Erfahrungen mit anderen Antipersonenwaffen (z.B. Antipersonenminen) zeigen, dass solche Waffen – selbst wenn sie theoretisch gemäss dem HVR eingesetzt werden können – in den allermeisten Fällen eben nicht im Einklang mit dem HVR verwendet werden. Ein komplettes Verbot ist daher die praktischste und wirksamste Lösung, die dem Militär Klarheit und Verlässlichkeit verschafft und Kombattanten und der Zivilbevölkerung den notwendigen Schutz bietet.

  • Unberechenbare AWS sind Systeme, bei denen ein menschlicher Anwender die Funktionsweise und die Auswirkungen des Systems nicht verstehen, berechnen oder erklären kann. Dies ist beispielsweise der Fall, wenn AWS KI so berücksichtigen, dass ihre Funktionsweise undurchsichtig wird (die sogenannte „Black Box“-Herausforderung). 

    Dies daraus resultierende fehlende Kontrolle über die Auswirkungen dieser Waffen macht sie von Natur aus zu einer Waffe, die ohne Unterscheidung angreift.

  • Der Druck auf mehr Autonomie bei Waffensystemen und eine Erweiterung der Einsatzparameter dieser Systeme ist klar. Ohne rechtzeitige internationale Massnahmen zur Festlegung klarer rechtlicher und ethischer Grenzen besteht die Gefahr, dass inakzeptable autonome Waffen entwickelt und verbreitet werden. Wenn solche Waffen erst einmal weit verbreitet sind, werden die Risiken für die Zivilbevölkerung und die globale Sicherheit weitaus schwieriger einzudämmen sein.

    Die 7. Konferenz zur Überprüfung des Übereinkommens über bestimmte konventionelle Waffen ist für den 16.-20. November 2026 geplant und bietet den Staaten eine wichtige Gelegenheit, Verhandlungen über ein neues rechtsverbindliches Instrument zur Regulierung autonomer Waffensysteme aufzunehmen.

  • Mit Blick auf autonome Waffensysteme ruft das IKRK die Staaten auf, ein rechtsverbindliches internationales Instrument auszuhandeln, mit dem 

    • unberechenbare autonome Waffen verboten werden: Hierbei handelt es sich um autonome Waffen, deren Auswirkungen nicht angemessen berechnet oder kontrolliert werden können – dies ist eher der Fall, wenn Systeme nicht-deterministische KI enthalten.
      • autonome Antipersonenwaffen verboten werden: Hierbei handelt es sich um autonome Waffen, die Menschen direkt angreifen können.
        • die Entwicklung und den Einsatz aller anderen autonomen Waffen eingeschränkt werden: Hierbei geht es darum, die Art der Ziele sowie den geografischen Einsatzbereich, die Dauer, die Situationen und den Umfang ihrer Nutzung einzuschränken.

    2024 legte das IKRK dem Generalsekretär der Vereinten Nationen seine Ansichten zur Prüfung vor, darunter Vorschläge, wie die Herausforderungen und Bedenken, die autonome Waffensysteme aus humanitärer, rechtlicher, sicherheitstechnischer, technologischer und ethischer Perspektive aufwerfen, angegangen werden können, und wie die Rolle der Menschen bei der Anwendung von Gewalt gestaltet werden sollte: icrc_submission_on_autonomous_weapons_to_unsg.pdf(auf Englisch).

KI-Systeme zur Unterstützung der Entscheidungsfindung:

  • Diese Systeme analysieren grosse Datensätze, um militärische Entscheidungen zu unterstützen, bergen jedoch Risiken, die der Funktionsweise der KI immanent sind und die auf den Mangel an qualitativ hochwertigen und kontextspezifischen Daten in bewaffneten Konflikten zurückzuführen sind. 

    Ihr Einsatz wirft auch Fragen nach einer verzerrten Wahrnehmung der Vorteile der Automatisierung auf – hierbei geht es um die menschliche Neigung, maschinell generierten Empfehlungen oder Ergebnissen übermässig zu vertrauen, insbesondere in Situationen, in denen grossen Druck herrscht, oder unter Zeitdruck. Dies kann dazu führen, dass die Anwender KI-Empfehlungen einfach durchwinken, anstatt ein unabhängiges Urteil zu treffen.

    Darüber hinaus können Gegner in kriegerischen Situationen absichtlich Daten manipulieren oder Schwachstellen in den Systemen ausnutzen. 

    Diese Systeme können das Tempo und das Ausmass von Fehlern erhöhen. Zudem können sie das Risiko einer unbeabsichtigten Eskalation steigern, insbesondere wenn Anwender nicht unabhängig urteilen.

  • Unter bestimmten Umständen kann der sorgfältige und verantwortungsbewusste Einsatz von entsprechenden KI-Systemen eine schnellere und umfassendere Analyse der Informationen ermöglichen, die ihrerseits Entscheidungen in einer Weise unterstützen kann, die die Einhaltung des HVR verbessern und Risiken für die Zivilbevölkerung minimieren. So kann der Einsatz dieser KI-Systeme dazu beitragen, offen verfügbare Online-Informationen über die Präsenz von Zivilisten und zivilen Objekten zu erheben und zusammenzustellen, oder die Bereitstellung von Waffen durch Empfehlungen zu Mitteln und Methoden des Angriffs unterstützen, mit denen zivile Kollateralschäden bestmöglich vermieden oder zumindest minimiert werden. Die Wirksamkeit solcher Systeme wird weiterhin von den immanenten Grenzen der Technologie abhängig sein und vom Zugang zu qualitativ hochwertigen Daten abhängen. 

    Letztlich werden die Auswirkungen des Einsatzes dieser Technologien auf die Zivilbevölkerung davon abhängen, wie sie konzipiert und verwendet werden.

    Wichtig ist, dass der Einsatz von KI-Systemen zur Unterstützung der Entscheidungsfindung niemals Methoden zur Festlegung von Zielgruppen und andere Massnahmen verbessern kann, die ansonsten nicht dem HVR entsprechen; die Anwendung von KI-Systemen zur Unterstützung der Entscheidungsfindung in einem solchen Rahmen wird nur dazu dienen, rechtswidrige oder anderweitig nachteilige Auswirkungen schneller und in grösserem Ausmass zu reproduzieren und sehr wahrscheinlich zu verstärken.

  • Das IKRK hat 16 vorläufige Empfehlungen abgegeben, um den Risiken im Zusammenhang mit KI-Systemen zur Unterstützung der Entscheidungsfindung in bewaffneten Konflikten entgegenzuwirken. In diesen Empfehlungen wird betont, wie wichtig es ist, das menschliche Urteilsvermögen und die Kontrolle zu bewahren. Zu den wichtigsten Massnahmen gehören:

    • Gewährleistung strenger Tests, Bewertungen, Verifizierungen und Validierungen sowie rechtlicher Überprüfungen; 
    • Nutzung zuverlässiger und qualitativ hochwertiger Daten; 
    • Verringerung des Risikos von Verzerrungen und diskriminierenden Ergebnissen; 
    • Gewährleistung eines sinnvollen menschlichen Engagements und der Fähigkeit, KI-Ergebnisse zu hinterfragen;  
    • Stärkung der Anwenderschulungen, darunter auch mit Blick auf eine verzerrte Wahrnehmung der Vorteile der Automatisierung; 
    • Durchführung von Prüfungen im Nachgang von Einsätzen. 

    Das IKRK betont ferner, dass bestimmte KI-Anwendungen verboten werden müssen, darunter in einem Kontext nuklearer Befehls- und Kontrollsysteme oder autonomer Waffensysteme, die direkt auf Menschen zielen oder unberechenbare Auswirkungen haben.

    Die Empfehlungen orientieren sich an einem auf den Menschen ausgerichteten Ansatz, der darauf abzielt sicherzustellen, dass KI-Systeme menschliche Entscheidungen unterstützen, anstatt sie zu beeinträchtigen oder zu ersetzen.

KI und Cyberoperationen

  • Cyberoperationen sind Einsätze gegen einen Computer, ein System/Netzwerk oder ein anderes verbundenes Gerät über einen Datenstrom, wenn diese als Mittel oder Methoden der Kriegsführung verwendet werden. Es geht mit anderen Worten um die Verwendung eines Computers, um ein anderes Computersystem, Netzwerk oder Daten zu beschädigen.

  • Cyberoperationen können zivile Dienstleistungen, zivile Infrastruktur und zivile Daten stören, deaktivieren oder physisch beschädigen. Sie können zu Verletzungen oder dem Tod von Menschen führen, beispielsweise in Spitälern, wenn medizinische Geräte ausfallen, Daten gelöscht werden oder die Stromversorgung durch Cyberoperationen unterbrochen wird.

    Das HVR zieht klare Grenzen für Cyberoperationen in bewaffneten Konflikten. Das IKRK arbeitet bilateral und multilateral mit Staaten und Hackergruppen zusammen, um sicherzustellen, dass die bestehenden Bestimmungen des HVR so ausgelegt und angewandt werden, dass ein angemessener Schutz für die Zivilbevölkerung, die zivile Infrastruktur und zivile Daten, einschliesslich medizinischer Einrichtungen und humanitärer Organisationen, gewährleistet wird. Wenn die bestehenden Bestimmungen des HVR jedoch so ausgelegt werden, dass sie die Schutzfunktion des HVR im IT-Umfeld untergraben, müssen zusätzliche Vorschriften entwickelt werden, um den bestehenden Rechtsrahmen zu stärken.