Questions fréquemment posées : les systèmes d’armes autonomes

Un système d’armes autonome (SAA), également appelé « robot tueur », est une arme qui, une fois activée, peut sélectionner et attaquer des cibles de manière autonome sans intervention humaine supplémentaire.

« Sans intervention humaine supplémentaire » signifie qu’une fois activée par une personne, l’arme fonctionne de manière autonome. Un SAA utilise des capteurs pour détecter des phénomènes tels que la chaleur, la lumière, les mouvements, les formes ou la vitesse, et utilise ces données pour comparer les cibles potentielles à un « profil de cible » général. 

Par exemple, un profil peut inclure la forme, la vitesse ou la signature thermique/radar d’un véhicule militaire. Si l’arme évalue que les caractéristiques de l’objet détecté correspondent aux caractéristiques prédéfinies, elle peut déclencher une frappe de manière autonome, sans qu’une personne n’ait sélectionné spécifiquement cette cible.

Oui, les SAA sont déjà utilisés. Par exemple : 

• les systèmes de défense aérienne et antimissiles, notamment les systèmes d’armes de proximité sur les navires de guerre et les systèmes terrestres protégeant les bases, qui détectent, suivent et interceptent de manière autonome les missiles, les roquettes ou les obus en approche, et ce plus rapidement qu’un humain ne pourrait le faire ;
• les systèmes de protection active sur les chars, qui détectent et interceptent automatiquement les projectiles ou les missiles en approche avant qu’ils n’atteignent le véhicule ;
• certaines munitions à capteurs intégrés, qui libèrent des sous-munitions équipées de capteurs permettant de rechercher et de frapper des cibles telles que des véhicules blindés, sans qu’un humain n’ait à sélectionner les cibles une à une ;
• certaines munitions rôdeuses,capables d’explorer une zone et d’attaquer des cibles, telles que des radars, qui correspondent à un profil préprogrammé. 

Les SAA actuels sont des systèmes « fondés sur des règles » ou « déterministes », et sont généralement employés dans des environnements maîtrisés, contre un éventail restreint d’objectifs militaires ennemis, tels que des missiles et autres projectiles, des radars militaires ou des navires de guerre. Le Comité international de la Croix-Rouge (CICR) s’inquiète d’une tendance émergente à intégrer des modèles d’intelligence artificielle (IA) de plus en plus complexes dans ces SAA, ainsi que d’un intérêt militaire manifeste à assouplir les contraintes relatives aux lieux d’utilisation de ces armes ou à leurs cibles, ce qui peut renforcer le caractère imprévisible de leurs effets et exposer les civils et les biens de caractère civil à d’importants risques de dommages dans les conflits armés. 

Les SAA suscitent de graves préoccupations sur les plans humanitaire, juridique et éthique, car ils sont capables de sélectionner des cibles et d’exercer la force contre elles sans intervention humaine. Le problème ne tient pas seulement à la nature de ces technologies. Par conséquent, ce n’est pas forcément par un ajustement technique de leurs processus ou une révision de leur conception que l’on parviendra à répondre aux préoccupations qu’elles soulèvent.

1. Risques humanitaires : risques de prolifération des armes autonomes et d’escalade des conflits. Comme n’importe quel type d’arme, les armes autonomes sont vouées à proliférer et à être utilisées en violation du droit international humanitaire (DIH), notamment par des groupes armés non étatiques et des organisations criminelles. Leur prolifération est d’autant plus plausible que les capteurs, logiciels, systèmes d’IA et autres composants commercialisés auxquels elles font appel coûtent de moins en moins cher et sont de plus en plus accessibles. L’utilisation d’armes autonomes risque également d’entraîner une escalade des hostilités en raison de l’accélération du processus par lequel elles sélectionnent et attaquent les cibles, qui accroît les risques d’erreurs d’appréciation et laisse peu d’espace pour les interventions humanitaires et les efforts de désescalade.

    

2. Défis juridiques : difficultés à assurer le respect du DIH et du droit international des droits de l’homme. Les armes autonomes étant capables de sélectionner et de frapper des cibles sans intervention humaine, il devient difficile, pour les opérateurs humains, d’anticiper les circonstances dans lesquelles se produira l’attaque et de déterminer si elle sera conforme au DIH. Le défi est d’autant plus grand que les armes autonomes gagnent en complexité (et, par conséquent, deviennent de plus en plus imprévisibles) et qu’elles sont parfois utilisées dans des zones peuplées ou des environnements en constante mutation.

   Dès lors, les attaques risquent davantage de contrevenir aux règles de distinction, de proportionnalité et de précaution dans l’attaque établies par le DIH. Ces règles exigent une évaluation approfondie du contexte et des conditions en vigueur à un instant précis ; elles ne peuvent pas être « encodées » dans le système à l’avance ni être réduites à des indicateurs techniques. Pour déterminer si une personne est un civil participant directement aux hostilités, si un combattant se rend ou si sa situation lui donne droit à une autre forme de protection, ou si les dommages civils attendus seraient excessifs, il faut pouvoir analyser finement divers éléments tels que les intentions, le comportement et le contexte – ce qu’aucun calcul mécanique n’est capable de faire. 

   Dans le cas des systèmes imprévisibles ou opaques, ces questions se posent avec encore plus d’acuité : si l’utilisateur ne peut pas comprendre, prévoir et expliquer de manière adéquate le comportement d’une arme et ses effets potentiels, il sera impossible d’évaluer la légalité de son utilisation. Avec ce type de systèmes, le processus d’établissement des responsabilités en cas de dommages illicites risque également de devenir plus complexe.

    

3. Dilemme éthique : déléguer aux machines le pouvoir de décider de la vie ou de la mort d’êtres humains. Au-delà des risques humanitaires et juridiques se pose une question éthique fondamentale : une machine doit-elle avoir le pouvoir de déterminer si un être humain doit vivre ou mourir ? Seuls les êtres humains sont capables de reconnaître la valeur intrinsèque de la vie humaine, de faire preuve de discernement moral et de retenue. Lorsqu’une machine cible une personne sur la base de données recueillies par des capteurs et d’un profil de cible, cette personne risque d’être réduite à un ensemble de points de données sans qu’aucun jugement humain n’intervienne dans la décision d’appliquer la force létale. Les progrès technologiques, notamment en matière de précision, n’allègent en rien ces préoccupations. Pour le CICR, conserver un véritable contrôle humain sur les décisions de vie ou de mort est un impératif moral.

Le DIH est déjà applicable aux armes autonomes, mais le CICR estime que les règles existantes ne sont pas suffisantes pour parer efficacement à tous les risques humanitaires, juridiques et éthiques posés par ces armes. C’est pourquoi nous appelons à l’adoption de nouvelles règles internationales juridiquement contraignantes visant à interdire les armes autonomes inacceptables et à imposer des limites strictes à toutes les autres.

Les armes autonomes ne sont pas nécessairement illégales, et leur utilisation, comme celle de toute arme, est régie par le DIH. 

Les règles du DIH interdisent certains types d’armes, notamment celles qui ont par nature des effets indiscriminés. Cette interdiction revêt une importance particulière dans le cas d’un système d’arme autonome dont le fonctionnement est opaque (problème de la « boîte noire »), car cette opacité peut empêcher les êtres humains de comprendre, de prévoir ou d’expliquer les effets produits par le système. L’utilisateur peut alors se trouver dans l’incapacité de diriger l’arme contre un objectif militaire déterminé et, partant, ne plus être en mesure d’en maîtriser les effets, qui deviennent de fait indiscriminés.

Toute attaque au moyen d’une arme doit également respecter les règles du DIH relatives à la conduite des hostilités : l’attaque doit être dirigée uniquement contre un objectif militaire déterminé, elle ne doit pas causer incidemment des dommages excessifs à la population civile, et toutes les précautions possibles doivent être prises afin d’éviter que la population civile soit touchée. Or, s’agissant des armes autonomes, il peut être difficile d’évaluer ces éléments et de s’assurer à l’avance qu’ils seront respectés, car l’utilisateur ne choisit pas, ni même ne connaît, la personne ou l’objet spécifique qui sera ciblé par la frappe du SAA, ni précisément quand et où celle-ci se produira. Ces détails dépendront du fonctionnement (capteurs, logiciels, actionneurs) du système et des informations sensorielles provenant de l’environnement opérationnel. 

Comment l’utilisateur peut-il alors s’assurer que toute frappe par le système d’arme sera uniquement dirigée contre un objectif militaire légitime et non contre un civil ou une personne blessée ou en train de se rendre ? Comment peut-il savoir à l’avance que les dommages susceptibles d’être causés incidemment ne seront pas excessifs alors même que la situation sur le terrain peut évoluer entre le moment de l’activation et celui de l’impact ? Et que se passe-t-il s’il devient manifeste que la cible n’est pas un objectif militaire ? Le DIH prévoit que tout doit être fait pour annuler ou suspendre l’attaque, mais avec une arme autonome, cela pourrait ne pas être possible.

Le respect de ces obligations juridiques dans le cadre de l’emploi d’armes autonomes ne sera vraisemblablement possible qu’à condition d’exclure totalement certaines de ces armes et de soumettre les autres à des restrictions strictes quant aux situations d’utilisation, afin de limiter l’ampleur de leurs effets potentiels.

C’est pourquoi le CICR et de nombreux autres acteurs appellent à l’adoption de nouvelles règles juridiquement contraignantes qui interdisent les armes autonomes imprévisibles et « antipersonnel », et qui imposent des restrictions claires à toutes les autres armes autonomes.

Les drones armés ne sont pas tous des systèmes d’armes autonomes. 

Un drone armé piloté à distance par un opérateur humain qui identifie la cible et décide quand tirer n’est pas une arme autonome. Mais un drone peut devenir une arme autonome si, une fois activé, il sélectionne et attaque une cible qui n’a pas été choisie par un humain. 

Le critère déterminant n’est pas de savoir si l’arme se déplace de manière autonome mais si elle est autonome dans l’exercice des fonctions critiques de ciblage, à savoir la sélection des cibles et l’emploi de la force contre celles-ci.

Les SAA n’intègrent pas tous l’IA. 

Les SAA présentent des degrés d’autonomie variable – certains reposent sur des dispositifs très simples quand d’autres font appel aux technologies les plus avancées – et peuvent, ou non, s’appuyer sur l’IA, notamment sur l’apprentissage automatique – un type de système qui apprend des modèles à partir de données et utilise ces modèles pour effectuer une tâche précise. Par exemple, certains systèmes de défense aérienne sont autonomes mais ils utilisent généralement des logiciels simples fondés sur des règles plutôt que des systèmes d’IA. 

D’autres systèmes d’armes intègrent l’IA, mais pas dans leurs fonctions de sélection et d’attaque des cibles. Ainsi, un système d’armes qui utilise l’IA uniquement pour la navigation ne sera pas nécessairement considéré comme une arme autonome. 

Les armes autonomes sont déjà une réalité et recouvrent des systèmes très divers, allant des systèmes de défense qui interceptent automatiquement des missiles en approche à certaines munitions rôdeuses et armes à allumage par capteur. Les préoccupations du CICR portent sur l’intérêt grandissant qu’il constate pour des systèmes destinés à fonctionner dans des zones de plus en plus étendues, pendant des périodes plus longues et contre un éventail toujours plus large de cibles, tout en intégrant des formes d’IA de plus en plus complexes. 

Ces évolutions militaires et techniques ajoutent de l’imprévisibilité, à la fois dans la façon dont ces systèmes fonctionnent et dans la manière dont ils interagissent avec leur environnement, ce qui expose les civils et les biens de caractère civil à des risques importants dans les conflits armés. 

Alors que les défenseurs des nouvelles technologies d’armement prétendent souvent que ces armes pourraient renforcer le respect du DIH et minimiser les risques pour les civils, ce n’est pas ce que nous avons observé par le passé ni ce que nous observons aujourd’hui.

Dans de nombreux conflits à travers le monde qui mobilisent les moyens de guerre les plus sophistiqués sur le plan technologique, nous n’avons constaté aucune amélioration du sort des populations mais, au contraire, des niveaux inacceptables et généralisés de destruction et de dommages causés aux civils. Les qualités tant vantées de ces nouvelles technologies ne se sont pas traduites par davantage de précision, de distinction et de précaution, mais par une accélération, une amplification et une escalade des destructions, avec des conséquences effroyables pour les populations.

Il en découle un environnement de plus en plus imprévisible, qui accroît les risques de dommages aux civils et souligne la nécessité d’établir des interdictions et des restrictions claires concernant les SAA, afin d’empêcher que ne se développent des pratiques susceptibles d’affaiblir les protections que le DIH vise à garantir.

Les SAA antipersonnel sont des armes capables de sélectionner et d’attaquer directement des cibles humaines. 

Le CICR considère ces systèmes comme particulièrement préoccupants, car les signes de reconnaissance du statut d’une personne dans un conflit armé – par exemple, si elle se rend, est blessée ou participe directement aux hostilités – sont fortement liés au contexte et sont donc difficilement détectables par un processus automatisé. De plus, ce statut peut évoluer rapidement, et, en règle générale, une erreur d’appréciation peut se révéler fatale.

C’est pourquoi il est difficile d’imaginer des situations de combat où l’emploi de SAA contre des personnes n’entraînerait pas un risque important de violations du DIH.

Au-delà des risques opérationnels et juridiques se pose une question plus fondamentale : une machine devrait-elle avoir le pouvoir de décider de la vie ou de la mort d’un être humain ? Seuls les êtres humains peuvent reconnaître et comprendre la valeur intrinsèque de l’existence humaine. Si une machine cible une personne sur la base de données recueillies par des capteurs et d’un profil de cible, cette personne sera réduite à un ensemble de points de données. Dès lors, plus aucune place ne sera laissée au jugement humain et à la retenue. Il s’agit d’une ligne rouge morale que nous ne devons pas franchir, quel que soit le degré de précision que permet la technologie.

L’expérience tirée de l’emploi d’autres armes antipersonnel (par exemple, les mines antipersonnel) nous a enseigné que même si ce type d’armes peut en théorie être utilisé dans le respect du DIH, ce n’est quasiment jamais le cas dans la pratique. L’interdiction absolue constitue donc la solution la plus logique et efficace, car elle offre aux forces armées le bénéfice de la clarté et de la fiabilité tout en assurant aux combattants et aux civils la protection nécessaire.

Un SAA imprévisible est un SAA dont les modalités de fonctionnement et les effets ne peuvent être ni compris, ni anticipés, ni expliqués par un utilisateur humain. C’est le cas par exemple d’un SAA qui intègre l’IA de telle sorte que son fonctionnement n’est plus transparent (défi de la « boîte noire »). 

Cette absence de prévisibilité entraîne une perte de contrôle sur les effets de ces armes qui deviennent de fait indiscriminés, ce qui est interdit par le DIH.

L’interdiction absolue constitue donc la solution la plus logique et efficace, car elle permet de préserver la capacité de distinction propre à l’humain, nécessaire à la protection des populations civiles et au respect du droit de la guerre.

On observe une tendance manifeste vers une plus grande autonomie des armes et un assouplissement des restrictions imposées à leur utilisation. L’écart se creuse entre ce que les machines peuvent faire et ce qu’elles devraient être autorisées à faire. 

Le 25 août dernier, la présidente du CICR, Mirjana Spoljaric, et le secrétaire général de l’Organisation des Nations Unies (ONU), António Guterres, ont de nouveau appelé les États à adopter de toute urgence de nouvelles règles internationales sur les armes autonomes et ont averti que nous sommes désormais dangereusement proches de franchir une ligne rouge morale : le ciblage autonome d’êtres humains par des machines. 

Alors que les scientifiques et les ingénieurs qui conçoivent ces systèmes tirent eux-mêmes la sonnette d’alarme et appellent à leur réglementation, le monde ne peut se permettre d’attendre que leur utilisation se généralise et prendre ainsi le risque de voir les avancées technologiques et les pratiques devancer le droit.

Si la communauté internationale ne se mobilise pas sans délai pour fixer des limites juridiques et éthiques claires, des armes autonomes inacceptables risquent d’être élaborées et de proliférer. Une fois qu’elles seront déployées à grande échelle, il sera beaucoup plus difficile de maîtriser les risques de dommages aux civils et d’atteintes à la sécurité mondiale.

L’année 2026 est une année charnière. La septième conférence d’examen de la Convention sur l’interdiction ou la limitation de l’emploi de certaines armes classiques, qui se tiendra du 16 au 20 novembre 2026, est une occasion unique, pour les États, de passer des discussions aux négociations sur de nouvelles règles internationales visant à encadrer les SAA. Les règles du DIH s’appliquent déjà aux armes autonomes, mais de nouvelles règles pourraient définir clairement les limites avant que des pratiques délétères ne s’installent durablement.

Le CICR appelle les États à entamer des négociations autour d’un instrument international juridiquement contraignant prévoyant : 

• l’interdiction de deux types de SAA : 
  • les SAA dont les effets sont imprévisibles, ce qui est le cas des systèmes intégrant des formes d’IA capables de produire différents effets dans les mêmes circonstances ;
  • les SAA conçus pour cibler directement des êtres humains (SAA antipersonnel) ; et
• des restrictions applicables à toutes les autres armes autonomes – notamment quant aux types de cibles (à limiter aux seuls biens constituant par nature des objectifs militaires), au champ d’action géographique, à la durée d’utilisation, aux situations d’utilisation et à l’ampleur de la force utilisable –, assorties d’exigences quant aux moyens à prévoir pour les neutraliser, les désactiver ou les détruire.

Le CICR estime que ces nouvelles règles sont essentielles pour parer aux risques humanitaires, juridiques et éthiques posés par les SAA. Il n’appelle pas à une interdiction totale de ces systèmes ni à celle de l’intégration de l’IA dans ces systèmes, car l’IA peut être utile pour guider leur navigation et ainsi améliorer leur précision.